Синтетические данные для политик роботов: Где помогает симуляция

Каждые несколько месяцев кто-то обнаруживает, что запись пятидесяти эпизодов вручную — это медленно, и спрашивает, может ли симулятор производить их вместо этого. Это справедливый вопрос. Честный ответ состоит из трех частей: сгенерированные данные действительно помогают, они не заменяют реальные записи, и соотношение между этими двумя фактами полностью зависит от того, какой вид синтетических данных вы имеете в виду.

На этой странице рассматривается, что фактически измерялось в опубликованных работах, что вы можете запустить сегодня на недорогом манипуляторе, таком как SO-100, и где разрыв между симуляцией и реальностью сводит на нет преимущества. Краткая версия, до деталей: системы, сообщающие о наибольших множителях, умножают небольшой набор реальных человеческих демонстраций. Они не устраняют необходимость в них.

Четыре разных вещи называются синтетическими данными

Прежде чем сравнивать числа, стоит разделить семейства, потому что статья, сообщающая о 100-кратном увеличении, и статья, сообщающая о 5-процентном приросте успеха, часто описывают один и тот же конвейер с разных сторон. Общая нить заключается в том, что что-то в наборе данных LeRobot было произведено машиной, а не записано с физической руки. Отличается то, какая именно часть.

Только первые три являются синтетическими данными в том смысле, который подразумевается в этой статье. Четвёртый стоит упомянуть, потому что он включается в ту же дискуссию и является, безусловно, самым дешёвым пунктом в списке. Если вы ещё не включили аугментации, поставляемые с вашим тренажёром, сделайте это до установки симулятора.

Что на самом деле говорят опубликованные цифры

Вот доказательная база, с цифрами, как их указывают источники, а не как их резюмируют пресс-релизы. Каждая строка ниже взята из статьи или страницы проекта, прочитанной 23 августа 2026 года.

Закономерность каждой честной абляции одинакова. Синтетические данные дёшево расширяют охват. Они не создают информацию о вашем захвате, провисании сервопривода, освещении или высоте стола, которой не было бы где-то в реальных демонстрациях. Если ваша политика поведения терпит неудачу из-за того, что конечный эффектор закрывается на полсекунды позже, никакое количество смоделированных вариаций это не исправит. Это проблема синхронизации захвата в реальных записях.

Одно из открытий MimicGen стоит учесть в ваших собственных сеансах записи, поскольку оно противоречит обычным советам. Проект сгенерировал два набора данных на Square D2: один с 10 демонстрациями от оператора-человека лучшего качества и один с 10 демонстрациями от оператора худшего качества, оба взяты из многопользовательского набора данных robomimic Square. Политики, обученные на каждом из них, достигли сопоставимых результатов, что авторы интерпретировали как признак того, что в режиме крупномасштабных данных качество данных может не иметь такого большого значения. Внимательно прочитайте: это утверждение относится к десяти начальным демонстрациям, а не к вашим пятидесяти реальным эпизодам. Это означает, что слегка некачественный начальный набор не является препятствием между вами и пригодным для использования сгенерированным набором данных. Это не означает, что реальные эпизоды, на которых вы совместно обучаетесь, могут быть некачественными, потому что именно они несут информацию, которой нет у симулятора.

Разрыв между симуляцией и реальностью, конкретно

Разрыв обычно обсуждается как единая величина, что бесполезно. На самом деле это как минимум пять отдельных несоответствий, и их размеры отличаются для любительской руки стоимостью от 110 до 150 евро по сравнению с Franka.

• Контакт и трение. Isaac Lab прямо заявляет, что при одинаковом оборудовании и одинаковой версии Isaac Sim и PhysX симуляция воспроизводима, но результаты варьируются в зависимости от различных аппаратных конфигураций из-за точности чисел с плавающей запятой и ошибок округления, и что PhysX не гарантирует детерминизм для любой сцены с нежесткими телами, такими как ткань или мягкие тела.
• Приведение в действие. Шина сервопривода Feetech STS3215, работающая при 7.4 V, провисает под нагрузкой, имеет люфт и меняет свое поведение при нагреве. Модель MJCF для SO-101 заимствует параметры двигателя из несвязанного проекта, а не определяет их на вашей руке.
• Рендеринг. Шум камеры, скользящий затвор, автоэкспозиция и точный оттенок вашего стола отсутствуют в рендере. Это та половина разрыва, которую был призван устранить Cosmos-Transfer1: его рабочий процесс аугментации робототехники сопоставляет один синтетический пример робототехники с несколькими реалистичными примерами из сегментации, глубины или краевого кондиционирования.
• Синхронизация. Симулятор работает с фиксированной частотой. Реальный контур управления — нет, а сама модель стоит от 20 до 485 ms на шаг действия в зависимости от выбранной вами. См. задержка вывода.
• Статистика объектов. Смоделированные сцены отбираются из распределения, которое кто-то записал. Ваш кухонный стол — нет.

Что на самом деле знает смоделированный SO-100 о вашей руке

Это та часть, которая решает, стоит ли что-либо из вышеперечисленного вашего выходного, и первый сюрприз заключается в том, что SO-100 и SO-101 обслуживаются не одинаково. Репозиторий SO-ARM100 от TheRobotStudio хранит свои симуляционные активы в папке Simulation/. Папка SO100 содержит один файл URDF и ничего более. Папка SO101 содержит как файлы URDF, так и файлы MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, соответствующие URDF и joints_properties.xml. Если вам нужна физическая модель, а не кинематическая цепь, вам нужны файлы SO-101.

Они были сгенерированы с помощью плагина onshape-to-robot из CAD-модели, разработанной в Onshape, что означает, что кинематика и визуальные сетки так же хороши, как и CAD. Динамика — это другая история, и README самого репозитория откровенно говорит о трех вещах. Базовые сетки столкновений были удалены из-за проблемного поведения при столкновениях во время симуляции и планирования. Свойства двигателя STS3215 адаптированы из проекта Open Duck Mini, а не измерены на SO-101. И конвенция захвата LeRobot, где 0 — полностью закрыто, а 100 — полностью открыто, явно еще не отражена в файлах URDF и MuJoCo. Каждое из этих мест — это точка, где политика, обученная исключительно на этой модели, будет вести себя иначе на вашем столе.

Рандомизация домена и что она не исправляет

Стандартный ответ на этот разрыв — перестать пытаться соответствовать реальности и вместо этого обучать модель на достаточно широком распределении, чтобы реальность попадала в него. Тобин и его коллеги показали сильную версию этого в 2017 году: детектор объектов, обученный только на симулированных изображениях с нереалистичными случайными текстурами, без какой-либо предварительной подготовки на реальных изображениях, локализовал реальные объекты с точностью до 1,5 см и оставался устойчивым к отвлекающим факторам и частичным окклюзиям.

Isaac Lab реализует ту же идею, что и условия событий, которые вы прикрепляете к конфигурации среды. Это параметры, по их фактическим именам функций в isaaclab.envs.mdp, чтобы вы могли прочитать их, а не гадать.

Вот предел, и это то, на чем люди спотыкаются. Рандомизация расширяет распределение, которое политика видела внутри построенной вами модели. Она не может ввести физический эффект, который симулятор не представляет. Если PhysX не моделирует люфт и тепловое провисание ваших сервоприводов STS3215, рандомизация их жесткости ничему не научит политику относительно люфта. Вот почему рука, которая под политикой, обученной в симуляторе, не является проблемой бюджета рандомизации. Это проблема моделирования.

Ручной путь: генерация данных в Isaac Lab

Isaac Gym — это устаревшее программное обеспечение. Собственная страница NVIDIA озаглавлена «Isaac Gym — теперь устарело» и сообщает, что разработчики могут загружать и продолжать использовать его, но оно больше не поддерживается, указывая вместо этого на Isaac Lab. Если вы хотите узнать историю, мы рассмотрели оба: и . Для новой работы в 2026 году начните с Isaac Lab.

1. 1
   Установка Isaac Sim и Isaac Lab

   Страница установки pip указывает, что инструкции предназначены для Isaac Sim 5.X, который требует Python 3.11. Клонирование исходного кода предоставляет вам скрипты, необходимые для следующих шагов.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Запись около десяти человеческих демонстраций

   Документация Isaac Lab конкретна: для успешного выполнения следующих шагов требуется около 10 успешных демонстраций. Ее советы столь же конкретны. Делайте демонстрации короткими, выбирайте прямой путь, а не двигайтесь по произвольным осям, и не делайте пауз, потому что для политики не очевидно, почему и когда нужно делать паузу.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Аннотирование границ подзадач

   Mimic разделяет входные демонстрации на подзадачи, чтобы можно было пересчитывать время и перенацеливать сегменты. Флаг --auto делает это без участия человека для задач, которые определяют автоматическую аннотацию; без него вы делаете паузу с B, продолжаете с N и отмечаете границу с S. Обратите внимание, что идентификатор задачи получает суффикс -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Генерация умноженного набора данных

   Это шаг, который превращает 10 в 1000. Mimic применяет булевый критерий успеха к каждому кандидату и сохраняет только те, которые выполнили задачу, поэтому количество выходных данных ниже, чем количество попыток. В документации указано, что процент успешных кандидатов достигает 70 процентов в простых случаях и ниже 1 процента для сложных задач и роботов: около 50 процентов для укладки кубиков Franka и от 65 до 80 процентов для захвата и размещения GR1T2, где 1000 демонстраций занимают от 18 до 40 минут (19 минут на RTX ADA 6000 при 80 процентах).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Преобразование HDF5 в набор данных LeRobot

   Все вышеперечисленное производит HDF5 в стиле robomimic, и ядро Isaac Lab не поставляет собственного конвертера LeRobot: его документация лишь утверждает, что вы можете преобразовать сгенерированный набор данных в формат LeRobot. Два проекта предоставляют фактический конвертер. IsaacLab-Arena поставляет конвертер, ориентированный на GR00T, полностью управляемый конфигурацией YAML, а LeIsaac поставляет свою собственную пару для маршрута SO-101 (см. ниже).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Почему попытки генерации терпят неудачу и что изменить

Колеблющийся показатель успешности кандидата от 70 процентов до менее 1 процента не является загадкой, и Isaac Lab документирует распространенные ошибки, вместо того чтобы оставлять вас гадать. Каждая из них — это то, что вы контролируете во время записи, поэтому стоит прочитать этот список до того, как вы запишете десять начальных демонстраций, а не после первого разочаровывающего запуска генерации.

• Демонстрации слишком длинные. Более длительный временной горизонт сложнее для обучения политики. Начинайте близко к первому объекту и минимизируйте движение.
• Демонстрации не плавные. Нерегулярное движение трудно расшифровать для политики, а лучшее оборудование для телеуправления дает лучшие данные: в документации прямо сказано, что SpaceMouse превосходит клавиатуру.
• Паузы. Паузы трудно изучать, потому что для политики не очевидно, почему и когда нужно делать паузу. Сохраняйте движение плавным.
• Слишком много подзадач. Большее количество подзадач означает большее сшивание между сегментами траектории, что приводит к менее плавному движению и более низкому показателю успешности генерации. Отмечайте границы, где рука вряд ли столкнется с чем-либо.
• Отсутствие шума действий. Шум действий делает результирующие политики более устойчивыми.
• Запись обрезана слишком плотно. Если запись останавливается на точном кадре, когда срабатывает условие успеха, оно может не сработать повторно во время воспроизведения. Оставьте буфер в конце.
• Недетерминированное воспроизведение. Физика в Isaac Lab не является детерминированно воспроизводимой при каждом env.reset, поэтому некоторые человеческие демонстрации терпят неудачу при воспроизведении. Соберите больше, чем вам нужно, и сохраните те, которые выживают после аннотации. Все, что попадает в HDF5-файл, сгенерированный Mimic, является успешной демонстрацией и может быть использовано для обучения, даже если воспроизведение позже завершится неудачей.

Шаг интерполяции между сшитыми сегментами подзадач имеет свой собственный регулятор, и количество необходимых шагов интерполяции зависит от скорости движения робота и ширины распределения сброса объектов. Сложная задача с большим распределением сброса оставляет большие промежутки между сегментами, что требует больше шагов интерполяции для получения непрерывного движения. Если ваши сгенерированные видео показывают, как рука дергается между фазами, это тот параметр, на который следует обратить внимание, прежде чем винить начальные демонстрации.

Тот же конвейер на SO-101, с реальной ведущей рукой

Это наиболее интересный вариант для всех, кто читает эту страницу, поскольку это единственный открытый конвейер, который помещает внутрь Isaac Lab и позволяет управлять им с помощью физической ведущей руки, которой вы уже владеете. LeIsaac, версия 0.4.0 на момент написания, является официальной симуляционной площадкой для обучения имитации, интегрированной в EnvHub LeRobot. Его таблица совместимости перечисляет три рабочие комбинации; новейшая сочетает Isaac Sim 5.1 с Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 и Python 3.11, а документация рекомендует Isaac Sim 5.0 или новее для карт 50-й серии.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

После этого ведущая рука на /dev/ttyACM0 управляет симулируемым ведомым и записывает данные прямо в HDF5. цикл такой же, как тот, который вы уже знаете из реальной записи, только ведомый является твердым телом в PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Большинство этих ID также существуют в варианте -Direct-v0, а python scripts/environments/list_envs.py выводит текущий список. Вы также можете полностью пропустить обходной путь с HDF5 и записывать данные в формате LeRobot во время телеуправления, добавив три флага. Два предостережения исходят из самой документации: рекордер автоматически пропускает первые 5 кадров каждого эпизода, чтобы избежать нестабильности начальных состояний, и это может вызвать небольшие задержки в телеуправлении, что именно то, что незаметно меняет характер ваших демонстраций. Он также сбрасывает только те эпизоды, которые задача пометила как успешные.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Затем на этих записях выполняется этап умножения. LeIsaac инкапсулирует Isaac Lab Mimic в четыре команды, поскольку Mimic обобщает траектории на основе поз концевого эффектора и объекта: преобразовать действия в пространстве суставов в действия на основе обратной кинематики (IK), аннотировать, сгенерировать, а затем преобразовать обратно в пространство суставов.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Затем преобразуйте в LeRobot. Это шаг, на котором вступает в силу правило формата платформы, и LeIsaac поставляет именно те два конвертера, которые вам нужны: isaaclab2lerobot.py записывает LeRobot v2, который используется загрузчиками GR00T, и isaaclab2lerobotv3.py записывает v3 для Pi0.5, SmolVLA и ACT. Оба скрипта принимают идентичные аргументы, но привязывают разные версии lerobot, и конвертируются только успешные эпизоды.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Два пути к обученной политике

Видео-модели мира: новейший слой и наименее изученный

Идея DreamGen заключается в том, что видео-генеративная модель, адаптированная к целевому воплощению робота, может воображать правдоподобные эпизоды в сценах, которые вы никогда не посещали. Конвейер состоит из четырех этапов: дообучение видео-модели мира, генерация фотореалистичных синтетических видеороликов робота, восстановление псевдо-последовательностей действий с помощью модели скрытых действий или модели обратной динамики, а затем обучение политики робота на полученном результате. Репозиторий GR00T-dreams от NVIDIA реализует именно это.

Главный результат реален и заслуживает серьезного внимания: данные телеуправления всего одной задачи по захвата и перемещения в одной среде позволили получить 22 новых поведения на гуманоиде как в знакомых, так и в незнакомых средах. Оговорка столь же реальна и относится к третьему этапу.

Совместное обучение — это рецепт, который действительно показывает прирост

Если вы вынесете один операционный урок из литературы, пусть это будет этот. Исследование совместного обучения на симуляции и в реальном мире (Maddukuri и коллеги, 2025) было направлено на поиск простого рецепта использования данных симуляции для решения задач роботизированной манипуляции на основе зрения в двух областях: роботизированная рука и гуманоид, и его вывод заключается в том, что обучение следует проводить на смешанных данных. Данные симуляции улучшили производительность задач в реальном мире в среднем на 38 процентов, и в статье прямо указано, что это сохранялось даже при заметных различиях между данными симуляции и реального мира.

Это последнее положение важнее, чем 38 процентов. Оно означает, что симуляция не обязательно должна быть идеальным цифровым двойником, чтобы быть полезной, при условии, что реальные данные присутствуют в смеси для ее закрепления. Перенос только из симуляции — это дорогостоящий путь: та же статья утверждает, что обучение политики исключительно в симуляции и ее перенос в реальный мир часто требует значительных человеческих усилий для преодоления разрыва между реальностью. Совместное обучение позволяет избежать большей части этих усилий, никогда не требуя от политики самостоятельно устранять этот разрыв.

Практически, на этой платформе совместное обучение означает одно: поместите оба набора эпизодов в один и тот же набор данных LeRobot с согласованными ключами камер, согласованным порядком суставов и согласованными единицами измерения, затем выполните обычную тонкую настройку. В форме обучения нет регулятора веса смеси. Если вы хотите соотношение симуляции к реальности 3:1, вы выражаете это количеством эпизодов каждого типа, которые вы помещаете в набор данных.

Самая дешевая выгода от симуляции — это не обучающие данные

Это оценка. Проведение десятков реальных испытаний для каждой задачи, чтобы сравнить два — это день работы манипулятора, и манипулятор дрейфует между испытаниями. SIMPLER (Ли и коллеги, 2024) создал симулированные среды, целью которых является оценка реальных политик, а не их обучение, а затем измерил, насколько хорошо рейтинг симуляции предсказывает реальный. Одна среда SIMPLER рендерится со скоростью 3500 шагов симуляции в секунду на потребительской RTX 4090 при разрешении 640 на 512, что при частоте симуляции 500 Гц дает 7-кратное ускорение по сравнению с реальной оценкой.

Это усредненные значения по трем группам задач Google Robot для шести распространенных контрольных точек с открытым исходным кодом: три контрольные точки RT-1 на разных этапах обучения, RT-1-X, RT-2-X и Octo-Base. Реальная сторона не имеет равномерного количества испытаний, что стоит знать, прежде чем цитировать это: 75 испытаний для задачи «взять банку колы», 60 для «переместить рядом», 54 для задач «открыть и закрыть ящик» и 27 для более длинной задачи «ящик и яблоко». Сравнение с MSE валидации является полезной частью. Выбор модели по потере валидации плохо ранжирует эти контрольные точки, а коэффициент корреляции Пирсона r 0,924 при визуальном сопоставлении означает, что если контрольная точка показывает лучшие результаты в SIMPLER, она, весьма вероятно, покажет лучшие результаты и на стенде. Это повторяемая ночная таблица результатов, и она не требует от вас веры во что-либо, касающееся переноса обучения из симуляции в реальность.

Если вы хотите получить более широкий контекст о том, что эти показатели бенчмарков говорят и не говорят вам о , мы написали об этом отдельно в .

В чем эта платформа вам не поможет

Четкое определение границ экономит всем время. AY-Robots — это платформа для записи, обучения и обслуживания. В ней нет симулятора.

• Без Isaac Lab, MimicGen, модели мира, создания сцен. Если вам нужны сгенерированные данные, вы генерируете их в другом месте и приносите результат.
• Обучающие системы потребляют только наборы данных LeRobot. Экспорт симулятора должен быть преобразован, прежде чем стать входными данными, и он должен быть правильной версии: v2.0 или v2.1 для GR00T N1.5 и N1.7, v3.0 для Pi0.5, SmolVLA и ACT.
• Точка входа для тонкой настройки GR00T — это CLI tyro, который не предоставляет seed, поэтому запуски GR00T не воспроизводимы бит в бит. Если вы проводите тщательное сравнение симуляции и реальности, это является существенным ограничением. Собственный seed по умолчанию у lerobot — 1000, а формы ACT, SmolVLA и Pi0.5 предоставляют поле seed.
• Накопление градиента фактически применяется только для двух обучающих систем GR00T. Для Pi0.5 и SmolVLA поле существует в форме, но lerobot 0.5.1 не имеет такого флага, поэтому оно ничего не делает.
• Инференс должен находиться рядом с сервоприводами для быстрых задач. Цикл управления составляет от 20 до 485 мс на шаг действия в зависимости от модели, и добавление задержек из-за публичного интернета превращает работающую политику в нерешительную. Удаленный инференс жизнеспособен для медленных операций типа 'взять и положить', но не для быстрого реактивного движения.

Бюджет, который можно обосновать

Поставьте два пути рядом с числами, которые каждый из них фактически публикует, и решение обычно принимается само собой для однозадачного проекта на недорогом манипуляторе.

Для первой политики на SO-100, записывайте. пошаговое руководство по записи и первый запуск обучения приведут вас к готовой контрольной точке по цене чашки кофе, и у вас будет реальная половина любой будущей смеси для совместного обучения. Обратитесь к симулятору, когда у вас есть рабочая база и конкретная ошибка обобщения, которую вы можете назвать, например, политика, которая работает только в одной конфигурации.

Рецепт, основанный на фактах

1. 1
   Сначала запишите реальный базовый уровень

   30 эпизодов для SmolVLA, 50 для ACT, GR00T N1.7 и Pi0.5. Обучите один раз. То, в чем эта политика терпит неудачу, является вашей спецификацией для синтетических данных.

2. 2
   Назовите причину сбоя обобщения

   Поза объекта? Освещение? Высота стола? Отвлекающие факторы? Другая формулировка инструкции? Синтетические данные хороши ровно в одном из этих аспектов за раз и бесполезны, если вы не можете сказать, в каком именно.

3. 3
   Выберите самое дешевое семейство, которое это покрывает

   Вариации позы и расположения: умножение траекторий. Освещение и текстура: сначала аугментация изображений, затем модель мира. Совершенно новые сцены: физические симуляции, и примите стоимость моделирования.

4. 4
   Генерируйте, затем агрессивно отбрасывайте

   Попытки генерации терпят неудачу, и собственная частота успешных кандидатов Isaac Lab варьируется от 70 процентов до менее 1 процента в зависимости от задачи. Сохраняйте только успешные, завершающие задачу траектории и просматривайте образец в виде видео, прежде чем доверять всей партии.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Совместное обучение, не замена

   Объедините сгенерированные эпизоды с реальными в единый набор данных LeRobot с идентичными ключами камер и порядком соединений. Показатель в 38 процентов — это показатель совместного обучения.

6. 6
   Оценивайте на реальном манипуляторе, и только там

   Симулированная оценка является хорошим сигналом для ранжирования (коэффициент корреляции Пирсона r 0.924 в настройке визуального сопоставления SIMPLER), но это не приемочный тест. Запустите контрольную точку на стенде, прежде чем поверить в нее.

Если вы предпочитаете начать с контрольного списка для самих реальных записей, , охватывает размещение камер, последствия и режимы отказа, которые делают набор данных непригодным. Подробности о самом формате находятся в , а сторона гиперпараметров — в .