Синтетични данни за роботни политики: Къде помага симулацията

На всеки няколко месеца някой осъзнава, че записването на петдесет епизода на ръка е бавно и пита дали симулатор би могъл да ги произведе вместо това. Това е справедлив въпрос. Честният отговор има три части: генерираните данни помагат, те не заместват реалните записи и съотношението между тези два факта зависи изцяло от вида синтетични данни, които имате предвид.

Тази страница разглежда какво всъщност е измерила публикуваната работа, какво можете да стартирате днес на нискобюджетна ръка като SO-100, и къде разликата между симулация и реалност изяжда ползите. Кратката версия, преди детайлите: системите, които отчитат най-големите множители, умножават малък набор от реални човешки демонстрации. Те не премахват нуждата от тях.

Четири различни неща се наричат синтетични данни

Преди да сравнявате числа, си струва да разделите семействата, защото статия, отчитаща 100-кратно увеличение, и статия, отчитаща 5 точки увеличение на успеха, често описват един и същ процес от различни краища. Общата нишка е, че нещо в набора от данни LeRobot е произведено от машина, а не записано от физическа ръка. Различното е коя част.

Само първите три са синтетични данни в смисъла, който има предвид тази статия. Четвъртото си струва да се спомене, защото се включва в същия разговор и е най-евтиното нещо в списъка. Ако все още не сте включили аугментациите, с които идва вашият обучител, направете го, преди да инсталирате симулатор.

Какво всъщност казват публикуваните числа

Ето доказателствената база, с числата, както са посочени от източниците, а не както са обобщени в прессъобщенията. Всеки ред по-долу е от статия или страница на проект, прочетена на 23 август 2026 г.

Моделът при всяка честна аблация е един и същ. Синтетичните данни разширяват покритието евтино. Те не създават информация за вашия грипер, провисване на сервомотора, осветление или височина на масата, която не е била някъде в реалните демонстрации. Ако вашата политика се проваля, защото крайният ефектор се затваря половин секунда твърде късно, никакво количество симулирани вариации не може да го поправи. Това е проблем с времето на грипера в реалните записи.

Едно откритие на MimicGen си струва да бъде приложено във вашите собствени сесии за запис, защото противоречи на обичайните съвети. Проектът генерира два набора от данни на Square D2, единият с 10 демонстрации от човешки оператор с по-добро качество и един с 10 демонстрации от оператор с по-лошо качество, като и двата са взети от многочовешкия набор от данни Square на robomimic. Политиките, обучени на всеки от тях, постигнаха сравними резултати, което авторите тълкуват като знак, че в режима на големи данни качеството на данните може да няма толкова голямо значение. Прочетете внимателно, това е твърдение за десетте начални демонстрации, а не за вашите петдесет реални епизода. Това означава, че леко некачествен начален набор не е това, което стои между вас и използваем генериран набор от данни. Това не означава, че реалните епизоди, върху които съвместно обучавате, могат да бъдат некачествени, защото те са тези, които носят информацията, която симулаторът не притежава.

Разликата между симулация и реалност, конкретно

Разликата обикновено се обсъжда като едно-единствено количество, което е безполезно. Тя представлява поне пет отделни несъответствия и те имат различни размери при хоби ръка от 110 до 150 EUR, отколкото при Franka.

• Контакт и триене. Isaac Lab ясно заявява, че при същия хардуер и същата версия на Isaac Sim и PhysX симулацията е възпроизводима, но резултатите варират при различни хардуерни конфигурации поради прецизността на плаващата запетая и грешките при закръгляване, и че PhysX не гарантира детерминизъм за никоя сцена с не-твърди тела като плат или меки тела.
• Задвижване. Серво мотор Feetech STS3215, работещ на 7.4 V, провисва под товар, има луфт и променя поведението си при нагряване. MJCF моделът за SO-101 заимства своите моторни параметри от несвързан проект, вместо да ги идентифицира на вашата ръка.
• Рендериране. Шумът от камерата, подвижният затвор, автоматичната експозиция и точният нюанс на вашата маса не присъстват в рендера. Това е половината от разликата, която Cosmos-Transfer1 беше създаден да затвори: неговият работен процес за роботизирано разширяване картографира един роботизиран синтетичен пример към множество реалистични примери от сегментация, дълбочина или кондициониране на ръбове.
• Времеви аспект. Симулаторът работи с фиксирана скорост. Реалният контролен цикъл не, а самият модел струва от 20 до 485 ms на стъпка на действие, в зависимост от избрания от вас. Вижте латентност на извода.
• Статистика на обектите. Симулираните сцени са взети от разпределение, което някой е записал. Вашата кухненска маса не е.

Какво всъщност знае симулираният SO-100 за вашата ръка

Това е частта, която решава дали някое от гореизброените си струва уикенда ви, и първата изненада е, че SO-100 и SO-101 не са еднакво обслужвани. Хранилището SO-ARM100 на TheRobotStudio съхранява своите симулационни активи под Simulation/. Папката SO100 съдържа един URDF файл и нищо друго. Папката SO101 съдържа както URDF, така и MuJoCo файлове: scene.xml, so101_new_calib.xml, so101_old_calib.xml, съответстващите URDF файлове и joints_properties.xml. Ако искате физически модел, а не кинематична верига, искате файловете на SO-101.

Те са генерирани с плъгина onshape-to-robot от CAD модел, проектиран в Onshape, което означава, че кинематиката и визуалните мрежи са толкова добри, колкото и CAD модела. Динамиката е друга история, а README файлът на хранилището е откровен относно три неща. Основните мрежи за сблъсък бяха премахнати поради проблемно поведение при сблъсък по време на симулация и планиране. Свойствата на мотора STS3215 са адаптирани от проекта Open Duck Mini, а не измерени на SO-101. И конвенцията на LeRobot за захващане, където 0 е напълно затворено и 100 е напълно отворено, изрично все още не е отразена във файловете URDF и MuJoCo. Всяко от тези неща е място, където политика, обучена чисто в този модел, ще се държи различно на вашето бюро.

Рандомизация на домейна и какво не поправя тя

Стандартният отговор на разликата е да спрем да се опитваме да съответстваме на реалността и вместо това да обучаваме върху достатъчно широко разпределение, така че реалността да попада в него. Тобин и колеги показаха силната версия на това през 2017 г.: детектор на обекти, обучен само върху симулирани изображения с нереалистични случайни текстури, без никакво предварително обучение върху реални изображения, локализира реални обекти с точност от 1.5 cm и остана устойчив на разсейващи фактори и частични затъмнения.

Isaac Lab представя същата идея като термините за събития, които прикачвате към конфигурация на средата. Това са контролите, по техните действителни имена на функции в isaaclab.envs.mdp, така че можете да ги прочетете, вместо да гадаете.

Ето границата, и тя е тази, за която хората се спъват. Рандомизацията разширява разпределението, което политиката е видяла в модела, който сте изградили. Тя не може да въведе физически ефект, който симулаторът не представя. Ако PhysX не моделира луфта и термичното провисване на вашите STS3215 сервомотори, рандомизирането на тяхната твърдост не учи политиката нищо за луфта. Ето защо ръка, която потрепва и след това провисва под обучена в симулация политика не е проблем с бюджета за рандомизация. Това е проблем с моделирането.

Ръчният път: генериране на данни в Isaac Lab

Isaac Gym е остарял софтуер. Собствената страница на NVIDIA е озаглавена „Isaac Gym – Вече отхвърлен“ и казва, че разработчиците могат да го изтеглят и да продължат да го използват, но че вече не се поддържа, като вместо това посочва Isaac Lab. Ако искате историята, ние покрихме и двете: и . За нова работа през 2026 г. започнете с Isaac Lab.

1. 1
   Инсталирайте Isaac Sim и Isaac Lab

   Страницата за инсталация с pip посочва, че инструкциите са за Isaac Sim 5.X, който изисква Python 3.11. Клонирането на изходния код ви дава скриптовете, необходими за следващите стъпки.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Запишете около десет човешки демонстрации

   Документацията на Isaac Lab е конкретна: необходими са около 10 успешни демонстрации, за да успеят следващите стъпки. Нейните съвети са също толкова конкретни. Дръжте демонстрациите кратки, следвайте директен път, вместо да се движите по произволни оси, и не правете паузи, защото не е очевидно за една политика защо и кога да прави пауза.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Анотирайте границите на подзадачите

   Mimic разделя входните демонстрации на подзадачи, така че да може да пренастрои времето и да пренасочи сегментите. Флагът --auto прави това без човешка намеса за задачи, които дефинират автоматична анотация; без него правите пауза с B, продължавате с N и маркирате граница със S. Забележете, че идентификаторът на задачата получава суфикс -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Генерирайте умножения набор от данни

   Това е стъпката, която превръща 10 в 1000. Mimic прилага булев критерий за успех към всеки кандидат и запазва само тези, които са изпълнили задачата, така че броят на изходите е по-нисък от броя на опитите. Документацията посочва, че процентът на успех на кандидатите е до 70 процента в прости случаи и под 1 процент за трудни задачи и сложни роботи: около 50 процента за подреждането на кубчета от Franka и 65 до 80 процента за GR1T2 pick and place, където 1000 демонстрации отнемат от 18 до 40 минути (19 минути на RTX ADA 6000 при 80 процента).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Конвертирайте HDF5 в LeRobot набор от данни

   Всичко по-горе произвежда HDF5 във формат robomimic, а ядрото на Isaac Lab не предлага собствен LeRobot конвертор: неговата документация само казва, че можете да конвертирате генерирания набор от данни във формат LeRobot. Два проекта предоставят действителния конвертор. IsaacLab-Arena предлага такъв, насочен към GR00T, изцяло управляван от YAML конфигурация, а LeIsaac предлага собствен чифт за маршрута SO-101 (вижте по-долу).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Защо опитите за генериране се провалят и какво да промените

Процентът на успех на кандидата, който варира между 70 процента и под 1 процент, не е мистерия, а Isaac Lab документира често срещаните клопки, вместо да ви оставя да гадаете. Всяка от тях е нещо, което контролирате по време на запис, поради което си струва да прочетете този списък, преди да запишете десетте начални демонстрации, а не след първия разочароващ цикъл на генериране.

• Демонстрациите са твърде дълги. По-дългият времеви хоризонт е по-труден за научаване от политиката. Започнете близо до първия обект и минимизирайте движението.
• Демонстрациите не са плавни. Нередовното движение е трудно за разгадаване от политиката, а по-добрият хардуер за телеоперация дава по-добри данни: документацията ясно посочва, че SpaceMouse е по-добър от клавиатура.
• Паузи. Паузите са трудни за научаване, защото не е очевидно за политиката защо и кога да паузира. Поддържайте движението плавно.
• Твърде много подзадачи. Повече подзадачи означават повече свързване между сегментите на траекторията, което води до по-малко плавно движение и по-нисък процент на успех при генериране. Анотирайте границите, където е малко вероятно ръката да се сблъска с нещо.
• Без шумови действия. Шумовите действия правят получените политики по-устойчиви.
• Записът е изрязан твърде плътно. Ако записът спре на точния кадър, когато се задейства условието за успех, то може да не се задейства отново по време на възпроизвеждане. Оставете буфер в края.
• Недетерминистично възпроизвеждане. Физиката в Isaac Lab не е детерминистично възпроизводима при env.reset, така че някои човешки демонстрации се провалят при възпроизвеждане. Съберете повече, отколкото ви е необходимо, и запазете тези, които оцеляват след анотация. Всичко, което попадне в генериран от Mimic HDF5 файл, е успешна демонстрация и може да се използва за обучение, дори ако възпроизвеждането по-късно се провали.

Стъпката на интерполация между свързаните сегменти на подзадачите има свой собствен регулатор, а броят на необходимите стъпки на интерполация зависи от това колко бързо се движи роботът и колко широко е разпределението на нулиране на обекта. Сложна задача с голямо разпределение на нулиране оставя по-големи пропуски между сегментите, което изисква повече стъпки на интерполация, за да се получи непрекъснато движение. Ако генерираните ви видеоклипове показват как ръката се движи рязко между фазите, това е параметърът, който трябва да разгледате, преди да обвинявате началните демонстрации.

Същият пайплайн на SO-101, с истинската водеща ръка

Това е интересният вариант за всеки, който чете тази страница, защото е единственият отворен пайплайн, който поставя вътре в Isaac Lab и ви позволява да го управлявате с физическата водеща ръка, която вече притежавате. LeIsaac, версия 0.4.0 към момента на писане, е официалната симулационна площадка за имитационно обучение, интегрирана в EnvHub на LeRobot. Неговата таблица за съвместимост изброява три работещи комбинации; най-новата съчетава Isaac Sim 5.1 с Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 и Python 3.11, а документацията препоръчва Isaac Sim 5.0 или по-нова за карти от серия 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

След като това е настроено, водещата ръка на /dev/ttyACM0 управлява симулирания последовател и записва директно в HDF5. Цикълът е същият, който вече познавате от реалния запис, само че последователят е твърдо тяло във PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Повечето от тези идентификатори съществуват и като -Direct-v0 вариант, а python scripts/environments/list_envs.py отпечатва текущия списък. Можете също така изцяло да пропуснете заобикалянето на HDF5 и да записвате във формат LeRobot по време на телеоперация, като добавите три флага. Две предупреждения идват от самата документация: записващото устройство автоматично пропуска първите 5 кадъра от всеки епизод, за да избегне нестабилност от началните състояния, и може да причини леки забавяния в телеоперацията, което е точно видът нещо, което тихо променя характера на вашите демонстрации. То също така изпразва епизоди само когато задачата е отбелязана като успешна.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

След това стъпката на умножение се изпълнява върху тези записи. LeIsaac обвива Isaac Lab Mimic в четири команди, тъй като Mimic обобщава траектории от пози на крайния ефектор и обекта: преобразува действията в пространството на ставите в действия, базирани на IK, анотира, генерира, след което преобразува обратно в пространството на ставите.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

След това конвертирайте в LeRobot. Това е стъпката, при която правилото за формат на платформата влиза в сила, и LeIsaac случайно предоставя точно двата конвертора, от които се нуждаете: isaaclab2lerobot.py записва LeRobot v2, което е форматът, който зареждащите устройства на GR00T приемат, и isaaclab2lerobotv3.py записва v3 за Pi0.5, SmolVLA и ACT. Двата скрипта приемат идентични аргументи, но използват различни версии на lerobot, и само успешните епизоди се конвертират.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Два пътя към обучена политика

Видео световни модели: най-новият слой и най-малко измерени

Идеята зад DreamGen е, че видео генеративен модел, адаптиран към целевото въплъщение на робота, може да си представи правдоподобни епизоди в сцени, които никога не сте посещавали. Процесът има четири етапа: фина настройка на видео световния модел, генериране на фотореалистични синтетични видеоклипове на роботи, възстановяване на псевдо-последователности от действия с латентен модел на действия или модел на обратна динамика, след което обучение на политиката на робота върху резултата. Хранилището GR00T-dreams на NVIDIA реализира точно това.

Основният резултат е реален и заслужава сериозно внимание: данни от телеоперация от само една задача за взимане и поставяне в една среда произведоха 22 нови поведения на хуманоид, както във виждани, така и в невиждани среди. Предупреждението е също толкова реално и се намира в третия етап.

Съвместното обучение е рецептата, която всъщност показва печалби

Ако вземете един оперативен урок от литературата, вземете този. Проучването за съвместно обучение симулация-реалност (Maddukuri и колеги, 2025) си постави за цел да намери проста рецепта за използване на симулационни данни за решаване на задачи за роботизирана манипулация, базирани на зрение, в две области – роботизирана ръка и хуманоид, и неговото заключение е, че се обучавате върху смес. Симулационните данни подобриха производителността на задачите в реалния свят средно с 38 процента, като статията изрично посочва, че това важи дори при забележими разлики между симулационните данни и данните от реалния свят.

Тази последна клауза е по-важна от 38-те процента. Тя означава, че симулацията не е задължително да бъде перфектен цифров близнак, за да бъде полезна, при условие че реалните данни са в сместа, за да я закотвят. Прехвърлянето само от симулация е скъпият път: същата статия посочва, че обучението на политика изцяло в симулация и прехвърлянето ѝ в реалния свят често изисква значителни човешки усилия за преодоляване на разликата в реалността. Съвместното обучение пропуска по-голямата част от тези усилия, като никога не изисква от политиката да затвори сама тази разлика.

На практика, на тази платформа, съвместното обучение означава едно нещо: поставете и двата набора от епизоди в един и същ LeRobot dataset с последователни ключове на камерата, последователен ред на ставите и последователни единици, след което стартирайте нормално fine-tune. Няма регулатор за теглото на сместа във формата за обучение. Ако искате съотношение симулация-реалност 3:1, изразявате това чрез броя на епизодите от всеки тип, които поставяте в набора от данни.

Най-евтината печалба от симулацията не са данните за обучение

Това е оценка. Извършването на десетки реални изпитвания за задача, за да се сравнят две е един ден работа на роботската ръка, като ръката се отклонява между изпитванията. SIMPLER (Li и колеги, 2024) създаде симулирани среди, чиято цел е оценяване на реални политики, а не тяхното обучение, и след това измери доколко добре симулационното класиране предсказва реалното. Една единствена SIMPLER среда се рендира при 3,500 симулационни стъпки в секунда на потребителска RTX 4090 при резолюция 640 на 512, което при симулационна честота от 500 Hz е 7 пъти по-бързо от реалната оценка.

Това са средни стойности за три групи задачи на Google Robot за шест често срещани контролни точки с отворен код: три контролни точки RT-1 на различни етапи на обучение, RT-1-X, RT-2-X и Octo-Base. Реалната страна не е с еднакъв брой изпитвания, което си струва да се знае, преди да го цитирате: 75 изпитвания за взимане на кенче кока-кола, 60 за преместване наблизо, 54 за задачите за отваряне и затваряне на чекмедже и 27 за по-дългата задача с чекмедже и ябълка. Сравнението с Validation MSE е полезната част. Изборът на модел чрез валидационна загуба класира тези контролни точки зле, а Pearson r от 0.924 при визуално съвпадение означава, че ако една контролна точка се представя по-добре в SIMPLER, тя много вероятно се представя по-добре и на стенда. Това е повтаряема нощна класация и не изисква да вярвате в нищо относно трансфера на обучение от симулация към реалност.

Ако искате по-широк контекст за това какво тези бенчмарк числа ви казват и не ви казват за един , ние го описахме отделно в .

Къде тази платформа не ви помага

Изясняването на границата спестява време на всички. AY-Robots е платформа за запис, обучение и обслужване. Тя не съдържа симулатор.

• Без Isaac Lab, без MimicGen, без световен модел, без авторство на сцени. Ако искате генерирани данни, генерирате ги другаде и донасяте резултата.
• Обучителите консумират LeRobot набори от данни и нищо друго. Експорт от симулатор трябва да бъде конвертиран, преди да стане вход, и трябва да е правилната версия: v2.0 или v2.1 за GR00T N1.5 и N1.7, v3.0 за Pi0.5, SmolVLA и ACT.
• Входната точка за фино настройване на GR00T е tyro CLI, който не излага seed, така че изпълненията на GR00T не са възпроизводими бит по бит. Ако провеждате внимателна симулация спрямо реална аблация, това е истинско ограничение. Собственият seed по подразбиране на lerobot е 1000, а формите на ACT, SmolVLA и Pi0.5 излагат поле за seed.
• Натрупването на градиент всъщност се прилага само за двата обучителя на GR00T. За Pi0.5 и SmolVLA полето съществува във формата, но lerobot 0.5.1 няма такъв флаг, така че не прави нищо.
• Изводът трябва да е до сервомоторите за бързи задачи. Контролният цикъл е от 20 до 485 ms на стъпка на действие в зависимост от модела, а добавянето на кръгови пътувания през публичен интернет превръща работещата политика в колеблива. Дистанционният извод е жизнеспособен за бавно вземане и поставяне, но не и за бързо реактивно движение.

Бюджет, който можете да защитите

Поставете двата пътя един до друг с числата, които всеки от тях действително публикува, и решението обикновено се взима от само себе си за проект с една задача на евтина ръка.

За първа политика на SO-100, запишете. и ще ви доведе до работеща контролна точка на цената на едно кафе и ще имате реалната половина от всяка бъдеща смес за съвместно обучение. Използвайте симулатора, когато имате работеща базова линия и конкретен провал в обобщението, който можете да назовете, като например политика, която .

Рецепта, която зачита доказателствата

1. 1
   Запишете първо реалната базова линия

   30 episodes for SmolVLA, 50 for ACT, GR00T N1.7 and Pi0.5. Тренирайте веднъж. Всичко, в което тази политика се провали, е вашата спецификация за синтетичните данни.

2. 2
   Назовете провала в обобщението

   Поза на обекта? Осветление? Височина на масата? Разсейващи фактори? Различна формулировка на инструкцията? Синтетичните данни са добри точно в едно от тези неща в даден момент и са безполезни, ако не можете да кажете кое.

3. 3
   Изберете най-евтиното семейство, което го покрива

   Вариация на позата и оформлението: умножение на траекториите. Осветление и текстура: първо увеличаване на изображението, второ модел на света. Изцяло нови сцени: физически симулации и приемете разходите за моделиране.

4. 4
   Генерирайте, след това изхвърляйте агресивно

   Опитите за генериране се провалят, а собственият процент на успех на кандидатите на Isaac Lab варира от 70 процента до под 1 процент в зависимост от задачата. Запазете само успешните, завършващи задачата траектории и прегледайте извадка като видео, преди да се доверите на партидата.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Съвместно обучение, не заменяйте

   Обединете генерираните епизоди с реалните в един LeRobot набор от данни с идентични ключове на камерите и подредба на ставите. Цифрата от 38 процента е резултат от съвместно обучение.

6. 6
   Оценете на реалната ръка и само там

   Симулираната оценка е добър сигнал за класиране (Pearson r 0.924 в настройката за визуално съвпадение на SIMPLER), но не е тест за приемане. Изпълнете контролната точка на стенда, преди да повярвате.

Ако предпочитате да започнете от контролен списък за самите реални записи, , обхваща разположението на камерата, последиците и режимите на отказ, които правят един неизползваем. Подробности за самия формат можете да намерите в , а страната на хиперпараметрите в .