Синтетички податоци за роботски политики: Каде што симулацијата помага

На секои неколку месеци некој сфаќа дека снимањето педесет епизоди рачно е бавно и прашува дали симулатор би можел да ги произведе наместо тоа. Тоа е фер прашање. Искрениот одговор има три дела: генерираните податоци помагаат, тие не ги заменуваат вистинските снимки, а односот помеѓу тие два факти целосно зависи од тоа каков вид на синтетички податоци мислите.

Оваа страница разгледува што всушност измери објавената работа, што можете да извршите денес на нискобуџетна рака како SO-100, и каде јазот помеѓу симулацијата и реалноста ги јаде придобивките. Кратката верзија, пред деталите: системите што ги пријавуваат најголемите множители множат мал сет на вистински човечки демонстрации. Тие не ја отстрануваат потребата за нив.

Четири различни работи се нарекуваат синтетички податоци

Пред да се споредуваат бројки, вреди да се одделат семејствата, бидејќи труд што известува за 100x множител и труд што известува за зголемување на успехот за 5 поени честопати ја опишуваат истата цевководна линија од различни краеви. Заедничката нишка е дека нешто во LeRobot збир на податоци е произведено од машина, наместо снимено од физичка рака. Она што се разликува е кој дел.

Само првите три се синтетички податоци во смислата на која се однесува овој напис. Четвртиот вреди да се спомене бидејќи е вклучен во истиот разговор и е убедливо најевтината работа на листата. Ако веќе не сте ги вклучиле аугментациите со кои доаѓа вашиот тренер, направете го тоа пред да инсталирате симулатор.

Што всушност кажуваат објавените бројки

Еве ја базата на докази, со бројките како што ги наведуваат изворите, а не како што ги сумираат соопштенијата за печатот. Секој ред подолу доаѓа од труд или страница на проект прочитана на 23 август 2026 година.

Шемата кај секоја искрена аблација е иста. Синтетичките податоци ја прошируваат покриеноста евтино. Тие не создаваат информации за вашиот грајфер, попуштањето на сервото, осветлувањето или висината на масата што веќе не биле присутни во реалните демонстрации некаде. Ако вашата политика не успева бидејќи краен ефектор се затвора половина секунда предоцна, никаква количина на симулирана варијација не го поправа тоа. Тоа е проблем со тајмингот на грајферот во реалните снимки.

Едно откритие на MimicGen вреди да се земе предвид во вашите сопствени сесии за снимање, бидејќи е спротивно на вообичаените совети. Проектот генерираше два сета на податоци на Square D2, еден со 10 демонстрации од човечки оператор со подобар квалитет и еден со 10 демонстрации од оператор со полош квалитет, и двете земени од robomimic multi-human Square сетот на податоци. Политиките тренирани на секој од нив постигнаа споредливи резултати, што авторите го толкуваат како знак дека во режимот на големи податоци квалитетот на податоците можеби не е толку важен. Прочитајте внимателно, тоа е изјава за десетте почетни демонстрации, а не за вашите педесет реални епизоди. Тоа значи дека малку невешт почетен сет не е она што стои помеѓу вас и употреблив генериран сет на податоци. Тоа не значи дека реалните епизоди на кои ко-тренирате можат да бидат невешти, бидејќи тие се оние што ги носат информациите што симулаторот ги нема.

Јазот симулација-реалност, конкретно

Јазот обично се дискутира како една единствена количина, што е бескорисно. Тоа се најмалку пет одделни неусогласености, и тие имаат различни големини на хоби рака од 110 до 150 ЕУР отколку на Franka.

• Контакт и триење. Isaac Lab јасно наведува дека со ист хардвер и иста верзија на Isaac Sim и PhysX, симулацијата е репродуктивна, но резултатите варираат помеѓу различни хардверски конфигурации поради прецизноста на подвижната запирка и грешките при заокружување, и дека PhysX не гарантира детерминизам за која било сцена со неригидни тела како што се ткаенина или меки тела.
• Активирање. Feetech STS3215 автобуски серво мотор кој работи на 7.4 V попушта под оптоварување, има луфт и го менува однесувањето како што се загрева. MJCF моделот за SO-101 ги позајмува своите параметри на моторот од неповрзан проект наместо да ги идентификува на вашата рака.
• Рендерирање. Шум на камерата, роллинг шатер, автоматска експозиција и точната нијанса на вашата маса не се вклучени во рендерот. Ова е половина од јазот што Cosmos-Transfer1 беше изграден да го затвори: неговиот работен тек за аугментација на роботиката мапира еден роботски синтетички пример на повеќе реални примери од сегментација, длабочина или условување на рабовите.
• Време. Симулаторот чекори со фиксна брзина. Вистинската контролна јамка не, а самиот модел чини 20 до 485 ms по чекор на акција во зависност од тоа кој сте го избрале. Видете латентност на заклучување.
• Статистика на објекти. Симулираните сцени се земени од дистрибуција што некој ја запишал. Вашата кујнска маса не е.

Што всушност знае симулираниот SO-100 за вашата рака

Ова е делот што одлучува дали нешто од горенаведеното вреди за вашиот викенд, а првото изненадување е што SO-100 и SO-101 не се подеднакво опслужени. Репозиториумот SO-ARM100 на TheRobotStudio ги чува своите симулациски средства под Simulation/. Папката SO100 содржи една URDF датотека и ништо друго. Папката SO101 содржи и URDF и MuJoCo датотеки: scene.xml, so101_new_calib.xml, so101_old_calib.xml, соодветните URDF-и и joints_properties.xml. Ако сакате физички модел наместо кинематички синџир, ги сакате датотеките SO-101.

Тие беа генерирани со приклучокот onshape-to-robot од CAD модел дизајниран во Onshape, што значи дека кинематиката и визуелните мрежи се добри колку и CAD моделот. Динамиката е друга приказна, а README-то на самото складиште е искрено за три работи. Основните мрежи за судир беа отстранети поради проблематично однесување при судир за време на симулација и планирање. Својствата на моторот STS3215 се адаптирани од проектот Open Duck Mini, наместо да се измерени на SO-101. И конвенцијата на LeRobot за фаќачот, каде што 0 е целосно затворен, а 100 е целосно отворен, експлицитно сè уште не е рефлектирана во URDF и MuJoCo датотеките. Секое од овие е место каде што политиката обучена чисто во тој модел ќе се однесува различно на вашата работна маса.

Доменска рандомизација и што таа не поправа

Стандардниот одговор на јазот е да престанете да се обидувате да ја усогласите реалноста и наместо тоа да тренирате низ доволно широка дистрибуција за реалноста да падне во неа. Тобин и колегите ја покажаа силната верзија на ова во 2017 година: детектор на објекти обучен само на симулирани слики со нереални случајни текстури, без никакво претходно тренирање на реални слики, локализираше реални објекти со точност од 1,5 cm и остана робустен на дистрактори и делумни оклузии.

Isaac Lab ја изложува истата идеја како и термините за настани што ги прикачувате на конфигурацијата на околината. Ова се копчињата, според нивните вистински имиња на функции во isaaclab.envs.mdp, за да можете да ги прочитате наместо да погодувате.

Ова е ограничувањето, и тоа е она на кое луѓето се сопнуваат. Рандомизацијата ја проширува дистрибуцијата што политиката ја видела во моделот што сте го изградиле. Таа не може да воведе физички ефект што симулаторот не го претставува. Ако PhysX не го моделира луфтот и термичкото опаѓање на вашите STS3215 серва, рандомизирањето на нивната цврстина не ја учи политиката ништо за луфтот. Затоа рака која под политика обучена во симулација не е проблем со буџетот за рандомизација. Тоа е проблем со моделирањето.

Рачен пат: генерирање податоци во Isaac Lab

Isaac Gym е застарен софтвер. Сопствената страница на NVIDIA е насловена „Isaac Gym - Сега застарен“ и вели дека програмерите можат да го преземат и продолжат да го користат, но дека повеќе не е поддржан, посочувајќи наместо тоа на Isaac Lab. Ако сакате историја, ги покривме и двете: и . За нова работа во 2026 година, започнете со Isaac Lab.

1. 1
   Инсталирајте Isaac Sim и Isaac Lab

   Страницата за инсталација на pip наведува дека упатствата се за Isaac Sim 5.X, кој бара Python 3.11. Клонирањето на изворниот код ви ги дава скриптите што се потребни за следните чекори.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Снимете околу десет човечки демонстрации

   Документацијата на Isaac Lab е специфична: потребни се околу 10 успешни демонстрации за да успеат следните чекори. Нејзините совети се подеднакво специфични. Чувајте ги демонстрациите кратки, одете по директна патека наместо да се движите по произволни оски и не паузирајте, бидејќи не е очигледно за политиката зошто и кога да паузира.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Анотирајте ги границите на подзадачите

   Mimic ги дели влезните демонстрации на подзадачи за да може повторно да ги темпира и пренасочи сегментите. Знамето --auto го прави ова без човечка интервенција за задачи кои дефинираат автоматска анотација; без него паузирате со B, продолжувате со N и означувате граница со S. Забележете дека ID-то на задачата добива наставка -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Генерирајте го помножениот сет на податоци

   Ова е чекорот што претвора 10 во 1000. Mimic применува булов критериум за успех на секој кандидат и ги задржува само оние што ја завршиле задачата, така што бројот на излези е помал од бројот на обиди. Документацијата ја става стапката на успех на кандидатите до 70 проценти во едноставни случаи и под 1 процент за тешки задачи и сложени роботи: околу 50 проценти за Franka сложување коцки, и 65 до 80 проценти за GR1T2 земање и поставување, каде што 1000 демонстрации траат од 18 до 40 минути (19 минути на RTX ADA 6000 со 80 проценти).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Конвертирајте HDF5 во LeRobot сет на податоци

   Сè погоре произведува HDF5 со вкус на robomimic, а јадрото на Isaac Lab не испорачува сопствен конвертор за LeRobot: неговата документација само вели дека можете да го конвертирате генерираниот сет на податоци во формат LeRobot. Два проекти го обезбедуваат вистинскиот конвертор. IsaacLab-Arena испорачува конвертор насочен кон GR00T, целосно управуван од YAML конфигурација, а LeIsaac испорачува сопствен пар за рутата SO-101 (види подолу).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Зошто обидите за генерирање не успеваат и што да се промени

Стапката на успех на кандидатот што варира помеѓу 70 проценти и под 1 процент не е мистерија, а Isaac Lab ги документира вообичаените замки наместо да ве остави да погодувате. Секоја од нив е нешто што го контролирате за време на снимањето, поради што вреди да го прочитате овој список пред да ги снимите десетте почетни демонстрации, а не по првото разочарувачко извршување на генерирање.

• Демонстрациите се премногу долги. Подолг временски хоризонт е потежок за учење на политиката. Започнете блиску до првиот објект и минимизирајте го движењето.
• Демонстрациите не се мазни. Неправилното движење е тешко за политиката да го дешифрира, а подобар хардвер за телеоперација дава подобри податоци: документите јасно кажуваат дека SpaceMouse е подобар од тастатура.
• Паузи. Паузите се тешки за учење, бидејќи не е очигледно за политиката зошто и кога да паузира. Одржувајте го движењето течно.
• Премногу подзадачи. Повеќе подзадачи значат повеќе спојување помеѓу сегментите на траекторијата, што резултира со помалку мазно движење и пониска стапка на успех при генерирање. Анотирајте ги границите каде што раката е малку веројатно да се судри со нешто.
• Без шум на дејство. Шумот на дејство ги прави добиените политики поробусни.
• Снимањето е премногу исечено. Ако снимањето запре на точната рамка кога се активира терминот за успех, може да не се активира повторно за време на репродукцијата. Оставете бафер на крајот.
• Недетерминистичка репродукција. Физиката во Isaac Lab не е детерминистички репродуктивна преку env.reset, така што некои човечки демонстрации не успеваат при репродукција. Соберете повеќе отколку што ви треба и задржете ги оние што преживуваат анотација. Сè што ќе се најде во HDF5 датотека генерирана од Mimic е успешна демонстрација и може да се користи за обука дури и ако репродукцијата подоцна не успее.

Чекорот на интерполација помеѓу споените сегменти на подзадачи има свој сопствен регулатор, а бројот на чекори на интерполација што ви треба се скалира со брзината на движење на роботот и ширината на дистрибуцијата за ресетирање на објектот. Комплексна задача со голема дистрибуција за ресетирање остава поголеми празнини помеѓу сегментите, за што се потребни повеќе чекори на интерполација за да се добие континуирано движење. Ако вашите генерирани видеа покажуваат како раката се движи нагло помеѓу фазите, тоа е параметарот што треба да го погледнете пред да ги обвините почетните демонстрации.

Истиот процес на SO-101, со вистинската водечка рака

Ова е интересниот дел за секој што ја чита оваа страница, бидејќи тоа е единствениот отворен систем што става во Isaac Lab и ви овозможува да го управувате со физичката водечка рака што веќе ја поседувате. LeIsaac, верзија 0.4.0 во моментот на пишување, е официјалното симулациско игралиште за учење преку имитација интегрирано во EnvHub на LeRobot. Неговата табела за компатибилност наведува три работни комбинации; најновата ги спојува Isaac Sim 5.1 со Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 и Python 3.11, а документацијата препорачува Isaac Sim 5.0 или понова верзија за картички од серијата 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Со тоа, водечката рака на /dev/ttyACM0 го управува симулираниот следбеник и снима директно во HDF5. јамката е истата што веќе ја знаете од вистинското снимање, само што следбеникот е круто тело во PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Повеќето од тие ID-а постојат и како -Direct-v0 варијанта, а python scripts/environments/list_envs.py ја печати тековната листа. Можете исто така целосно да го прескокнете HDF5 заобиколувањето и да го запишете форматот LeRobot за време на телеоперација со додавање на три знаменца. Две предупредувања доаѓаат од самата документација: снимачот автоматски ги прескокнува првите 5 рамки од секоја епизода за да избегне нестабилност од почетните состојби, и може да предизвика мали доцнења во телеоперацијата, што е токму она што тивко го менува карактерот на вашите демонстрации. Исто така, ги исфрла само епизодите што задачата ги означила како успешни.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Чекорот на множење потоа се извршува на тие снимки. LeIsaac го обвиткува Isaac Lab Mimic во четири команди, бидејќи Mimic ги генерализира траекториите од позите на крајниот ефектор и објектот: конвертирајте ги дејствата во просторот на зглобовите во дејства базирани на IK, анотирајте, генерирајте, а потоа конвертирајте назад во просторот на зглобовите.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Потоа конвертирајте во LeRobot. Ова е чекорот каде што правилото за формат на платформата стапува на сила, а LeIsaac испорачува токму два конвертори што ви се потребни: isaaclab2lerobot.py запишува LeRobot v2, што е она што го користат GR00T вчитувачите, а isaaclab2lerobotv3.py запишува v3 за Pi0.5, SmolVLA и ACT. Двете скрипти прифаќаат идентични аргументи, но користат различни верзии на lerobot, и само успешните епизоди се конвертираат.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Два патишта до тренирана политика

Видео светски модели: најновиот слој, и најмалку измерен

Идејата зад DreamGen е дека видео генеративен модел, прилагоден на целното роботско отелотворување, може да замисли веродостојни епизоди во сцени кои никогаш не сте ги посетиле. Процесот има четири фази: фино подесување на видео светскиот модел, генерирање фотореалистични синтетички роботски видеа, обновување на псевдо-акциони секвенци со латентен акционен модел или модел на инверзна динамика, а потоа тренирање на роботската политика врз основа на резултатот. Репозиториумот GR00T-dreams на NVIDIA го имплементира токму тоа.

Главниот резултат е реален и вреди да се сфати сериозно: податоците од телеоперација од само една задача за земање и поставување во една околина произведоа 22 нови однесувања на хуманоид, и во видени и во невидени околини. Предупредувањето е подеднакво реално и се наоѓа во третата фаза.

Ко-тренингот е рецептот што всушност покажува добивки

Ако извлечете една оперативна лекција од литературата, нека биде оваа. Студијата за ко-тренинг симулација-и-реалност (Maddukuri и колеги, 2025) имаше за цел да најде едноставен рецепт за користење на симулациски податоци за решавање на задачи за роботска манипулација базирани на визија, низ два домени, роботска рака и хуманоид, а нејзиниот заклучок е дека тренирате на мешавина. Симулациските податоци ја подобрија перформансата на задачите во реалниот свет во просек за 38 проценти, а трудот експлицитно наведува дека ова важело дури и со забележителни разлики помеѓу симулацијата и податоците од реалниот свет.

Таа последна клаузула е поважна од 38 проценти. Тоа значи дека симулацијата не мора да биде совршен дигитален близнак за да биде корисна, под услов реалните податоци да се во мешавината за да ја закотват. Трансферот само од симулација е скап пат: истиот труд наведува дека тренирањето политика исклучиво во симулација и нејзино пренесување во реалниот свет често бара значителен човечки напор за да се премости јазот во реалноста. Ко-тренингот го прескокнува поголемиот дел од тој напор со тоа што никогаш не бара од политиката сама да го затвори јазот.

Практично, на оваа платформа, ко-тренингот значи едно нешто: ставете ги двата сета епизоди во истиот LeRobot dataset со конзистентни клучеви на камерата, конзистентен редослед на зглобовите и конзистентни единици, потоа извршете нормално фино подесување. Нема копче за тежина на мешавината во формата за тренирање. Ако сакате сооднос 3:1 симулација-спрема-реалност, тоа го изразувате со тоа колку епизоди од секоја ќе ставите во сетот на податоци.

Најевтината придобивка од симулацијата не се податоците за тренирање

Тоа е евалуација. Извршувањето десетици реални обиди по задача за споредување на две е еден ден работа на роботската рака, а раката се поместува помеѓу обидите. SIMPLER (Ли и соработници, 2024) изгради симулирани средини чија цел е оценување на реални политики наместо нивно тренирање, а потоа измери колку добро рангирањето во симулацијата го предвидува реалното. Една SIMPLER средина се рендерира со 3.500 симулациски чекори во секунда на потрошувачка RTX 4090 со резолуција од 640 на 512, што под симулациска фреквенција од 500 Hz е забрзување од 7 пати во однос на реалната евалуација.

Тоа се просеци од три групи задачи на Google Robot за шест вообичаени контролни точки со отворен код: три RT-1 контролни точки во различни фази на тренирање, RT-1-X, RT-2-X и Octo-Base. Реалната страна нема униформен број на обиди, што вреди да се знае пред да го цитирате: 75 обиди за подигање лименка кока-кола, 60 за движење блиску, 54 за задачите за отворање и затворање фиока и 27 за подолгата задача со фиока и јаболко. Споредбата со MSE на валидација е корисниот дел. Изборот на модел според загубата при валидација лошо ги рангира овие контролни точки, а Pearson r од 0.924 под визуелно совпаѓање значи дека ако контролна точка постигне подобар резултат во SIMPLER, многу веројатно ќе постигне подобар резултат и на тестот. Тоа е повторлив резултат кој може да се добие преку ноќ, и не бара од вас да верувате во ништо за трансферот на тренирање од симулација во реалност.

Ако сакате поширок контекст за тоа што овие бројки од бенчмарк ви кажуваат, а што не за , тоа го напишавме одделно во .

Каде оваа платформа не ви помага

Јасното дефинирање на границата им заштедува време на сите. AY-Robots е платформа за снимање, обука и опслужување. Не содржи симулатор.

• Без Isaac Lab, без MimicGen, без светски модел, без авторство на сцена. Ако сакате генерирани податоци, ги генерирате на друго место и го носите резултатот.
• Тренерите консумираат LeRobot податочни множества и ништо друго. Извозот од симулатор мора да биде конвертиран пред да биде влез, и мора да биде вистинската верзија: v2.0 или v2.1 за GR00T N1.5 и N1.7, v3.0 за Pi0.5, SmolVLA и ACT.
• Влезната точка за фино подесување на GR00T е tyro CLI што не изложува seed, така што извршувањата на GR00T не се репродуцибилни бит-за-бит. Ако извршувате внимателна симулација наспроти реална аблација, тоа е вистинско ограничување. Стандардниот seed на lerobot е 1000, а формите ACT, SmolVLA и Pi0.5 изложуваат поле за seed.
• Акумулацијата на градиент е всушност применета само за двата GR00T тренери. За Pi0.5 и SmolVLA полето постои во формата, но lerobot 0.5.1 нема такво знаменце, така што не прави ништо.
• Заклучувањето мора да биде до сервомоторите за брзи задачи. Контролната јамка е од 20 до 485 ms по чекор на акција во зависност од моделот, а додавањето на кружни патувања преку јавен интернет претвора функционална политика во колеблива. Далечинското заклучување е изводливо за бавно земање и поставување, но не и за брзо реактивно движење.

Буџет што можете да го одбраните

Ставете ги двете патеки една до друга со бројките што секоја од нив всушност ги објавува, и одлуката обично се донесува сама за проект со една задача на нискобуџетна рака.

За прва политика на SO-100, снимајте. , и ќе ве доведе до подготвен контролен пункт по цена на кафе, и ќе ја имате реалната половина од која било идна мешавина за заедничко тренирање. Посегнете по симулаторот кога имате работна основа и специфичен неуспех во генерализацијата што можете да го именувате, како на пример политика која .

Рецепт што ги почитува доказите

1. 1
   Прво снимете ја вистинската почетна линија

   30 епизоди за SmolVLA, 50 за ACT, GR00T N1.7 и Pi0.5. Тренирајте еднаш. Сето она во што таа политика не успева е вашата спецификација за синтетичките податоци.

2. 2
   Именувајте го неуспехот во генерализацијата

   Поза на објектот? Осветлување? Висина на масата? Одвлекувачи? Поинаква формулација на упатството? Синтетичките податоци се добри за точно едно од овие истовремено, и бескорисни ако не можете да кажете кое.

3. 3
   Изберете го најевтиното семејство што го покрива тоа

   Варијација на поза и распоред: мултипликација на траектории. Осветлување и текстура: прво зголемување на сликата, второ светски модел. Сосема нови сцени: физички симулации, и прифатете ја цената на моделирањето.

4. 4
   Генерирајте, потоа агресивно отфрлете

   Обидите за генерирање не успеваат, а сопствената стапка на успех на кандидатите на Isaac Lab се движи од 70 проценти до под 1 процент во зависност од задачата. Задржете ги само успешните траектории кои ја завршуваат задачата, и прегледајте примерок како видео пред да му верувате на серијата.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Ко-тренирајте, не заменувајте

   Спојте ги генерираните епизоди со вистинските во еден LeRobot сет на податоци со идентични клучеви на камерата и редослед на зглобовите. Бројката од 38 проценти е бројка за ко-тренинг.

6. 6
   Евалуирајте на вистинската рака, и само таму

   Симулираната евалуација е добар сигнал за рангирање (Pearson r 0.924 во визуелно-соодветната поставка на SIMPLER), но тоа не е тестот за прифаќање. Стартувајте ја контролната точка на клупата пред да ѝ верувате.

Ако претпочитате да започнете од контролна листа за самите вистински снимки, опфаќа поставување на камерата, импликации и начини на неуспех што прават еден сет на податоци неупотреблив. Детали за самиот формат се наоѓаат во , а страната на хиперпараметрите во .