Робот саясаттарына арналған синтетикалық деректер: Модельдеу қалай көмектеседі

Бірнеше ай сайын біреу елу эпизодты қолмен жазу баяу екенін түсініп, оның орнына симулятор оларды жасай ала ма деп сұрайды. Бұл әділ сұрақ. Шынайы жауаптың үш бөлігі бар: жасалған деректер көмектеседі, ол нақты жазбаларды алмастырмайды, және осы екі фактінің арақатынасы сіз қандай синтетикалық деректерді меңзеп отырғаныңызға байланысты.

Бұл бет жарияланған жұмыста нақты не өлшенгенін, бүгінде SO-100 сияқты арзан қолда не істеуге болатынын және симулятордан нақтыға көшу кезіндегі айырмашылықтың артықшылықтарды қалай жоятынын қарастырады. Толық мәліметтерге дейінгі қысқа нұсқасы: ең үлкен мультипликаторларды хабарлайтын жүйелер нақты адам демонстрацияларының шағын жиынтығын көбейтеді. Олар оларға деген қажеттілікті жоймайды.

Төрт түрлі нәрсе синтетикалық деректер деп аталады

Сандарды салыстырмас бұрын отбасыларды бөліп алған жөн, өйткені 100 еселік көбейткіш туралы есеп беретін мақала мен 5 ұпайлық табыс туралы есеп беретін мақала көбінесе бір конвейерді әртүрлі жағынан сипаттайды. Жалпы жіп - бұл LeRobot деректер жинағы физикалық қолдан жазылғаннан гөрі машинамен жасалған. Айырмашылығы - қай бөлігінде.

Бұл мақаланың мағынасында тек алғашқы үшеуі синтетикалық деректер болып табылады. Төртіншісін айта кету керек, өйткені ол бір әңгімеге топтастырылады және тізімдегі ең арзан нәрсе. Егер сіз жаттықтырушыңызбен бірге келетін кеңейтулерді әлі қоспаған болсаңыз, симуляторды орнатпас бұрын оны істеңіз.

Жарияланған сандар шын мәнінде не дейді

Мұнда дәлелдеме базасы берілген, сандар баспасөз хабарламаларындағы қысқаша мазмұны емес, бастапқы дереккөздерде көрсетілгендей. Төмендегі әрбір жол 2026 жылғы 23 тамызда оқылған мақаладан немесе жоба бетінен алынған.

Әрбір адал абляциядағы үлгі бірдей. Синтетикалық деректер қамтуды арзанға кеңейтеді. Ол сіздің қысқышыңыз, серво теңселуіңіз, жарықтандыруыңыз немесе үстел биіктігіңіз туралы нақты демонстрацияларда болмаған ақпаратты жасамайды. Егер сіздің саясатыңыз сәтсіз болса, себебі соңғы эффектіңіз жарты секундқа кешігіп жабылса, ешқандай симуляцияланған вариация оны түзете алмайды. Бұл қысқыштың уақыт мәселесі нақты жазбаларда.

MimicGen-нің бір тұжырымы сіздің жеке жазу сессияларыңызға енгізуге тұрарлық, себебі ол әдеттегі кеңестерге қайшы келеді. Жоба Square D2-де екі деректер жинағын жасады: бірі жақсырақ сапалы адам операторынан алынған 10 демонстрациямен, екіншісі нашар сапалы оператордан алынған 10 демонстрациямен, екеуі де robomimic көп адамды Square деректер жинағынан алынған. Әрқайсысында оқытылған саясаттар салыстырмалы нәтижелерге қол жеткізді, мұны авторлар үлкен көлемді деректер режимінде деректер сапасы соншалықты маңызды болмауы мүмкін екендігінің белгісі ретінде түсіндірді. Мұқият оқыңыз, бұл сіздің елу нақты эпизодыңыз туралы емес, он бастапқы демонстрация туралы мәлімдеме. Бұл дегеніміз, сәл нашар бастапқы жиынтық сіз бен пайдалануға жарамды жасалған деректер жинағы арасында тұрған нәрсе емес. Бұл сіз бірге оқытатын нақты эпизодтардың нашар болуы мүмкін дегенді білдірмейді, себебі олар симуляторда жоқ ақпаратты тасымалдайды.

Сим-нақтылық алшақтығы, нақтырақ айтқанда

Бұл алшақтық әдетте бір шама ретінде талқыланады, бұл пайдасыз. Ол кем дегенде бес бөлек сәйкессіздіктен тұрады, және олардың 110-150 EUR тұратын хобби робот қолындағы өлшемдері Franka роботындағыдан өзгеше болады.

• Байланыс және үйкеліс. Isaac Lab бірдей аппараттық құралдар мен бірдей Isaac Sim және PhysX нұсқасы берілгенде симуляцияның қайталанатынын, бірақ нәтижелердің әртүрлі аппараттық конфигурацияларда қалқымалы нүкте дәлдігі мен дөңгелектеу қателеріне байланысты өзгеретінін және PhysX мата немесе жұмсақ денелер сияқты қатты емес денелері бар кез келген көрініс үшін детерминизмге кепілдік бермейтінін анық айтады.
• Қозғалыс. 7.4 В кернеумен жұмыс істейтін Feetech STS3215 шиналық сервосы жүктеме кезінде салбырап, бос жүрісі болады және қызған кезде мінез-құлқын өзгертеді. SO-101 үшін MJCF моделі өзінің қозғалтқыш параметрлерін сіздің қолыңызда анықтаудың орнына, басқа жобадан алады.
• Рендеринг. Камера шуы, жылжымалы ысырма, автоматты экспозиция және үстеліңіздің нақты реңкі рендерде жоқ. Бұл алшақтықты жабу үшін Cosmos-Transfer1 жасалған: оның робототехниканы кеңейту жұмыс процесі бір робототехникалық синтетикалық мысалды сегментация, тереңдік немесе шеткі шарттау арқылы бірнеше шынайы мысалдарға сәйкестендіреді.
• Уақыт. Симулятор тұрақты жылдамдықпен қадам жасайды. Нақты басқару циклі олай емес, және модельдің өзі таңдаған түріне байланысты әрекет қадамына 20-дан 485 мс дейін тұрады. Қараңыз: инференс кідірісі.
• Нысан статистикасы. Модельденген көріністер біреу жазып алған таралудан алынады. Сіздің ас үй үстеліңіз олай емес.

Модельденген SO-100 сіздің қолыңыз туралы не біледі

Бұл жоғарыда айтылғандардың демалысыңызға тұрарлық па, жоқ па екенін шешетін бөлік, және бірінші тосынсый – SO-100 мен SO-101 бірдей қызмет көрсетілмейді. TheRobotStudio-ның SO-ARM100 репозиторийі өзінің симуляциялық активтерін Simulation/. SO100 қалтасында бір ғана URDF файлы бар және басқа ештеңе жоқ. SO101 қалтасында URDF және MuJoCo файлдары бар: scene.xml, so101_new_calib.xml, so101_old_calib.xml, сәйкес URDF файлдары және joints_properties.xml. Егер сізге кинематикалық тізбек емес, физикалық модель қажет болса, SO-101 файлдарын қалайсыз.

Олар Onshape бағдарламасында жасалған CAD моделінен onshape-to-robot плагині арқылы жасалған, яғни кинематика мен визуалды торлар CAD сияқты жақсы. Динамика басқа әңгіме, және репозиторийдің README файлы үш нәрсе туралы ашық айтады. Симуляция мен жоспарлау кезіндегі проблемалық соқтығысу әрекетіне байланысты негізгі соқтығысу торлары жойылды. STS3215 қозғалтқышының қасиеттері SO-101-де өлшенгеннен гөрі Open Duck Mini жобасынан бейімделген. Ал LeRobot қармауышының конвенциясы, мұнда 0 толық жабық және 100 толық ашық, URDF және MuJoCo файлдарында әлі көрсетілмеген. Олардың әрқайсысы тек сол модельде оқытылған саясат сіздің үстеліңізде басқаша әрекет ететін орын болып табылады.

Домендік рандомизация және оның не түзетпейтіні

Айырмашылыққа стандартты жауап – шындыққа сәйкестендіру әрекетін тоқтатып, оның орнына шындық оның ішіне кіретіндей кең таралу бойынша оқыту. Тобин және әріптестері мұның күшті нұсқасын 2017 жылы көрсетті: тек шынайы емес кездейсоқ текстуралары бар симуляцияланған кескіндерде оқытылған, нақты кескіндерде алдын ала оқытусыз объектіні анықтағыш нақты объектілерді 1.5 см дәлдікпен локализациялады және алаңдататын факторлар мен ішінара кедергілерге төзімді болды.

Isaac Lab орта конфигурациясына қосатын оқиға терминдері сияқты идеяны ұсынады. Бұл реттегіштер, олардың нақты функция атаулары бойынша isaaclab.envs.mdp ішінде, сондықтан сіз оларды болжаудың орнына оқып шыға аласыз.

Міне, шектеу, және бұл адамдар жиі қателесетін нәрсе. Рандомизация сіз құрастырған модель ішінде саясат көрген таралуды кеңейтеді. Ол симулятор көрсетпейтін физикалық әсерді енгізе алмайды. Егер PhysX сіздің STS3215 сервоприводтарыңыздың кері соққысын және термиялық салбырауын модельдемесе, олардың қаттылығын рандомизациялау саясатқа кері соққы туралы ештеңе үйретпейді. Сондықтан симуляторда оқытылған саясат бойынша қол рандомизация бюджетінің мәселесі емес. Бұл модельдеу мәселесі.

Қолмен жол: Isaac Lab-та деректерді генерациялау

Isaac Gym ескірген бағдарламалық қамтамасыз ету. NVIDIA-ның өз бетінде «Isaac Gym - Енді ескірген» деген тақырып бар және әзірлеушілер оны жүктеп алып, пайдалануды жалғастыра алатынын, бірақ оның енді қолдау көрсетілмейтінін, оның орнына Isaac Lab-қа нұсқайтынын айтады. Егер сіз тарихты білгіңіз келсе, біз екеуін де қарастырдық: және . 2026 жылғы жаңа жұмыстар үшін Isaac Lab-тан бастаңыз.

1. 1
   Isaac Sim және Isaac Lab орнату

   pip орнату бетінде нұсқаулар Python 3.11 талап ететін Isaac Sim 5.X үшін екендігі көрсетілген. Бастапқы клондау келесі қадамдарға қажетті сценарийлерді береді.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Шамамен он адам демонстрациясын жазыңыз

   Isaac Lab құжаттамасы нақты: келесі қадамдардың сәтті орындалуы үшін шамамен 10 сәтті демонстрация қажет. Оның кеңестері де нақты. Демонстрацияларды қысқа ұстаңыз, ерікті осьтер бойымен қозғалмай, тікелей жолды таңдаңыз және кідіртпеңіз, өйткені саясат үшін неліктен және қашан кідірту керектігі түсініксіз.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Кіші тапсырма шекараларын аннотациялау

   Mimic енгізу демонстрацияларын кіші тапсырмаларға бөледі, осылайша ол сегменттерді қайта уақыттап, қайта бағыттай алады. --auto жалаушасы автоматты аннотацияны анықтайтын тапсырмалар үшін адамның қатысуынсыз орындайды; онсыз сіз B пернесімен кідіртесіз, N пернесімен жалғастырасыз және S пернесімен шекараны белгілейсіз. Тапсырма идентификаторына -Mimic суффиксі қосылатынын ескеріңіз.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Көбейтілген деректер жинағын жасау

   Бұл 10-ды 1000-ға айналдыратын қадам. Mimic әрбір кандидатқа логикалық сәттілік критерийін қолданады және тек тапсырманы орындағандарын ғана сақтайды, сондықтан шығыс саны сынақ санынан аз болады. Құжаттарда кандидаттың сәттілік деңгейі қарапайым жағдайларда 70 пайызға дейін, ал күрделі тапсырмалар мен күрделі роботтар үшін 1 пайыздан төмен деп көрсетілген: Franka текшесін жинау үшін шамамен 50 пайыз, ал GR1T2 алу және орналастыру үшін 65-тен 80 пайызға дейін, мұнда 1000 демонстрация 18-ден 40 минутқа дейін уақыт алады (RTX ADA 6000-да 80 пайызбен 19 минут).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5-ті LeRobot деректер жинағына түрлендіру

   Жоғарыда айтылғандардың барлығы robomimic-стиліндегі HDF5 өндіреді, және Isaac Lab ядросының өзінің LeRobot конвертері жоқ: оның құжаттарында тек жасалған деректер жинағын LeRobot форматына түрлендіруге болатыны айтылған. Екі жоба нақты конвертерді ұсынады. IsaacLab-Arena толығымен YAML конфигурациясымен басқарылатын GR00T-ке бағытталған конвертерді жеткізеді, ал LeIsaac SO-101 маршруты үшін өзінің жұбын жеткізеді (төменде қараңыз).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Неліктен генерация әрекеттері сәтсіз аяқталады және нені өзгерту керек

70 пайыздан 1 пайыздан төменге дейін ауытқитын ықтимал сәттілік деңгейі жұмбақ емес, және Isaac Lab сізді болжауға қалдырмай, жиі кездесетін қателіктерді құжаттайды. Олардың әрқайсысы жазу кезінде сіз басқаратын нәрсе, сондықтан алғашқы көңіл қалдыратын генерациялау іске қосылғаннан кейін емес, он бастапқы демонстрацияны жазбас бұрын осы тізімді оқып шығу маңызды.

• Демонстрациялар тым ұзақ. Ұзағырақ уақыт горизонтын саясатқа үйрену қиынырақ. Бірінші нысанға жақын бастаңыз және қозғалысты азайтыңыз.
• Демонстрациялар тегіс емес. Біркелкі емес қозғалысты саясатқа түсіну қиын, және жақсы телеоперациялық жабдық жақсы деректер береді: құжаттар SpaceMouse пернетақтаны жеңетінін анық айтады.
• Кідірістер. Кідірістерді үйрену қиын, өйткені саясатқа неліктен және қашан кідіру керектігі анық емес. Қозғалысты сұйық ұстаңыз.
• Тым көп қосалқы тапсырмалар. Көп қосалқы тапсырмалар траектория сегменттері арасында көбірек тігуді білдіреді, бұл аз тегіс қозғалысқа және төмен генерациялау сәттілік деңгейіне әкеледі. Қол ештеңемен соқтығысуы екіталай шекараларды белгілеңіз.
• Әрекет шуы жоқ. Әрекет шуы нәтижесіндегі саясаттарды сенімдірек етеді.
• Жазу тым тығыз кесілген. Егер жазу сәттілік термині іске қосылған нақты кадрда тоқтаса, ол қайта ойнату кезінде қайта іске қосылмауы мүмкін. Соңында буфер қалдырыңыз.
• Детерминистік емес қайта ойнату. Isaac Lab-дағы физика env.reset арқылы детерминистік түрде қайталана алмайды, сондықтан кейбір адам демонстрациялары қайта ойнату кезінде сәтсіз аяқталады. Сізге қажеттінен көп жинаңыз және аннотациядан өткендерін сақтаңыз. Mimic-генерацияланған HDF5 файлына түскен барлық нәрсе сәтті демонстрация болып табылады және қайта ойнату кейін сәтсіз аяқталса да, оқыту үшін қолданылуы мүмкін.

Тігілген қосалқы тапсырма сегменттері арасындағы интерполяция қадамының өзінің реттеу тұтқасы бар, және сізге қажет интерполяция қадамдарының саны роботтың қозғалу жылдамдығына және нысанды қалпына келтіру таралуының кеңдігіне байланысты. Үлкен қалпына келтіру таралуы бар күрделі тапсырма сегменттер арасында үлкен алшақтықтар қалдырады, бұл үздіксіз қозғалыс ретінде шығу үшін көбірек интерполяция қадамдарын қажет етеді. Егер сіздің генерацияланған бейнелеріңіз қолдың фазалар арасында дірілдеп тұрғанын көрсетсе, бұл бастапқы демонстрацияларды кінәламас бұрын қарастыратын параметр.

SO-101-дегі сол конвейер, нақты жетекші қолмен

Бұл бетті оқып отырған кез келген адам үшін қызықты, себебі бұл сізде бар физикалық жетекші қолмен басқаруға мүмкіндік беретін Isaac Lab ішіне орналастыратын жалғыз ашық құбыр желісі. Жазу кезіндегі 0.4.0 нұсқасы LeIsaac, LeRobot EnvHub-қа біріктірілген ресми имитациялық оқыту симуляциялық алаңы болып табылады. Оның үйлесімділік кестесі үш жұмыс істейтін комбинацияны көрсетеді; ең жаңасы Isaac Sim 5.1-ді Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 және Python 3.11-мен жұптастырады, ал құжаттама 50-сериялы карталар үшін Isaac Sim 5.0 немесе одан жаңасын ұсынады.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Осы орнатумен, /dev/ttyACM0-дағы жетекші қол симуляцияланған ізбасарды басқарады және деректерді тікелей HDF5-ке жазады. циклі сіз нақты жазудан білетін циклмен бірдей, тек ізбасар PhysX-тегі қатты дене болып табылады.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Бұл идентификаторлардың көпшілігі -Direct-v0 нұсқасы ретінде де бар, және python scripts/environments/list_envs.py ағымдағы тізімді басып шығарады. Сондай-ақ, HDF5 айналма жолын толығымен өткізіп жіберіп, үш жалаушаны қосу арқылы телеоперация кезінде LeRobot форматында жазуға болады. Екі ескерту құжаттаманың өзінен туындайды: жазу құрылғысы бастапқы күйлердің тұрақсыздығын болдырмау үшін әр эпизодтың алғашқы 5 кадрын автоматты түрде өткізіп жібереді, және бұл телеоперацияда аздаған кідірістер тудыруы мүмкін, бұл сіздің демонстрацияларыңыздың сипатын байқатпай өзгертетін нәрсе. Ол сондай-ақ тапсырма сәтті деп белгілеген эпизодтарды ғана сақтайды.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Содан кейін көбейту қадамы осы жазбаларда орындалады. LeIsaac Isaac Lab Mimic-ті төрт командаға орайды, себебі Mimic траекторияларды соңғы эффекті мен нысанның позаларынан жалпылайды: буын кеңістігіндегі әрекеттерді IK негізіндегі әрекеттерге түрлендіру, аннотациялау, генерациялау, содан кейін қайтадан буын кеңістігіне түрлендіру.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Содан кейін LeRobot-қа түрлендіріңіз. Бұл платформаның формат ережесі әсер ететін қадам, және LeIsaac сізге қажетті екі түрлендіргішті жеткізеді: isaaclab2lerobot.py LeRobot v2 жазады, оны GR00T жүктегіштері қабылдайды, және isaaclab2lerobotv3.py үшін v3 жазады Pi0.5, SmolVLA және ACT. Екі сценарий бірдей аргументтерді қабылдайды, бірақ әртүрлі lerobot нұсқаларын бекітеді, және тек сәтті эпизодтар түрлендіріледі.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Оқытылған саясатқа екі жол

Бейне әлем модельдері: ең жаңа қабат және ең аз өлшенген

DreamGen идеясы – мақсатты роботтың бейнесіне бейімделген бейне генеративті модель сіз ешқашан бармаған сахналарда ықтимал эпизодтарды елестете алады. Конвейер төрт кезеңнен тұрады: бейне әлем моделін дәлдеу, фотореалистік синтетикалық робот бейнелерін жасау, жасырын әрекет моделі немесе кері динамика моделі арқылы жалған әрекет тізбектерін қалпына келтіру, содан кейін нәтиже бойынша робот саясатын оқыту. NVIDIA-ның GR00T-dreams репозиторийі дәл осыны іске асырады.

Негізгі нәтиже шынайы және оны байыппен қабылдауға тұрарлық: бір ортадағы бір ғана таңдау-орналастыру тапсырмасынан алынған телеоперация деректері гуманоидта 22 жаңа мінез-құлықты, көрінген және көрінбеген орталарда да тудырды. Ескерту де сондай шынайы және үшінші кезеңде орналасқан.

Бірлескен оқыту – бұл нақты пайда көрсететін рецепт

Әдебиеттен бір операциялық сабақ алсаңыз, осыны алыңыз. Сим-және-нақты бірлескен оқыту зерттеуі (Маддукури және әріптестері, 2025) екі доменде, робот қолы мен гуманоидта, көруге негізделген роботтық манипуляция тапсырмаларын шешу үшін симуляциялық деректерді пайдаланудың қарапайым рецептін табуды мақсат етті, және оның қорытындысы – қоспамен оқыту керек. Симуляциялық деректер нақты әлемдегі тапсырма өнімділігін орташа есеппен 38 пайызға арттырды, және мақалада бұл симуляция мен нақты әлем деректері арасында айтарлықтай айырмашылықтар болған кезде де сақталғаны анық көрсетілген.

Соңғы тармақ 38 пайыздан да маңыздырақ. Бұл симуляцияның пайдалы болуы үшін мінсіз цифрлық егіз болуы міндетті емес дегенді білдіреді, егер нақты деректер оны бекіту үшін қоспаға енгізілсе. Тек симуляциялық тасымалдау – қымбат жол: сол мақалада саясатты тек симуляцияда оқыту және оны нақты әлемге тасымалдау шындық алшақтығын жою үшін айтарлықтай адам күшін қажет ететіні айтылған. Бірлескен оқыту саясаттан алшақтықты өз бетінше жоюды ешқашан сұрамай, сол күштің көп бөлігін өткізіп жібереді.

Іс жүзінде, бұл платформада бірлескен оқыту бір нәрсені білдіреді: эпизодтардың екі жиынтығын да бірдей LeRobot деректер жинағы камера кілттерінің, буын ретінің және бірліктерінің сәйкестігін сақтай отырып, содан кейін қалыпты дәл баптау. Оқыту формасында араластыру-салмақ реттегіші жоқ. Егер сіз 3:1 симуляция-нақты қатынасын қаласаңыз, мұны деректер жинағына әрқайсысынан қанша эпизод қосқаныңызбен білдіресіз.

Симуляциядан ең арзан жеңіс – оқыту деректері емес

Бұл – бағалау. Екі салыстыру үшін әр тапсырмаға ондаған нақты сынақтарды өткізу – бір күндік қол жұмысы, және қол сынақтар арасында ығысады. SIMPLER (Ли және әріптестері, 2024) нақты саясаттарды оқыту емес, бағалау мақсатында симуляцияланған орталар құрды, содан кейін симуляциялық рейтингтің нақты рейтингті қаншалықты жақсы болжайтынын өлшеді. Бір SIMPLER ортасы тұтынушылық RTX 4090-да 640-тан 512 ажыратымдылықта секундына 3,500 симуляция қадамымен рендеринг жасайды, бұл 500 Гц симуляция жиілігінде нақты бағалаудан 7 есе жылдамдық береді.

Бұл алты жалпы ашық бастапқы бақылау нүктелері үшін үш Google Robot тапсырма топтары бойынша орташа мәндер: әртүрлі оқыту кезеңдеріндегі үш RT-1 бақылау нүктесі, RT-1-X, RT-2-X және Octo-Base. Нақты жағы біркелкі сынақ саны емес, мұны сіз оны келтірмес бұрын білу маңызды: кока-кола банкасын алу үшін 75 сынақ, жақын жылжу үшін 60, жәшікті ашу және жабу тапсырмалары үшін 54 және ұзағырақ жәшік-пен-алма тапсырмасы үшін 27. Валидация MSE-мен салыстыру – пайдалы бөлігі. Валидациялық шығын бойынша модельді таңдау бұл бақылау нүктелерін нашар бағалайды, ал визуалды сәйкестендіру кезіндегі Pearson r 0.924 мәні, егер бақылау нүктесі SIMPLER-де жақсырақ балл жинаса, ол стендте де жақсырақ балл жинайтынын білдіреді. Бұл қайталанатын түнгі табло, және ол сізден симуляциядан нақтыға оқыту трансфері туралы ештеңеге сенуді талап етпейді.

Егер сіз осы эталондық сандардың көру-тіл-әрекет моделі туралы не істейтіні және не істемейтіні туралы кеңірек контекст алғыңыз келсе, біз оны бөлек VLA шолуында жаздық.

Бұл платформа сізге қай жерде көмектеспейді

Шекараны нақты түсіну барлығының уақытын үнемдейді. AY-Robots – бұл жазу, оқыту және қызмет көрсету платформасы. Оның құрамында симулятор жоқ.

• Isaac Lab жоқ, MimicGen жоқ, әлем моделі жоқ, сахна жасау жоқ. Егер сіз генерацияланған деректерді қаласаңыз, оны басқа жерде жасап, нәтижесін әкелесіз.
• Тренерлер тек LeRobot деректер жинақтарын пайдаланады. Симулятор экспорты енгізу алдында түрлендірілуі керек және ол дұрыс нұсқада болуы керек: GR00T N1.5 және N1.7 үшін v2.0 немесе v2.1, Pi0.5, SmolVLA және ACT үшін v3.0.
• GR00T-тің дәл баптау кіру нүктесі — тұқымды ашпайтын tyro CLI, сондықтан GR00T іске қосулары бит-бит қайталанбайды. Егер сіз мұқият симулятор-нақты абляцияны жүргізсеңіз, бұл нақты шектеу. lerobot-тың өзінің әдепкі тұқымы 1000, ал ACT, SmolVLA және Pi0.5 формалары тұқым өрісін ашады.
• Градиентті жинақтау тек екі GR00T тренері үшін қолданылады. Pi0.5 және SmolVLA үшін өріс формада бар, бірақ lerobot 0.5.1-де мұндай жалауша жоқ, сондықтан ол ештеңе істемейді.
• Жылдам тапсырмалар үшін инференция серволардың жанында орналасуы керек. Басқару циклі модельге байланысты әрекет қадамына 20-дан 485 мс-қа дейін, ал жалпы интернет арқылы кері байланыс қосу жұмыс істеп тұрған саясатты екіұшты етеді. Қашықтағы инференция баяу таңдау-орналастыру үшін жарамды, бірақ жылдам реактивті қозғалыс үшін емес.

Қорғай алатын бюджет

Екі жолды әрқайсысы шынымен жариялайтын сандармен қатар қойыңыз, және шешім әдетте арзан қолды пайдаланатын бір тапсырмалы жоба үшін өзінен-өзі қабылданады.

SO-100 үшін алғашқы саясатты жазыңыз. жазу нұсқаулығы және алғашқы оқыту іске қосу сізді кофе бағасына дайын бақылау нүктесіне жеткізеді, және сізде кез келген болашақ бірлескен оқыту қоспасының нақты жартысы болады. Жұмыс істейтін базалық көрсеткіш пен атауға болатын нақты жалпылау қателігі болған кезде симуляторға жүгініңіз, мысалы, тек бір конфигурацияда жұмыс істейді.

Дәлелдерді құрметтейтін рецепт

1. 1
   Алдымен нақты базалық көрсеткішті жазыңыз

   30 episodes for SmolVLA, 50 for ACT, GR00T N1.7 and Pi0.5. Бір рет үйретіңіз. Сол саясаттың сәтсіздікке ұшыраған жері синтетикалық деректерге арналған сипаттамаңыз болып табылады.

2. 2
   Жалпылау сәтсіздігін атаңыз

   Нысанның орналасуы? Жарықтандыру? Үстел биіктігі? Алаңдататын факторлар? Нұсқаулықтың басқаша тұжырымдамасы? Синтетикалық деректер бір уақытта осылардың тек біреуінде ғана жақсы, және қайсысын айта алмасаңыз, пайдасыз.

3. 3
   Оны қамтитын ең арзан топты таңдаңыз

   Поза мен орналасу вариациясы: траекторияны көбейту. Жарықтандыру және текстура: алдымен кескінді кеңейту, екінші әлем моделі. Жаңа көріністер: физикалық орындаулар және модельдеу құнын қабылдау.

4. 4
   Генерациялаңыз, содан кейін қажетсіздерін қатаң түрде жойыңыз

   Генерация әрекеттері сәтсіз аяқталады, және Isaac Lab-тың өзінің кандидаттық сәттілік деңгейі тапсырмаға байланысты 70 пайыздан 1 пайыздан төменге дейін өзгереді. Тек сәтті, тапсырманы орындайтын траекторияларды сақтаңыз және топтамаға сенбес бұрын үлгіні бейне ретінде қарап шығыңыз.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Бірлесіп үйретіңіз, ауыстырмаңыз

   Генерацияланған эпизодтарды нақты эпизодтармен бір LeRobot деректер жинағына біріктіріңіз, камера кілттері мен буын реті бірдей болсын. 38 пайыздық көрсеткіш – бірлескен оқыту көрсеткіші.

6. 6
   Нақты қолда бағалаңыз, және тек сонда ғана

   Модельденген бағалау жақсы рейтингтік сигнал болып табылады (SIMPLER-дің визуалды сәйкестендіру қондырғысында Пирсон r 0.924), бірақ ол қабылдау сынағы емес. Оған сенбес бұрын бақылау нүктесін стендте іске қосыңыз.

Егер сіз нақты жазбаларға арналған бақылау тізімінен бастағыңыз келсе, камераны орналастыруды, салдарын және деректер жинағын жарамсыз ететін сәтсіздік режимдерін қамтиды. Форматтың өзі туралы мәліметтер , ал гиперпараметрлер жағы .