Robot Siyosatlari uchun Sintetik Ma'lumotlar: Simulyatsiya Qayerda Yordam Beradi

Har bir necha oyda kimdir ellikta epizodni qo'lda yozib olish sekin ekanligini tushunadi va buning o'rniga simulyator ularni yaratishi mumkinmi, deb so'raydi. Bu adolatli savol. Halol javob uch qismdan iborat: yaratilgan ma'lumotlar yordam beradi, u haqiqiy yozuvlarni almashtirmaydi va bu ikki fakt o'rtasidagi nisbat siz qanday sintetik ma'lumotni nazarda tutayotganingizga bog'liq.

Ushbu sahifada nashr etilgan ishda nimalar o'lchanganligi, bugungi kunda SO-100 kabi arzon qo'lda nimalarni ishga tushirishingiz mumkinligi va simulyatsiyadan haqiqatga o'tishdagi farq qayerda yutuqlarni yo'qqa chiqarishi ko'rib chiqiladi. Qisqacha aytganda, tafsilotlarga o'tishdan oldin: eng katta ko'paytirish koeffitsientlarini ko'rsatadigan tizimlar haqiqiy inson namoyishlarining kichik to'plamini ko'paytiradi. Ular ularga bo'lgan ehtiyojni yo'q qilmaydi.

To'rtta turli narsa sintetik ma'lumotlar deb ataladi

Raqamlarni solishtirishdan oldin oilalarni ajratishga arziydi, chunki 100x ko'paytiruvchi haqida xabar beruvchi maqola va 5 balllik muvaffaqiyatga erishish haqida xabar beruvchi maqola ko'pincha bir xil quvurni turli tomonlardan tasvirlaydi. Umumiy jihat shundaki, LeRobot datasetdagi biror narsa jismoniy qo'ldan yozib olinmagan, balki mashina tomonidan ishlab chiqarilgan. Farqi qaysi qismda ekanligida.

Faqat dastlabki uchtasi ushbu maqola nazarda tutgan ma'noda sintetik ma'lumotlardir. To'rtinchisini eslatib o'tishga arziydi, chunki u bir xil suhbatga kiritiladi va ro'yxatdagi eng arzon narsadir. Agar siz o'zingizning treneringiz bilan birga keladigan kengaytmalarni hali yoqmagan bo'lsangiz, simulyatorni o'rnatishdan oldin buni qiling.

Nashr etilgan raqamlar aslida nimani anglatadi

Mana dalillar bazasi, raqamlar manbalarda ko'rsatilganidek, matbuot xabarlarida umumlashtirilganidek emas. Quyidagi har bir qator 2026-yil 23-avgustda o'qilgan maqola yoki loyiha sahifasidan olingan.

Har bir halol ablasyon bo'yicha naqsh bir xil. Sintetik ma'lumotlar qamrovni arzon narxda kengaytiradi. U sizning tutqichingiz, servo egilishingiz, yoritishingiz yoki stol balandligingiz haqida haqiqiy namoyishlarda qayerdadir bo'lmagan ma'lumotlarni yaratmaydi. Agar sizning siyosatingiz muvaffaqiyatsizlikka uchrasa, chunki oxirgi effektoringiz yarim soniya kechikib yopilsa, hech qanday simulyatsiya qilingan o'zgarish uni tuzatmaydi. Bu tutqichning vaqt muammosi haqiqiy yozuvlarda.

MimicGen topilmalaridan biri o'zingizning yozuv sessiyalaringizga kiritishga arziydi, chunki u odatiy maslahatlarga zid keladi. Loyiha Square D2 da ikkita ma'lumotlar to'plamini yaratdi: biri yuqori sifatli inson operatoridan olingan 10 ta demo bilan, ikkinchisi esa past sifatli operatoridan olingan 10 ta demo bilan, ikkalasi ham robomimic multi-human Square ma'lumotlar to'plamidan olingan. Har birida o'qitilgan siyosatlar taqqoslanadigan natijalarga erishdi, mualliflar buni katta hajmli ma'lumotlar rejimida ma'lumotlar sifati unchalik muhim bo'lmasligi mumkinligining belgisi deb hisoblashdi. Diqqat bilan o'qing, bu ellikta haqiqiy epizodingiz haqida emas, balki o'nta boshlang'ich namoyishlar haqidagi bayonotdir. Bu shuni anglatadiki, biroz tartibsiz boshlang'ich to'plam siz va foydalanish mumkin bo'lgan yaratilgan ma'lumotlar to'plami o'rtasida turgan narsa emas. Bu siz birgalikda o'qitadigan haqiqiy epizodlar tartibsiz bo'lishi mumkin degani emas, chunki ular simulyatorda mavjud bo'lmagan ma'lumotlarni olib yuradi.

Simulyatsiyadan haqiqatga o'tishdagi farq, aniqroq qilib aytganda

Bu bo'shliq odatda yagona miqdor sifatida muhokama qilinadi, bu esa foydasizdir. Bu kamida beshta alohida nomuvofiqlik bo'lib, ular 110 dan 150 Yevrogacha bo'lgan havaskor robot qo'lida Frankadagidan farqli o'lchamlarga ega.

• Aloqa va ishqalanish. Isaac Lab aniq ta'kidlaydiki, bir xil apparat va bir xil Isaac Sim hamda PhysX versiyasi berilganida simulyatsiya takrorlanuvchan bo'ladi, ammo natijalar suzuvchi nuqta aniqligi va yaxlitlash xatolari tufayli turli apparat konfiguratsiyalarida farq qiladi, va PhysX mato yoki yumshoq jismlar mavjud bo'lgan har qanday sahna uchun determinizmni kafolatlamaydi.
• Harakatga keltirish. 7.4 V da ishlaydigan Feetech STS3215 avtobus servosi yuk ostida egiladi, bo'shliqqa ega va qiziganida o'z xatti-harakatini o'zgartiradi. SO-101 uchun MJCF modeli o'zining motor parametrlarini sizning robot qo'lingizda aniqlash o'rniga, aloqador bo'lmagan loyihadan oladi.
• Renderlash. Kamera shovqini, rolling shutter, avtomatik ekspozitsiya va stolingizning aniq rangi renderda mavjud emas. Bu bo'shliqning Cosmos-Transfer1 yopish uchun yaratilgan yarmi: uning robototexnika kengaytirish ish oqimi bitta robototexnika sintetik misolini segmentatsiya, chuqurlik yoki chekka shartlashdan olingan bir nechta real misollarga moslashtiradi.
• Vaqt. Simulyator belgilangan tezlikda qadam tashlaydi. Haqiqiy boshqaruv halqasi bunday qilmaydi va modelning o'zi tanlaganingizga qarab har bir harakat qadami uchun 20 dan 485 ms gacha turadi. Qarang: inference latency.
• Obyekt statistikasi. Simulyatsiya qilingan sahnalar kimdir yozgan taqsimotdan olinadi. Sizning oshxona stolingiz esa unday emas.

Simulyatsiya qilingan SO-100 sizning robot qo'lingiz haqida aslida nimalarni biladi

Bu yuqoridagilarning barchasi dam olish kuningizga arziydimi yoki yo'qligini hal qiladigan qismdir va birinchi ajablanarli tomoni shundaki, SO-100 va SO-101 bir xil darajada xizmat ko'rsatmaydi. TheRobotStudio'ning SO-ARM100 repozitoriysi o'zining simulyatsiya aktivlarini quyida saqlaydi: Simulation/. SO100 papkasi bitta URDF faylini va boshqa hech narsani o'z ichiga oladi. SO101 papkasi esa ham URDF, ham MuJoCo fayllarini o'z ichiga oladi: scene.xml, so101_new_calib.xml, so101_old_calib.xml, mos keluvchi URDFlar va joints_properties.xml. Agar siz kinematik zanjir o'rniga fizika modelini xohlasangiz, SO-101 fayllarini xohlaysiz.

Ular Onshape'da ishlab chiqilgan CAD modelidan onshape-to-robot plagin yordamida yaratilgan, bu kinematika va vizual to'rlar CAD kabi yaxshi ekanligini anglatadi. Dinamika boshqa masala, va repozitoriyning o'z README fayli uch narsa haqida ochiq gapiradi. Simulyatsiya va rejalashtirish paytida muammoli to'qnashuv xatti-harakati tufayli asosiy to'qnashuv to'rlari olib tashlandi. STS3215 motor xususiyatlari SO-101 da o'lchanmagan, balki Open Duck Mini loyihasidan moslashtirilgan. Va LeRobot tutqich konvensiyasi, bu yerda 0 to'liq yopiq va 100 to'liq ochiq, URDF va MuJoCo fayllarida hali aniq aks ettirilmagan. Ularning har biri faqat shu modelda o'qitilgan siyosat stolingizda boshqacha harakat qiladigan joydir.

Domen randomizatsiyasi va u nimani tuzatmaydi

Bo'shliqni bartaraf etishning standart javobi – haqiqatga mos kelishga urinishni to'xtatish va buning o'rniga haqiqat uning ichiga tushadigan darajada keng taqsimot bo'yicha o'qitishdir. Tobin va hamkasblari 2017 yilda buning kuchli versiyasini ko'rsatdilar: faqat no-realistik tasodifiy teksturalarga ega simulyatsiya qilingan tasvirlarda o'qitilgan, haqiqiy tasvirlarda hech qanday oldindan o'qitishsiz ob'ekt detektori haqiqiy ob'ektlarni 1.5 sm aniqlikda lokalizatsiya qildi va chalg'ituvchilarga hamda qisman to'siqlarga chidamli bo'lib qoldi.

Isaac Lab siz muhit konfiguratsiyasiga biriktiradigan hodisa atamalari bilan bir xil g'oyani ochib beradi. Bular isaaclab.envs.mdp dagi haqiqiy funksiya nomlari bo'yicha sozlash tugmalari bo'lib, ularni taxmin qilish o'rniga borib o'qishingiz mumkin.

Mana chegara, va bu odamlar qoqiladigan joy. Tasodifiylashtirish siz qurgan model ichida siyosat ko'rgan taqsimotni kengaytiradi. U simulyator tasvirlamaydigan fizik effektni kiritolmaydi. Agar PhysX sizning STS3215 servolaringizning bo'shlig'ini va termal pasayishini modellashtirmasa, ularning qattiqligini tasodifiylashtirish siyosatga bo'shliq haqida hech narsa o'rgatmaydi. Shuning uchun simulyatsiyada o'qitilgan siyosat ostida titraydi va keyin osilib qoladigan qo'l tasodifiylashtirish-byudjeti muammosi emas. Bu modellashtirish muammosidir.

Qo'lda yo'l: Isaac Lab'da ma'lumotlarni yaratish

Isaac Gym eskirgan dasturiy ta'minotdir. NVIDIA'ning o'z sahifasi "Isaac Gym - Endi eskirgan" sarlavhasi ostida bo'lib, unda ishlab chiquvchilar uni yuklab olishlari va foydalanishda davom etishlari mumkinligi, ammo u endi qo'llab-quvvatlanmasligi, buning o'rniga Isaac Lab'ga ishora qilinishi aytilgan. Agar siz tarixni bilmoqchi bo'lsangiz, biz ikkalasini ham yoritganmiz: va . 2026-yilda yangi ishlar uchun Isaac Lab'dan boshlang.

1. 1
   Isaac Sim va Isaac Lab'ni o'rnating

   Pip o'rnatish sahifasida ko'rsatilgan ko'rsatmalar Python 3.11 talab qiladigan Isaac Sim 5.X uchun ekanligi aytilgan. Manba kloni sizga keyingi qadamlar uchun kerak bo'ladigan skriptlarni beradi.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Taxminan o'nta inson namoyishini yozib oling

   Isaac Lab hujjatlari aniq: keyingi qadamlar muvaffaqiyatli bo'lishi uchun taxminan 10 ta muvaffaqiyatli namoyish talab qilinadi. Uning maslahatlari ham xuddi shunday aniq. Namoyishlarni qisqa tuting, ixtiyoriy o'qlar bo'ylab harakatlanish o'rniga to'g'ri yo'lni tanlang va to'xtamang, chunki siyosat uchun nima uchun va qachon to'xtash kerakligi aniq emas.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Kichik vazifa chegaralarini izohlang

   Mimic kiritilgan namoyishlarni kichik vazifalarga ajratadi, shunda u segmentlarning vaqtini va maqsadini qayta belgilashi mumkin. --auto bayrog'i avtomatik annotatsiyani belgilaydigan vazifalar uchun inson ishtirokisiz buni amalga oshiradi; usiz siz B bilan to'xtaysiz, N bilan davom ettirasiz va S bilan chegarani belgilaysiz. Vazifa identifikatori -Mimic qo'shimchasini olganiga e'tibor bering.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Ko'paytirilgan ma'lumotlar to'plamini yarating

   Bu 10 ni 1000 ga aylantiradigan qadam. Mimic har bir nomzodga mantiqiy muvaffaqiyat mezonini qo'llaydi va faqat vazifani bajarganlarni saqlab qoladi, shuning uchun chiqish soni sinov sonidan kamroq bo'ladi. Hujjatlarda nomzodning muvaffaqiyat darajasi oddiy holatlarda 70 foizgacha, qiyin vazifalar va murakkab robotlar uchun esa 1 foizdan pastroq ekanligi ko'rsatilgan: Franka kubik yig'ish uchun taxminan 50 foiz, GR1T2 pick and place uchun esa 65 dan 80 foizgacha, bu yerda 1000 ta demo 18 dan 40 daqiqagacha vaqt oladi (RTX ADA 6000 da 80 foizda 19 daqiqa).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5 ni LeRobot ma'lumotlar to'plamiga aylantirish

   Yuqoridagi barcha narsalar robomimic-uslubidagi HDF5 ni ishlab chiqaradi va Isaac Lab yadrosi o'zining LeRobot konverterini yetkazib bermaydi: uning hujjatlarida faqat yaratilgan ma'lumotlar to'plamini LeRobot formatiga o'tkazishingiz mumkinligi aytilgan. Ikki loyiha haqiqiy konverterni ta'minlaydi. IsaacLab-Arena to'liq YAML konfiguratsiyasi bilan boshqariladigan GR00T ga mo'ljallangan konverterni yetkazib beradi va LeIsaac SO-101 yo'nalishi uchun o'z juftligini yetkazib beradi (quyida qarang).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Nima uchun generatsiya urinishlari muvaffaqiyatsizlikka uchraydi va nimani o'zgartirish kerak

70 foizdan 1 foizgacha o'zgarib turadigan nomzod muvaffaqiyat darajasi sir emas, va Isaac Lab sizni taxmin qilishga qoldirmasdan, umumiy xatolarni hujjatlashtiradi. Ularning har biri yozib olish vaqtida siz nazorat qiladigan narsadir, shuning uchun birinchi umidsiz avlod ishidan keyin emas, balki o'nta boshlang'ich namoyishni yozib olishdan oldin ushbu ro'yxatni o'qish foydalidir.

• Namoyishlar juda uzun. Uzoqroq vaqt gorizontini siyosat o'rganishi qiyinroq. Birinchi obyektga yaqinroq boshlang va harakatni minimallashtiring.
• Namoyishlar silliq emas. Tartibsiz harakatni siyosat tushunishi qiyin, va yaxshiroq teleoperatsiya uskunalari yaxshiroq ma'lumot beradi: hujjatlarda SpaceMouse klaviaturadan ustun ekanligi aniq aytilgan.
• Pauzalar. Pauzalarni o'rganish qiyin, chunki siyosat uchun nima uchun va qachon pauza qilish kerakligi aniq emas. Harakatni suyuq tuting.
• Juda ko'p kichik vazifalar. Ko'proq kichik vazifalar traektoriya segmentlari orasida ko'proq tikishni anglatadi, bu esa kamroq silliq harakat va pastroq avlod muvaffaqiyat darajasini beradi. Qo'l hech narsaga urilishi ehtimoli kam bo'lgan chegaralarni belgilang.
• Harakat shovqini yo'q. Harakat shovqini natijada paydo bo'ladigan siyosatlarni yanada mustahkam qiladi.
• Yozuv juda tor kesilgan. Agar yozuv muvaffaqiyat sharti ishga tushgan aniq kadrda to'xtasa, u qayta ijro etish paytida qayta ishga tushmasligi mumkin. Oxirida bufer qoldiring.
• Deterministik bo'lmagan qayta ijro. Isaac Lab'dagi fizika env.reset bo'ylab deterministik tarzda takrorlanmaydi, shuning uchun ba'zi insoniy namoyishlar qayta ijro etishda muvaffaqiyatsizlikka uchraydi. Keragidan ko'proq to'plang va annotatsiyadan o'tganlarini saqlab qoling. Mimic tomonidan yaratilgan HDF5 fayliga tushgan har bir narsa muvaffaqiyatli demo hisoblanadi va keyinchalik qayta ijro etish muvaffaqiyatsizlikka uchrasa ham, o'qitish uchun ishlatilishi mumkin.

Tikilgan kichik vazifa segmentlari orasidagi interpolyatsiya bosqichi o'z sozlash tugmasiga ega, va sizga kerak bo'lgan interpolyatsiya bosqichlari soni robotning qanchalik tez harakatlanishi va obyektni qayta tiklash taqsimotining qanchalik kengligiga bog'liq. Katta qayta tiklash taqsimotiga ega murakkab vazifa segmentlar orasida kattaroq bo'shliqlarni qoldiradi, bu esa uzluksiz harakat sifatida paydo bo'lishi uchun ko'proq interpolyatsiya bosqichlarini talab qiladi. Agar sizning yaratilgan videolaringizda qo'l fazalar orasida silkinayotganini ko'rsatsa, bu boshlang'ich namoyishlarni ayblashdan oldin ko'rib chiqish kerak bo'lgan parametrdir.

SO-101 da xuddi shu quvur liniyasi, haqiqiy yetakchi qo'l bilan

Bu sahifani o'qiyotgan har bir kishi uchun qiziqarli, chunki bu SO-101 ni Isaac Lab ichiga joylashtiradigan va uni sizda mavjud bo'lgan jismoniy yetakchi qo'l bilan boshqarish imkonini beradigan yagona ochiq quvurdir. Yozish paytida LeIsaac, versiya 0.4.0, LeRobot's EnvHubga integratsiyalashgan rasmiy taqlid-o'rganish simulyatsiya maydonchasidir. Uning moslik jadvalida uchta ishlaydigan kombinatsiya keltirilgan; eng yangisi Isaac Sim 5.1 ni Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 va Python 3.11 bilan birlashtiradi, va hujjatlar 50-seriyali kartalar uchun Isaac Sim 5.0 yoki undan yangiroq versiyani tavsiya qiladi.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Bu o'rnatilgandan so'ng, /dev/ttyACM0 dagi yetakchi qo'l simulyatsiya qilingan ergashuvchini boshqaradi va to'g'ridan-to'g'ri HDF5 ga yozadi. yetakchi-ergashuvchi sikli siz haqiqiy yozuvdan bilganingizdek, faqat ergashuvchi PhysX dagi qattiq jismdir.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Bu IDlarning aksariyati shuningdek -Direct-v0 varianti sifatida mavjud, va python scripts/environments/list_envs.py joriy roʻyxatni chop etadi. Shuningdek, siz HDF5 aylanma yoʻlini butunlay oʻtkazib yuborishingiz va uchta flag qoʻshish orqali teleoperatsiya paytida LeRobot formatida yozishingiz mumkin. Hujjatlarning oʻzidan ikkita ogohlantirish kelib chiqadi: yozuvchi dastlabki holatlardagi beqarorlikni oldini olish uchun har bir epizodning dastlabki 5 kadrini avtomatik ravishda oʻtkazib yuboradi va bu teleoperatsiyada biroz kechikishlarga olib kelishi mumkin, bu sizning namoyishlaringiz xarakterini sezilmasdan oʻzgartiradigan narsadir. Shuningdek, u faqat vazifa muvaffaqiyatli deb belgilangan epizodlarni saqlaydi.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Koʻpaytirish bosqichi keyin ushbu yozuvlarda ishlaydi. LeIsaac Isaac Lab Mimicni toʻrtta buyruqqa oʻraydi, chunki Mimic traektoriyalarni oxirgi effektordan va obyekt pozalaridan umumlashtiradi: boʻgʻin-fazodagi harakatlarni IK-ga asoslangan harakatlarga aylantirish, annotatsiya qilish, yaratish, soʻngra boʻgʻin fazosiga qaytarish.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Keyin LeRobotga aylantiring. Bu platformaning formatlash qoidasi ta'sir qiladigan qadam va LeIsaac sizga kerak bo'lgan ikkita konverterni yetkazib beradi: isaaclab2lerobot.py LeRobot v2 ni yozadi, bu GR00T yuklovchilari qabul qiladigan format, va isaaclab2lerobotv3.py v3 ni yozadi Pi0.5, SmolVLA va ACT. Ikkala skript ham bir xil argumentlarni qabul qiladi, ammo turli lerobot versiyalarini belgilaydi va faqat muvaffaqiyatli epizodlar konvertatsiya qilinadi.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

O'qitilgan siyosatga ikki yo'l

Video dunyo modellari: eng yangi qatlam va eng kam o'lchangan

DreamGen ortidagi g'oya shundaki, maqsadli robot mujassamlanishiga moslashtirilgan video generativ model siz hech qachon tashrif buyurmagan sahnalarda ishonchli epizodlarni tasavvur qila oladi. Konveyer to'rt bosqichdan iborat: video dunyo modelini nozik sozlash, fotorealistik sintetik robot videolarini yaratish, yashirin harakat modeli yoki teskari dinamika modeli yordamida psevdo-harakat ketma-ketliklarini tiklash, so'ngra natija bo'yicha robot siyosatini o'qitish. NVIDIA'ning GR00T-dreams repozitoriyasi aynan shuni amalga oshiradi.

Asosiy natija haqiqiy va jiddiy qabul qilishga arziydi: bitta muhitdagi bitta tanlash va joylashtirish vazifasidan olingan teleoperatsiya ma'lumotlari gumanoidda, ham ko'rilgan, ham ko'rilmagan muhitlarda 22 ta yangi xatti-harakatni keltirib chiqardi. Ogohlantirish ham xuddi shunday haqiqiy va uchinchi bosqichda joylashgan.

Birgalikda o'qitish aslida yutuqlarni ko'rsatadigan retseptdir

Adabiyotdan bitta operatsion saboq olsangiz, mana buni oling. Simulyatsiya va haqiqiy dunyo birgalikda o'qitish tadqiqoti (Maddukuri va hamkasblari, 2025) ikki sohada, robot qo'li va gumanoidda, ko'rishga asoslangan robot manipulyatsiyasi vazifalarini hal qilish uchun simulyatsiya ma'lumotlaridan foydalanishning oddiy retseptini topishga qaratilgan edi va uning xulosasi shundan iboratki, siz aralashmada o'qitasiz. Simulyatsiya ma'lumotlari real dunyo vazifalarini bajarish samaradorligini o'rtacha 38 foizga oshirdi va maqolada ta'kidlanishicha, bu simulyatsiya va real dunyo ma'lumotlari o'rtasidagi sezilarli farqlarga qaramay saqlanib qolgan.

Bu oxirgi band 38 foizdan ko'ra muhimroq. Bu shuni anglatadiki, simulyatsiya foydali bo'lishi uchun mukammal raqamli egizak bo'lishi shart emas, agar haqiqiy ma'lumotlar uni mustahkamlash uchun aralashmada bo'lsa. Faqat simulyatsiyadan o'tkazish qimmat yo'l: xuddi shu maqolada aytilishicha, siyosatni faqat simulyatsiyada o'qitish va uni real dunyoga o'tkazish ko'pincha haqiqat bo'shlig'ini bartaraf etish uchun sezilarli insoniy sa'y-harakatlarni talab qiladi. Birgalikda o'qitish siyosatdan bo'shliqni o'zi yopishni hech qachon so'ramasdan, bu sa'y-harakatlarning ko'pini chetlab o'tadi.

Amalda, ushbu platformada birgalikda o'qitish bitta narsani anglatadi: epizodlarning ikkala to'plamini ham bir xil LeRobot dataset bilan, izchil kamera kalitlari, izchil bo'g'inlar tartibi va izchil birliklar bilan, so'ngra odatiy nozik sozlash. O'qitish shaklida aralashma-og'irlik tugmasi yo'q. Agar siz 3:1 sim-to-real nisbatini xohlasangiz, buni ma'lumotlar to'plamiga har biridan qancha epizod kiritganingiz bilan ifodalaysiz.

Simulyatsiyadan eng arzon yutuq o'quv ma'lumotlari emas

Bu baholashdir. Ikki ni solishtirish uchun har bir vazifa bo'yicha o'nlab haqiqiy sinovlarni o'tkazish bir kunlik qo'l vaqtini oladi va qo'l sinovlar orasida siljiydi. SIMPLER (Li va hamkasblari, 2024) haqiqiy siyosatlarni o'qitishdan ko'ra, ularni baholash maqsadida simulyatsiya qilingan muhitlarni yaratdi va keyin simulyatsiya reytingi haqiqiy reytingni qanchalik yaxshi bashorat qilishini o'lchadi. Yagona SIMPLER muhiti iste'molchi RTX 4090 grafik kartasida 640 ga 512 o'lchamda soniyasiga 3,500 simulyatsiya qadamida renderlanadi, bu 500 Hz simulyatsiya chastotasida haqiqiy baholashdan 7 barobar tezlikni anglatadi.

Bular oltita umumiy ochiq manbali nazorat nuqtalari uchun uchta Google Robot vazifa guruhlari bo'yicha o'rtacha ko'rsatkichlardir: turli o'qitish bosqichlaridagi uchta RT-1 nazorat nuqtasi, RT-1-X, RT-2-X va Octo-Base. Haqiqiy tomon bir xil sinovlar soniga ega emas, bu uni keltirishdan oldin bilishga arziydi: kola bankasini olish uchun 75 ta sinov, yaqinroq harakatlanish uchun 60 ta, tortmani ochish va yopish vazifalari uchun 54 ta va uzoqroq tortma va olma vazifasi uchun 27 ta sinov. Validatsiya MSEga qarshi taqqoslash foydali qismidir. Validatsiya yo'qotilishi bo'yicha model tanlash bu nazorat nuqtalarini yomon baholaydi va vizual moslashtirishda 0.924 Pearson r ko'rsatkichi shuni anglatadiki, agar nazorat nuqtasi SIMPLERda yaxshiroq natija ko'rsatsa, u stendda ham juda ehtimol yaxshiroq natija ko'rsatadi. Bu takrorlanadigan bir kechalik natijalar jadvali bo'lib, u simulyatsiyadan haqiqatga o'qitish o'tkazmasi haqida hech narsaga ishonishingizni talab qilmaydi.

Agar siz ushbu benchmark raqamlari sizga nima haqida ma'lumot berishi va bermasligi haqida kengroq kontekstni bilmoqchi bo'lsangiz, , biz buni alohida yozganmiz .

Bu platforma sizga qayerda yordam bermaydi

Chegarani aniq belgilash hamma uchun vaqtni tejaydi. AY-Robots yozish, o'qitish va xizmat ko'rsatish platformasidir. Unda simulyator yo'q.

• Isaac Lab yo'q, MimicGen yo'q, dunyo modeli yo'q, sahna yaratish yo'q. Agar sizga yaratilgan ma'lumotlar kerak bo'lsa, ularni boshqa joyda yaratasiz va natijani olib kelasiz.
• Trenerlar faqat LeRobot ma'lumotlar to'plamlarini iste'mol qiladilar. Simulator eksporti kiritishdan oldin o'zgartirilishi kerak va u to'g'ri versiyada bo'lishi kerak: GR00T N1.5 va N1.7 uchun v2.0 yoki v2.1, Pi0.5, SmolVLA va ACT uchun v3.0.
• GR00T'ning nozik sozlash kirish nuqtasi tyro CLI bo'lib, u hech qanday seed'ni ochmaydi, shuning uchun GR00T ishlanmalari bit-for-bit takrorlanuvchan emas. Agar siz sinchkovlik bilan sim-versus-real ablasyonni o'tkazayotgan bo'lsangiz, bu haqiqiy cheklovdir. lerobot'ning o'zining standart seed'i 1000, va ACT, SmolVLA hamda Pi0.5 shakllari seed maydonini ochadi.
• Gradient akkumulyatsiyasi faqat ikkita GR00T treneri uchun qo'llaniladi. Pi0.5 va SmolVLA uchun maydon shaklda mavjud, ammo lerobot 0.5.1'da bunday flag yo'q, shuning uchun u hech narsa qilmaydi.
• Tez vazifalar uchun xulosa chiqarish servolar yonida bo'lishi kerak. Boshqaruv sikli modelga qarab harakat bosqichi uchun 20 dan 485 ms gacha, va ommaviy internet orqali borib-kelishlar ishlaydigan siyosatni ikkilanuvchan siyosatga aylantiradi. Masofaviy xulosa chiqarish sekin pick-and-place uchun maqbul, tez reaktiv harakat uchun emas.

Siz himoya qila oladigan byudjet

Ikki yo'lni har birining haqiqiy e'lon qilgan raqamlari bilan yonma-yon qo'ying, shunda arzon qo'lga ega bo'lgan bitta vazifali loyiha uchun qaror odatda o'z-o'zidan qabul qilinadi.

SO-100 dagi birinchi siyosat uchun yozib oling. yozish bo'yicha qo'llanma va birinchi o'qitish jarayoni sizni kofe narxiga xizmat ko'rsatilgan nazorat nuqtasiga olib boradi va siz har qanday kelajakdagi birgalikda o'qitish aralashmasining haqiqiy yarmiga ega bo'lasiz. Ishlaydigan bazaviy chiziq va nomini ayta oladigan aniq umumlashtirish xatosi bo'lsa, masalan, faqat bitta sozlamada ishlaydigan siyosat bo'lsa, simulyatorga murojaat qiling.

Dalillarni hurmat qiladigan retsept

1. 1
   Avval haqiqiy bazaviy ko'rsatkichni yozib oling

   30 epizod SmolVLA uchun, 50 epizod ACT uchun, GR00T N1.7 va Pi0.5 uchun. Bir marta o'rgating. Ushbu siyosat muvaffaqiyatsizlikka uchragan har qanday narsa sintetik ma'lumotlar uchun sizning spetsifikatsiyangizdir.

2. 2
   Umumlashtirishdagi muvaffaqiyatsizlikni nomlang

   Ob'ekt holati? Yoritish? Stol balandligi? Chalg'ituvchilar? Ko'rsatmaning boshqacha ifodasi? Sintetik ma'lumotlar bir vaqtning o'zida aynan bittasida yaxshi, va qaysi birini ayta olmasangiz, foydasizdir.

3. 3
   Uni qoplaydigan eng arzon oilani tanlang

   Holat va joylashuv o'zgarishi: traektoriya ko'paytirish. Yoritish va tekstura: avval tasvirni kengaytirish, ikkinchi navbatda dunyo modeli. Butunlay yangi sahnalar: fizika rollautlari va modellashtirish xarajatlarini qabul qiling.

4. 4
   Yarating, so'ngra shafqatsizlarcha tashlab yuboring

   Generatsiya urinishlari muvaffaqiyatsizlikka uchraydi va Isaac Lab'ning o'z nomzod muvaffaqiyat darajasi vazifaga qarab 70 foizdan 1 foizdan kamgacha o'zgaradi. Faqat muvaffaqiyatli, vazifani yakunlovchi traektoriyalarni saqlang va partiyaga ishonishdan oldin namunani video sifatida ko'zdan kechiring.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Birgalikda o'rgating, almashtirmang

   Yaratilgan epizodlarni haqiqiy epizodlar bilan bir xil kamera kalitlari va bo'g'in tartibi bilan yagona LeRobot ma'lumotlar to'plamiga birlashtiring. 38 foiz ko'rsatkich birgalikda o'qitish ko'rsatkichidir.

6. 6
   Haqiqiy qo'lda baholang va faqat u yerda

   Simulyatsiya qilingan baholash yaxshi reyting signalidir (SIMPLER'ning vizual moslashtirish sozlamalarida Pearson r 0.924), ammo bu qabul qilish testi emas. Unga ishonishdan oldin nazorat nuqtasini stendda ishga tushiring.

Agar siz haqiqiy yozuvlarning o'ziga oid nazorat ro'yxatidan boshlashni afzal ko'rsangiz, , kamera joylashuvini, oqibatlarini va ma'lumotlar to'plamini yaroqsiz holga keltiradigan nosozlik rejimlarini qamrab oladi. Formatning o'zi haqidagi tafsilotlar , va giperparametrlar tomoni .