Sintetični podatki za robotske politike: Kje pomaga simulacija

Vsakih nekaj mesecev nekdo ugotovi, da je ročno snemanje petdesetih epizod počasno, in vpraša, ali bi jih lahko namesto tega ustvaril simulator. To je pošteno vprašanje. Iskren odgovor ima tri dele: generirani podatki pomagajo, ne nadomeščajo pa resničnih posnetkov, in razmerje med tema dvema dejstvoma je v celoti odvisno od vrste sintetičnih podatkov, ki jih imate v mislih.

Ta stran obravnava, kaj so objavljena dela dejansko izmerila, kaj lahko danes poganjate na poceni roki, kot je SO-100, in kje vrzel med simulacijo in realnostjo (sim-to-real gap) požre pridobitve. Na kratko, pred podrobnostmi: sistemi, ki poročajo o največjih multiplikatorjih, pomnožijo majhen nabor resničnih človeških demonstracij. Ne odpravljajo potrebe po njih.

Štiri različne stvari se imenujejo sintetični podatki

Preden primerjamo številke, je vredno ločiti družine, saj članek, ki poroča o 100-kratnem množitelju, in članek, ki poroča o 5-točkovnem povečanju uspešnosti, pogosto opisujeta isti cevovod z različnih koncev. Skupna nit je, da je nekaj v naboru podatkov LeRobot proizvedla naprava in ne posnelo s fizične roke. Razlika je v tem, kateri del.

Le prve tri so sintetični podatki v smislu, kot ga razume ta članek. Četrto je vredno omeniti, ker se vključi v isti pogovor in je daleč najcenejša stvar na seznamu. Če še niste vklopili razširitev, ki jih ponuja vaš trener, to storite, preden namestite simulator.

Kaj dejansko povedo objavljene številke

Tukaj je dokazna podlaga, s številkami, kot jih navajajo viri, in ne kot jih povzemajo sporočila za javnost. Vsaka spodnja vrstica izvira iz članka ali projektne strani, prebrane 23. avgusta 2026.

Vzorec pri vsaki pošteni ablaciji je enak. Sintetični podatki poceni razširijo pokritost. Ne ustvarja informacij o vašem prijemalu, povešenosti servomotorja, osvetlitvi ali višini mize, ki nekje v resničnih demonstracijah že niso bile prisotne. Če vaša politika ne uspe, ker se končni efektor zapre pol sekunde prepozno, tega ne more popraviti nobena količina simuliranih variacij. To je težava s časovanjem prijemala v resničnih posnetkih.

Eno od odkritij MimicGen je vredno upoštevati pri lastnih snemalnih sejah, saj je v nasprotju z običajnimi nasveti. Projekt je ustvaril dva nabora podatkov na Square D2, enega z 10 demonstracijami boljšega človeškega operaterja in enega z 10 demonstracijami slabšega operaterja, oba vzeta iz robomimic multi-human Square nabora podatkov. Politike, usposobljene na obeh, so dosegle primerljive rezultate, kar so avtorji razumeli kot znak, da v režimu velikih podatkov kakovost podatkov morda ni tako pomembna. Previdno preberite, to je izjava o desetih začetnih demonstracijah, ne o vaših petdesetih resničnih epizodah. To pomeni, da rahlo neurejen začetni nabor ni tisto, kar stoji med vami in uporabnim generiranim naborom podatkov. To ne pomeni, da so lahko resnične epizode, na katerih sodelujete pri usposabljanju, neurejene, saj so te tiste, ki nosijo informacije, ki jih simulator nima.

Vrzel med simulacijo in realnostjo, konkretno

Vrzel se običajno obravnava kot ena sama količina, kar ni koristno. Gre za vsaj pet ločenih neskladij, ki imajo različne velikosti na hobi roki v vrednosti 110 do 150 EUR kot na Franki.

• Stik in trenje. Isaac Lab jasno navaja, da je simulacija ob enaki strojni opremi ter enaki različici Isaac Sim in PhysX ponovljiva, vendar se rezultati razlikujejo med različnimi konfiguracijami strojne opreme zaradi natančnosti plavajoče vejice in napak zaokroževanja, ter da PhysX ne zagotavlja determinizma za nobeno sceno z ne-togimi telesi, kot so tkanine ali mehka telesa.
• Pogon. Bus servo Feetech STS3215, ki deluje pri 7.4 V, se pod obremenitvijo povesi, ima zračnost in spreminja obnašanje, ko se segreje. Model MJCF za SO-101 si motorne parametre izposoja iz nepovezanega projekta, namesto da bi jih identificiral na vaši roki.
• Upodabljanje. Šum kamere, valovita zaslonka, samodejna osvetlitev in natančen odtenek vaše mize niso v upodobitvi. To je polovica vrzeli, ki jo je bil zgrajen Cosmos-Transfer1, da bi jo zaprl: njegov potek dela za razširitev robotike preslika en sintetični primer robotike v več realističnih primerov iz segmentacije, globine ali robnega pogojevanja.
• Časovna uskladitev. Simulator deluje s fiksno hitrostjo. Prava krmilna zanka ne, in sam model stane od 20 do 485 ms na korak dejanja, odvisno od tega, katerega ste izbrali. Glejte zakasnitev sklepanja.
• Statistika objektov. Simulirane scene so vzorčene iz distribucije, ki jo je nekdo zapisal. Vaša kuhinjska miza ni.

Kaj simulirani SO-100 dejansko ve o vaši roki

To je del, ki odloča, ali je karkoli od zgoraj vredno vašega vikenda, in prvo presenečenje je, da SO-100 in SO-101 nista enako obravnavana. Repozitorij SO-ARM100 podjetja TheRobotStudio hrani svoja simulacijska sredstva pod Simulation/. Mapa SO100 vsebuje eno samo datoteko URDF in nič drugega. Mapa SO101 vsebuje datoteke URDF in MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, ustrezne datoteke URDF in joints_properties.xml. Če želite fizikalni model namesto kinematične verige, potrebujete datoteke SO-101.

Generirani so bili z vtičnikom onshape-to-robot iz CAD modela, zasnovanega v Onshape, kar pomeni, da so kinematika in vizualne mreže tako dobre kot CAD. Dinamika je druga zgodba, in README repozitorija je iskren glede treh stvari. Osnovne kolizijske mreže so bile odstranjene zaradi problematičnega kolizijskega obnašanja med simulacijo in načrtovanjem. Lastnosti motorja STS3215 so prilagojene iz projekta Open Duck Mini in niso izmerjene na SO-101. In konvencija prijemala LeRobot, kjer je 0 popolnoma zaprto in 100 popolnoma odprto, še ni eksplicitno odražena v datotekah URDF in MuJoCo. Vsaka od teh točk je mesto, kjer se bo politika, usposobljena izključno v tem modelu, na vaši mizi obnašala drugače.

Randomizacija domene in česa ne popravi

Standardni odgovor na vrzel je, da prenehamo poskušati ujemati realnost in namesto tega treniramo preko dovolj široke distribucije, da realnost pade vanjo. Tobin in sodelavci so močno različico tega pokazali leta 2017: detektor objektov, usposobljen samo na simuliranih slikah z nerealističnimi naključnimi teksturami, brez predhodnega usposabljanja na realnih slikah, je lokaliziral realne objekte z natančnostjo 1.5 cm in ostal robusten na moteče dejavnike in delne zapore.

Isaac Lab razkriva isto idejo kot izrazi dogodkov, ki jih pripnete konfiguraciji okolja. To so nastavitve, po njihovih dejanskih imenih funkcij v isaaclab.envs.mdp, tako da jih lahko preberete, namesto da ugibate.

Tukaj je omejitev, in to je tista, ob katero se ljudje spotaknejo. Randomizacija razširi porazdelitev, ki jo je politika videla znotraj modela, ki ste ga zgradili. Ne more uvesti fizikalnega učinka, ki ga simulator ne predstavlja. Če PhysX ne modelira zračnosti in toplotnega padca vaših servomotorjev STS3215, randomizacija njihove togosti politike ne nauči ničesar o zračnosti. Zato roka, ki pod politiko, usposobljeno v simulaciji, ni problem proračuna randomizacije. To je problem modeliranja.

Ročna pot: generiranje podatkov v Isaac Labu

Isaac Gym je zastarela programska oprema. Nvidijina lastna stran je naslovljena "Isaac Gym - Zdaj zastarelo" in pravi, da jo razvijalci lahko prenesejo in še naprej uporabljajo, vendar ni več podprta, namesto tega pa kaže na Isaac Lab. Če želite zgodovino, smo pokrili oboje: in . Za novo delo v letu 2026 začnite z Isaac Lab.

1. 1
   Namestite Isaac Sim in Isaac Lab

   Stran za namestitev pip navaja, da so navodila za Isaac Sim 5.X, ki zahteva Python 3.11. Kloniranje izvorne kode vam zagotovi skripte, ki jih potrebujete za naslednje korake.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Posnemite približno deset človeških demonstracij

   Dokumentacija Isaac Lab je specifična: za uspeh naslednjih korakov je potrebnih približno 10 uspešnih demonstracij. Njeni nasveti so enako specifični. Demonstracije naj bodo kratke, izberite neposredno pot namesto premikanja po poljubnih oseh in ne prekinjajte, saj politiki ni očitno, zakaj in kdaj naj se ustavi.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anotirajte meje podnalog

   Mimic razdeli vhodne demonstracije na podnaloge, da lahko ponovno časovno uskladi in preusmeri segmente. Zastavica --auto to stori brez človeka v zanki za naloge, ki določajo samodejno anotacijo; brez nje se ustavite z B, nadaljujete z N in označite mejo s S. Upoštevajte, da ID naloge dobi pripono -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Generirajte pomnoženo zbirko podatkov

   To je korak, ki 10 spremeni v 1000. Mimic uporabi logično merilo uspešnosti za vsakega kandidata in obdrži le tiste, ki so nalogo dokončali, zato je število izhodov nižje od števila poskusov. Dokumentacija navaja, da je stopnja uspešnosti kandidatov v preprostih primerih do 70 odstotkov, pri težkih nalogah in kompleksnih robotih pa pod 1 odstotkom: približno 50 odstotkov za zlaganje kock Franka in 65 do 80 odstotkov za GR1T2 pobiranje in odlaganje, kjer 1000 demonstracij traja od 18 do 40 minut (19 minut na RTX ADA 6000 pri 80 odstotkih).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Pretvorite HDF5 v zbirko podatkov LeRobot

   Vse zgoraj navedeno proizvaja HDF5 v stilu robomimic, jedro Isaac Lab pa ne vsebuje lastnega pretvornika LeRobot: njegova dokumentacija le navaja, da lahko generirano zbirko podatkov pretvorite v format LeRobot. Dva projekta dobavljata dejanski pretvornik. IsaacLab-Arena dobavlja pretvornik, namenjen GR00T, ki ga v celoti poganja konfiguracija YAML, LeIsaac pa dobavlja svoj par za pot SO-101 (glej spodaj).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Zakaj poskusi generiranja ne uspejo in kaj spremeniti

Stopnja uspešnosti kandidata, ki niha med 70 odstotki in manj kot 1 odstotkom, ni skrivnost, in Isaac Lab dokumentira pogoste pasti, namesto da bi vas pustil ugibati. Vsaka od njih je nekaj, kar nadzorujete med snemanjem, zato se splača prebrati ta seznam, preden posnamete deset začetnih demonstracij, in ne po prvem razočarajočem zagonu generacije.

• Demonstracije so predolge. Daljše časovno obdobje je za politiko težje za učenje. Začnite blizu prvega objekta in zmanjšajte gibanje.
• Demonstracije niso gladke. Nepravilno gibanje je za politiko težko razvozlati, in boljša strojna oprema za teleoperacijo daje boljše podatke: dokumentacija jasno navaja, da je SpaceMouse boljši od tipkovnice.
• Premori. Premore je težko naučiti, ker politiki ni očitno, zakaj in kdaj naj se ustavi. Gibanje naj bo tekoče.
• Preveč podnalog. Več podnalog pomeni več spajanja med segmenti trajektorije, kar povzroči manj gladko gibanje in nižjo stopnjo uspešnosti generacije. Označite meje, kjer je malo verjetno, da bo roka trčila v karkoli.
• Brez šuma v akciji. Šum v akciji naredi nastale politike bolj robustne.
• Snemanje je preveč obrezano. Če se snemanje ustavi na točno določeni sličici, ko se sproži pogoj za uspeh, se morda ne bo ponovno sprožil med ponovnim predvajanjem. Pustite puferski prostor na koncu.
• Nedeterministično ponovno predvajanje. Fizika v Isaac Labu ni deterministično ponovljiva med env.reset, zato nekatere človeške demonstracije ne uspejo pri ponovnem predvajanju. Zberite več, kot potrebujete, in obdržite tiste, ki preživijo anotacijo. Vse, kar pristane v datoteki HDF5, ki jo generira Mimic, je uspešna demonstracija in se lahko uporabi za usposabljanje, tudi če ponovno predvajanje kasneje ne uspe.

Korak interpolacije med spojenimi segmenti podnalog ima svojo nastavitveno ročico, in število interpolacijskih korakov, ki jih potrebujete, se spreminja glede na hitrost gibanja robota in širino distribucije ponastavitve objekta. Kompleksna naloga z veliko distribucijo ponastavitve pušča večje vrzeli med segmenti, kar zahteva več interpolacijskih korakov, da se prikaže kot neprekinjeno gibanje. Če vaši generirani videoposnetki prikazujejo, kako roka poskakuje med fazami, je to parameter, ki ga morate preveriti, preden krivite začetne demonstracije.

Isti cevovod na SO-101, z resnično vodilno roko

To je zanimiv del za vsakogar, ki bere to stran, saj je to edini odprti cevovod, ki postavi znotraj Isaac Laba in vam omogoča, da ga upravljate s fizično vodilno roko, ki jo že imate. LeIsaac, različica 0.4.0 v času pisanja, je uradno simulacijsko igrišče za posnemanje učenja, integrirano v LeRobotov EnvHub. Njegova tabela združljivosti navaja tri delujoče kombinacije; najnovejša združuje Isaac Sim 5.1 z Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 in Python 3.11, dokumentacija pa priporoča Isaac Sim 5.0 ali novejši za kartice serije 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Ko je to vzpostavljeno, vodilna roka na /dev/ttyACM0 poganja simuliranega sledilca in snema neposredno v HDF5. Zanka je enaka tisti, ki jo že poznate iz resničnega snemanja, le da je sledilec togo telo v PhysX-u.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Večina teh ID-jev obstaja tudi kot -Direct-v0 različica, in python scripts/environments/list_envs.py izpiše trenutni seznam. Prav tako lahko v celoti preskočite obhod HDF5 in med teleoperacijo zapišete format LeRobot z dodajanjem treh zastavic. Dve opozorili izhajata iz same dokumentacije: snemalnik samodejno preskoči prvih 5 sličic vsake epizode, da se izogne nestabilnosti začetnih stanj, in lahko povzroči rahle zamude pri teleoperaciji, kar je ravno tisto, kar tiho spremeni značaj vaših demonstracij. Prav tako izprazni epizode le, če je naloga označena kot uspešna.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Korak množenja se nato izvede na teh posnetkih. LeIsaac ovije Isaac Lab Mimic v štiri ukaze, ker Mimic posplošuje trajektorije iz pozicij končnega efektorja in objekta: pretvori akcije v sklepnem prostoru v akcije na osnovi IK, anotira, generira, nato pa pretvori nazaj v sklepni prostor.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Nato pretvorite v LeRobot. To je korak, kjer se uveljavi pravilo formata platforme, in LeIsaac po naključju ponuja ravno dva pretvornika, ki ju potrebujete: isaaclab2lerobot.py zapiše LeRobot v2, kar uporabljajo nalagalniki GR00T, in isaaclab2lerobotv3.py zapiše v3 za Pi0.5, SmolVLA in ACT. Oba skripta sprejmeta enake argumente, vendar uporabljata različne različice lerobot, in pretvorjene so samo uspešne epizode.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dve poti do usposobljene politike

Video modeli sveta: najnovejša plast in najmanj izmerjena

Ideja za DreamGen je, da lahko video generativni model, prilagojen ciljni robotski inkarnaciji, ustvari verjetne epizode v scenah, ki jih nikoli niste obiskali. Cevovod ima štiri faze: fino uglasitev video modela sveta, generiranje fotorealističnih sintetičnih robotskih videoposnetkov, rekuperacija psevdo-akcijskih sekvenc z latentnim akcijskim modelom ali modelom inverzne dinamike, nato pa usposabljanje robotske politike na podlagi rezultata. NVIDIA-ino repozitorij GR00T-dreams implementira natanko to.

Glavni rezultat je resničen in vreden resnega upoštevanja: podatki o teleoperaciji iz samo ene naloge pobiranja in odlaganja v enem okolju so ustvarili 22 novih vedenj na humanoidu, tako v videnih kot v nevidenih okoljih. Opozorilo je enako resnično in se nahaja v tretji fazi.

Soustvarjanje je recept, ki dejansko kaže dobičke

Če si iz literature zapomnite eno operativno lekcijo, naj bo to ta. Študija o so-usposabljanju s simulacijo in realnostjo (Maddukuri in sodelavci, 2025) si je zadala nalogo najti preprost recept za uporabo simulacijskih podatkov za reševanje nalog robotske manipulacije na podlagi vida, v dveh domenah, robotski roki in humanoidu, in njen zaključek je, da se usposablja na mešanici. Simulacijski podatki so izboljšali uspešnost nalog v realnem svetu v povprečju za 38 odstotkov, in članek izrecno navaja, da je to veljalo tudi ob opaznih razlikah med simulacijskimi in realnimi podatki.

Ta zadnja klavzula je pomembnejša od 38 odstotkov. Pomeni, da simulacija ni nujno popoln digitalni dvojček, da bi bila uporabna, pod pogojem, da so realni podatki v mešanici, da jo sidrajo. Prenos samo s simulacijo je draga pot: isti članek navaja, da usposabljanje politike izključno v simulaciji in njen prenos v realni svet pogosto zahteva precejšen človeški napor za premostitev vrzeli v realnosti. So-usposabljanje preskoči večino tega napora, saj nikoli ne zahteva od politike, da sama zapre vrzel.

Praktično, na tej platformi, so-usposabljanje pomeni eno: oba nabora epizod postavite v isti nabor podatkov LeRobot z doslednimi ključi kamere, doslednim vrstnim redom sklepov in doslednimi enotami, nato pa izvedite normalno fino uglasitev. V obrazcu za usposabljanje ni gumba za utež mešanice. Če želite razmerje sim-real 3:1, to izrazite s številom epizod vsakega, ki jih vnesete v nabor podatkov.

Najcenejša zmaga iz simulacije ni podatkov za učenje

Gre za evalvacijo. Izvajanje ducatov resničnih poskusov na nalogo za primerjavo dveh pomeni en dan dela z roko, pri čemer roka med poskusi odstopa. SIMPLER (Li in sodelavci, 2024) je zgradil simulirana okolja, katerih namen je ocenjevanje resničnih politik namesto njihovega usposabljanja, nato pa je izmeril, kako dobro simulacijska razvrstitev napoveduje resnično. Eno samo okolje SIMPLER se upodablja s 3.500 simulacijskimi koraki na sekundo na potrošniški kartici RTX 4090 pri ločljivosti 640 krat 512, kar pri simulacijski frekvenci 500 Hz pomeni 7-kratno pospešitev v primerjavi z realno evalvacijo.

To so povprečja za tri skupine nalog Google Robot za šest pogostih odprtokodnih kontrolnih točk: tri kontrolne točke RT-1 v različnih fazah usposabljanja, RT-1-X, RT-2-X in Octo-Base. Realna stran nima enotnega števila poskusov, kar je vredno vedeti, preden to navedete: 75 poskusov za pobiranje pločevinke kokakole, 60 za premikanje blizu, 54 za naloge odpiranja in zapiranja predala ter 27 za daljšo nalogo predala in jabolka. Primerjava z validacijskim MSE je koristen del. Izbira modela z validacijsko izgubo slabo razvršča te kontrolne točke, in Pearsonov r 0,924 pri vizualnem ujemanju pomeni, da če kontrolna točka doseže boljši rezultat v SIMPLER-ju, bo zelo verjetno dosegla boljši rezultat tudi v realnem okolju. To je ponovljiva nočna lestvica in ne zahteva, da verjamete v karkoli o prenosu usposabljanja iz simulacije v realnost.

Če želite širši kontekst o tem, kaj vam te številke meritev povedo in česa ne o , smo to posebej opisali v .

Kje vam ta platforma ne pomaga

Jasnost glede meja vsem prihrani čas. AY-Robots je platforma za snemanje, usposabljanje in strežbo. Ne vsebuje simulatorja.

• Brez Isaac Lab, brez MimicGen, brez svetovnega modela, brez avtorstva scene. Če želite generirane podatke, jih generirate drugje in prinesete rezultat.
• Usposabljalci uporabljajo LeRobot nabore podatkov in nič drugega. Izvoz simulatorja je treba pretvoriti, preden postane vhod, in mora biti prava različica: v2.0 ali v2.1 za GR00T N1.5 in N1.7, v3.0 za Pi0.5, SmolVLA in ACT.
• Vstopna točka za fino uglaševanje GR00T je tyro CLI, ki ne razkriva semena, zato izvedbe GR00T niso bitno ponovljive. Če izvajate skrbno ablacijo sim-proti-realnemu, je to resna omejitev. lerobotovo lastno privzeto seme je 1000, in oblike ACT, SmolVLA ter Pi0.5 razkrivajo polje za seme.
• Akumulacija gradientov se dejansko uporablja samo za dva GR00T usposabljalca. Za Pi0.5 in SmolVLA polje obstaja v obliki, vendar lerobot 0.5.1 nima take zastavice, zato ne dela ničesar.
• Zaključevanje mora biti blizu servomotorjev za hitre naloge. Krmilna zanka je od 20 do 485 ms na korak dejanja, odvisno od modela, in dodajanje povratnih poti prek javnega interneta spremeni delujočo politiko v oklevajočo. Oddaljeno zaključevanje je izvedljivo za počasno pobiranje in odlaganje, ne pa za hitro reaktivno gibanje.

Proračun, ki ga lahko zagovarjate

Postavite obe poti drugo ob drugo s številkami, ki jih vsaka dejansko objavi, in odločitev se običajno sprejme sama za projekt z eno nalogo na poceni roki.

Za prvo politiko na SO-100, snemajte. in vas pripeljeta do delujoče kontrolne točke za ceno kave, in imeli boste resnično polovico katere koli prihodnje mešanice za skupno usposabljanje. Posezite po simulatorju, ko imate delujočo osnovo in specifično napako pri posploševanju, ki jo lahko poimenujete, kot je politika, ki .

Recept, ki spoštuje dokaze

1. 1
   Najprej posnemite realno izhodišče

   30 epizod za SmolVLA, 50 za ACT, GR00T N1.7 in Pi0.5. Trenirajte enkrat. Karkoli ta politika ne uspe, je vaša specifikacija za sintetične podatke.

2. 2
   Poimenujte napako posploševanja

   Poza objekta? Osvetlitev? Višina mize? Motilci? Drugačna formulacija navodila? Sintetični podatki so dobri pri natanko enem od teh naenkrat in neuporabni, če ne morete povedati, pri katerem.

3. 3
   Izberite najcenejšo družino, ki to pokriva

   Variacija poze in postavitve: pomnoževanje trajektorij. Osvetlitev in tekstura: najprej razširitev slike, nato model sveta. Popolnoma novi prizori: fizikalne simulacije in sprejmite stroške modeliranja.

4. 4
   Generirajte, nato agresivno zavrzite

   Poskusi generiranja ne uspejo, in lastna stopnja uspešnosti kandidatov v Isaac Lab se giblje od 70 odstotkov navzdol do manj kot 1 odstotka, odvisno od naloge. Obdržite samo uspešne trajektorije, ki dokončajo nalogo, in si oglejte vzorec kot video, preden zaupate seriji.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   So-trenirajte, ne zamenjujte

   Združite generirane epizode z realnimi v en sam LeRobot nabor podatkov z enakimi ključi kamere in vrstnim redom sklepov. Številka 38 odstotkov je številka za so-treniranje.

6. 6
   Ocenite na pravi roki in samo tam

   Simulirana evalvacija je dober signal za razvrščanje (Pearsonov r 0.924 v SIMPLER-jevi nastavitvi vizualnega ujemanja), vendar ni sprejemni test. Zaženite kontrolno točko na testni mizi, preden ji verjamete.

Če bi raje začeli s kontrolnim seznamom za same realne posnetke, pokriva postavitev kamere, posledice in načine odpovedi, ki naredijo nabor podatkov neuporaben. Podrobnosti o samem formatu so na voljo v , in stran s hiperparametri v .