Syntetické dáta pre robotické politiky: Kde pomáha simulácia

Každých pár mesiacov niekto zistí, že nahrávanie päťdesiatich epizód ručne je pomalé, a pýta sa, či by ich namiesto toho nemohol produkovať simulátor. Je to oprávnená otázka. Úprimná odpoveď má tri časti: generované dáta pomáhajú, nenahrádzajú skutočné nahrávky a pomer medzi týmito dvoma faktami závisí výlučne od toho, aký druh syntetických dát máte na mysli.

Táto stránka prechádza tým, čo skutočne merala publikovaná práca, čo môžete dnes spustiť na lacnom ramene, ako je SO-100, a kde medzera medzi simuláciou a realitou (sim-to-real gap) požiera zisky. Krátka verzia, pred detailmi: systémy, ktoré vykazujú najväčšie násobky, násobia malú sadu skutočných ľudských demonštrácií. Neodstraňujú potrebu pre ne.

Štyri rôzne veci sa nazývajú syntetické dáta

Pred porovnávaním čísel stojí za to oddeliť rodiny, pretože článok uvádzajúci 100-násobný násobiteľ a článok uvádzajúci 5-bodový nárast úspešnosti často popisujú rovnaký pipeline z rôznych koncov. Spoločným menovateľom je, že niečo v dátovom súbore LeRobot bolo vyrobené strojom, a nie zaznamenané z fyzického ramena. Líši sa to, ktorá časť.

Len prvé tri sú syntetické dáta v zmysle, aký má na mysli tento článok. Štvrtá stojí za zmienku, pretože sa dostáva do rovnakej konverzácie a je zďaleka najlacnejšou vecou na zozname. Ak ste ešte nezapli augmentácie, s ktorými sa dodáva váš tréner, urobte to predtým, ako nainštalujete simulátor.

Čo v skutočnosti hovoria zverejnené čísla

Tu je dôkazová základňa s číslami tak, ako ich uvádzajú zdroje, a nie tak, ako ich sumarizujú tlačové správy. Každý riadok nižšie pochádza z článku alebo projektovej stránky prečítanej 23. augusta 2026.

Vzor naprieč každou poctivou abláciou je rovnaký. Syntetické dáta lacno rozširujú pokrytie. Nevytvárajú informácie o vašom chápadle, prehybe serva, osvetlení alebo výške stola, ktoré by už neboli niekde v reálnych demonštráciách. Ak vaša politika zlyhá, pretože sa koncový efektor zatvorí o pol sekundy príliš neskoro, žiadne množstvo simulovaných variácií to neopraví. To je problém s načasovaním chápadla v reálnych nahrávkach.

Jedno zistenie MimicGen stojí za to preniesť do vašich vlastných nahrávacích relácií, pretože ide proti bežným radám. Projekt vygeneroval dva datasety na Square D2, jeden s 10 ukážkami od kvalitnejšieho ľudského operátora a jeden s 10 ukážkami od menej kvalitného operátora, oba prevzaté z robomimic multi-human Square datasetu. Politiky trénované na každom dosiahli porovnateľné výsledky, čo autori interpretovali ako znak toho, že v režime rozsiahlych dát nemusí kvalita dát až tak záležať. Čítajte pozorne, toto je vyhlásenie o desiatich počiatočných demonštráciách, nie o vašich päťdesiatich reálnych epizódach. Znamená to, že mierne nedokonalý počiatočný súbor nie je to, čo stojí medzi vami a použiteľným vygenerovaným datasetom. Neznamená to, že reálne epizódy, na ktorých spoločne trénujete, môžu byť nedokonalé, pretože práve tie nesú informácie, ktoré simulátor nemá.

Konkrétne, rozdiel medzi simuláciou a realitou

Rozdiel sa zvyčajne diskutuje ako jedna veličina, čo je nepraktické. Ide prinajmenšom o päť samostatných nezhôd, a tie majú rôzne veľkosti na hobby ramene za 110 až 150 EUR ako na Franke.

• Kontakt a trenie. Isaac Lab jasne uvádza, že pri rovnakom hardvéri a rovnakej verzii Isaac Sim a PhysX je simulácia reprodukovateľná, ale výsledky sa líšia naprieč rôznymi hardvérovými konfiguráciami kvôli presnosti s pohyblivou desatinnou čiarkou a chybám zaokrúhľovania, a že PhysX nezaručuje determinizmus pre žiadnu scénu s nedeformovateľnými telesami, ako sú látky alebo mäkké telesá.
• Pohyb. Zbernicové servo Feetech STS3215 bežiace pri 7.4 V sa pod zaťažením prehýba, má vôľu a mení správanie, keď sa zahrieva. Model MJCF pre SO-101 si požičiava parametre motora z nesúvisiaceho projektu namiesto toho, aby ich identifikoval na vašom ramene.
• Renderovanie. Šum kamery, rolovacia uzávierka, automatická expozícia a presný odtieň vášho stola nie sú v rendere. Toto je polovica rozdielu, ktorú bol Cosmos-Transfer1 postavený na prekonanie: jeho pracovný postup augmentácie robotiky mapuje jeden robotický syntetický príklad na viacero realistických príkladov zo segmentácie, hĺbky alebo podmienok hrán.
• Časovanie. Simulátor krokuje pevnou rýchlosťou. Skutočná riadiaca slučka nie, a samotný model stojí 20 až 485 ms na akčný krok v závislosti od toho, ktorý ste si vybrali. Pozri latencia inferencie.
• Štatistiky objektov. Simulované scény sú vzorkované z distribúcie, ktorú niekto zapísal. Váš kuchynský stôl nie je.

Čo simulovaný SO-100 skutočne vie o vašom ramene

Toto je časť, ktorá rozhoduje, či niečo z vyššie uvedeného stojí za váš víkend, a prvé prekvapenie je, že SO-100 a SO-101 nie sú rovnako obsluhované. Repozitár SO-ARM100 od TheRobotStudio uchováva svoje simulačné aktíva pod Simulation/. Priečinok SO100 obsahuje jeden súbor URDF a nič iné. Priečinok SO101 obsahuje súbory URDF aj MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, zodpovedajúce URDF súbory a joints_properties.xml. Ak chcete fyzikálny model namiesto kinematického reťazca, potrebujete súbory SO-101.

Boli vygenerované pomocou pluginu onshape-to-robot z CAD modelu navrhnutého v Onshape, čo znamená, že kinematika a vizuálne siete sú rovnako dobré ako CAD. Dynamika je iný príbeh a README samotného repozitára je úprimné o troch veciach. Základné kolízne siete boli odstránené kvôli problematickému kolíznemu správaniu počas simulácie a plánovania. Vlastnosti motora STS3215 sú adaptované z projektu Open Duck Mini, a nie namerané na SO-101. A konvencia uchopovača LeRobot, kde 0 znamená úplne zatvorené a 100 úplne otvorené, zatiaľ nie je explicitne premietnutá v súboroch URDF a MuJoCo. Každá z týchto vecí je miesto, kde sa politika trénovaná čisto v tomto modeli bude správať inak na vašom stole.

Randomizácia domény a čo nerieši

Štandardná odpoveď na túto medzeru je prestať sa snažiť prispôsobiť realite a namiesto toho trénovať naprieč dostatočne širokou distribúciou, aby realita spadala do nej. Tobin a kolegovia ukázali silnú verziu tohto v roku 2017: detektor objektov trénovaný iba na simulovaných obrázkoch s nerealistickými náhodnými textúrami, bez akéhokoľvek predtrénovania na reálnych obrázkoch, lokalizoval reálne objekty s presnosťou 1.5 cm a zostal robustný voči rušivým elementom a čiastočným oklúziám.

Isaac Lab odhaľuje rovnakú myšlienku ako pojmy udalostí, ktoré pripojíte ku konfigurácii prostredia. Toto sú ovládacie prvky, podľa ich skutočných názvov funkcií v isaaclab.envs.mdp, takže si ich môžete prečítať namiesto hádania.

Tu je limit, a je to ten, na ktorý ľudia narážajú. Randomizácia rozširuje distribúciu, ktorú politika videla v rámci modelu, ktorý ste vytvorili. Nemôže zaviesť fyzikálny efekt, ktorý simulátor nereprezentuje. Ak PhysX nemodeluje vôľu a tepelný pokles vašich servomotorov STS3215, randomizácia ich tuhosti nenaučí politiku nič o vôli. Preto rameno, ktoré pod politikou trénovanou v simulátore nie je problémom rozpočtu randomizácie. Je to problém modelovania.

Manuálna cesta: generovanie dát v Isaac Lab

Isaac Gym je starší softvér. Vlastná stránka spoločnosti NVIDIA má nadpis „Isaac Gym – teraz zastarané“ a uvádza, že vývojári si ho môžu stiahnuť a naďalej používať, ale už nie je podporovaný, pričom namiesto neho odkazuje na Isaac Lab. Ak vás zaujíma história, pokryli sme oboje: a . Pre novú prácu v roku 2026 začnite s Isaac Lab.

1. 1
   Nainštalujte Isaac Sim a Isaac Lab

   Stránka inštalácie pip uvádza, že pokyny sú pre Isaac Sim 5.X, ktorý vyžaduje Python 3.11. Klonovanie zdroja vám poskytne skripty, ktoré sú potrebné pre ďalšie kroky.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Zaznamenajte približne desať ľudských demonštrácií

   Dokumentácia Isaac Lab je špecifická: pre úspešné dokončenie nasledujúcich krokov je potrebných približne 10 úspešných demonštrácií. Jej tipy sú rovnako špecifické. Udržujte demonštrácie krátke, zvoľte priamu cestu namiesto pohybu po ľubovoľných osiach a nerobte pauzy, pretože pre politiku nie je zrejmé, prečo a kedy pauzovať.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anotujte hranice podúloh

   Mimic rozdeľuje vstupné demonštrácie na podúlohy, aby mohol prečasovať a preorientovať segmenty. Príznak --auto to robí bez ľudského zásahu pre úlohy, ktoré definujú automatickú anotáciu; bez neho pozastavíte pomocou B, pokračujete pomocou N a označíte hranicu pomocou S. Všimnite si, že ID úlohy získa príponu -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Vygenerujte násobený dataset

   Toto je krok, ktorý premení 10 na 1000. Mimic aplikuje booleovské kritérium úspešnosti na každého kandidáta a ponechá len tých, ktorí dokončili úlohu, takže počet výstupov je nižší ako počet pokusov. Dokumentácia uvádza, že miera úspešnosti kandidátov je až 70 percent v jednoduchých prípadoch a pod 1 percento pre náročné úlohy a komplexné roboty: približne 50 percent pre stohovanie kociek Franka a 65 až 80 percent pre GR1T2 pick and place, kde 1000 demonštrácií trvá 18 až 40 minút (19 minút na RTX ADA 6000 pri 80 percentách).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Konvertujte HDF5 na dataset LeRobot

   Všetko vyššie uvedené produkuje HDF5 s príchuťou robomimic, a jadro Isaac Lab neobsahuje vlastný konvertor LeRobot: jeho dokumentácia len uvádza, že vygenerovaný dataset môžete konvertovať do formátu LeRobot. Skutočný konvertor dodávajú dva projekty. IsaacLab-Arena dodáva konvertor zameraný na GR00T, ktorý je riadený výhradne konfiguráciou YAML, a LeIsaac dodáva vlastný pár pre trasu SO-101 (pozri nižšie).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Prečo pokusy o generovanie zlyhávajú a čo zmeniť

Miera úspešnosti kandidáta, ktorá kolíše medzi 70 percentami a menej ako 1 percentom, nie je záhadou a Isaac Lab dokumentuje bežné úskalia namiesto toho, aby vás nechal hádať. Každé z nich je niečo, čo ovládate v čase nahrávania, a preto sa oplatí prečítať si tento zoznam predtým, ako nahráte desať počiatočných demonštrácií, a nie po prvom sklamaní z generovania.

• Demonštrácie sú príliš dlhé. Dlhší časový horizont je pre politiku ťažšie naučiteľný. Začnite blízko prvého objektu a minimalizujte pohyb.
• Demonštrácie nie sú plynulé. Nepravidelný pohyb je pre politiku ťažké rozlúštiť a lepší hardvér pre teleoperáciu poskytuje lepšie dáta: dokumentácia jasne uvádza, že SpaceMouse prekonáva klávesnicu.
• Pauzy. Pauzy sa ťažko učia, pretože pre politiku nie je zrejmé, prečo a kedy pauzovať. Udržujte pohyb plynulý.
• Príliš veľa podúloh. Viac podúloh znamená viac spájania medzi segmentmi trajektórie, čo vedie k menej plynulému pohybu a nižšej miere úspešnosti generovania. Anotujte hranice, kde je nepravdepodobné, že rameno s niečím koliduje.
• Žiadny akčný šum. Akčný šum robí výsledné politiky robustnejšími.
• Nahrávanie orezané príliš natesno. Ak sa nahrávanie zastaví presne na snímke, kedy sa spustí podmienka úspechu, nemusí sa znova spustiť počas prehrávania. Na konci ponechajte vyrovnávaciu pamäť.
• Nedeterministické prehrávanie. Fyzika v Isaac Lab nie je deterministicky reprodukovateľná naprieč env.reset, takže niektoré ľudské demonštrácie zlyhajú pri prehrávaní. Zbierajte viac, ako potrebujete, a ponechajte tie, ktoré prežijú anotáciu. Všetko, čo sa dostane do súboru HDF5 generovaného Mimic, je úspešná demonštrácia a môže byť použité na trénovanie, aj keď prehrávanie neskôr zlyhá.

Interpolácia medzi spojenými segmentmi podúloh má svoj vlastný ladiaci prvok a počet potrebných interpolačných krokov sa mení v závislosti od rýchlosti pohybu robota a šírky distribučného rozsahu resetu objektu. Komplexná úloha s veľkým distribučným rozsahom resetu zanecháva väčšie medzery medzi segmentmi, čo si vyžaduje viac interpolačných krokov, aby sa dosiahol plynulý pohyb. Ak vaše generované videá ukazujú, že rameno sa trhavo pohybuje medzi fázami, je to parameter, na ktorý sa treba pozrieť predtým, ako budete obviňovať počiatočné demonštrácie.

Rovnaký pipeline na SO-101, so skutočným vedúcim ramenom

Toto je zaujímavé pre každého, kto číta túto stránku, pretože je to jediný otvorený pipeline, ktorý umiestňuje do Isaac Lab a umožňuje vám ho ovládať fyzickým ramenom lídra, ktoré už vlastníte. LeIsaac, verzia 0.4.0 v čase písania, je oficiálne simulačné prostredie pre učenie napodobňovaním integrované do LeRobot's EnvHub. Jeho tabuľka kompatibility uvádza tri funkčné kombinácie; najnovšia spája Isaac Sim 5.1 s Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 a Python 3.11, a dokumentácia odporúča Isaac Sim 5.0 alebo novší pre karty série 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Keď je to nastavené, rameno lídra na /dev/ttyACM0 ovláda simulovaného nasledovníka a nahráva priamo do HDF5. slučka je rovnaká, akú už poznáte zo skutočného nahrávania, len nasledovník je tuhé teleso v PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Väčšina týchto ID existuje aj ako -Direct-v0 variant, a python scripts/environments/list_envs.py vypíše aktuálny zoznam. Môžete tiež úplne preskočiť obchádzku HDF5 a zapisovať formát LeRobot počas teleoperácie pridaním troch príznakov. Dve upozornenia pochádzajú zo samotnej dokumentácie: rekordér automaticky preskočí prvých 5 snímok každej epizódy, aby sa predišlo nestabilite z počiatočných stavov, a môže spôsobiť mierne oneskorenia v teleoperácii, čo je presne ten typ veci, ktorá ticho mení charakter vašich demonštrácií. Taktiež vyprázdňuje epizódy iba vtedy, ak ich úloha označila za úspešné.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Krok násobenia sa potom spustí na týchto nahrávkach. LeIsaac obalí Isaac Lab Mimic do štyroch príkazov, pretože Mimic zovšeobecňuje trajektórie z pozícií koncového efektora a objektu: konvertuje akcie v kĺbovom priestore na akcie založené na IK, anotuje, generuje a potom konvertuje späť do kĺbového priestoru.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Potom konvertujte na LeRobot. Toto je krok, kde sa prejaví pravidlo formátu platformy a LeIsaac náhodou dodáva presne dva konvertory, ktoré potrebujete: isaaclab2lerobot.py zapisuje LeRobot v2, čo je to, čo používajú GR00T loadery, a isaaclab2lerobotv3.py zapisuje v3 pre Pi0.5, SmolVLA a ACT. Tieto dva skripty prijímajú identické argumenty, ale používajú rôzne verzie lerobot a konvertujú sa iba úspešné epizódy.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dve cesty k natrénovanej politike

Video modely sveta: najnovšia vrstva a najmenej meraná

Myšlienka za DreamGen je, že video generatívny model, prispôsobený cieľovému robotickému prevedeniu, si dokáže predstaviť vierohodné epizódy v scénach, ktoré ste nikdy nenavštívili. Pipeline má štyri fázy: jemné doladenie video svetového modelu, generovanie fotorealistických syntetických robotických videí, obnovenie pseudo-akčných sekvencií pomocou latentného akčného modelu alebo modelu inverznej dynamiky, a následné trénovanie robotickej politiky na výsledku. Repozitár GR00T-dreams od NVIDIA implementuje presne toto.

Hlavný výsledok je skutočný a stojí za to ho brať vážne: teleoperačné dáta z jedinej úlohy typu pick-and-place v jednom prostredí vyprodukovali 22 nových správaní na humanoidovi, a to v videných aj nevidených prostrediach. Výhrada je rovnako skutočná a nachádza sa v tretej fáze.

Spoločné trénovanie je recept, ktorý skutočne prináša zisky

Ak si z literatúry vezmete jednu operačnú lekciu, vezmite si túto. Štúdia ko-tréningu simulácie a reality (Maddukuri a kolegovia, 2025) si dala za cieľ nájsť jednoduchý recept na použitie simulačných dát na riešenie úloh robotickej manipulácie založených na videní, v dvoch doménach, robotické rameno a humanoid, a jej záver je, že trénujete na zmesi. Simulačné dáta zlepšili výkon úloh v reálnom svete v priemere o 38 percent, a článok výslovne uvádza, že to platilo aj pri výrazných rozdieloch medzi simuláciou a dátami z reálneho sveta.

Táto posledná klauzula je dôležitejšia ako 38 percent. Znamená to, že simulácia nemusí byť dokonalým digitálnym dvojčaťom, aby bola užitočná, za predpokladu, že reálne dáta sú v zmesi, aby ju ukotvili. Prenos len zo simulácie je drahá cesta: ten istý článok uvádza, že trénovanie politiky výlučne v simulácii a jej prenos do reálneho sveta si často vyžaduje značné ľudské úsilie na prekonanie rozdielu medzi realitou. Ko-tréning väčšinu tohto úsilia preskakuje tým, že nikdy nežiada politiku, aby tento rozdiel prekonala sama.

Prakticky, na tejto platforme, ko-tréning znamená jednu vec: vložte obe sady epizód do rovnakého LeRobot dataset s konzistentnými kľúčmi kamery, konzistentným poradím kĺbov a konzistentnými jednotkami, potom spustite normálne jemné doladenie. Vo formulári tréningu nie je žiadny ovládač pre váhu zmesi. Ak chcete pomer simulácie k realite 3:1, vyjadríte to počtom epizód z každého, ktoré vložíte do datasetu.

Najlacnejší prínos zo simulácie nie sú tréningové dáta

Je to vyhodnocovanie. Spustenie desiatok reálnych pokusov na úlohu na porovnanie dvoch je deň práce ramena a rameno sa medzi pokusmi posúva. SIMPLER (Li a kolegovia, 2024) vytvoril simulované prostredia, ktorých účelom je skórovanie reálnych politík namiesto ich trénovania, a potom meral, ako dobre simulované poradie predpovedá to reálne. Jedno prostredie SIMPLER sa vykresľuje rýchlosťou 3 500 simulačných krokov za sekundu na spotrebiteľskej RTX 4090 pri rozlíšení 640 x 512, čo pri simulačnej frekvencii 500 Hz predstavuje 7-násobné zrýchlenie oproti reálnemu vyhodnocovaniu.

Ide o priemery z troch skupín úloh Google Robot pre šesť bežných open-source kontrolných bodov: tri kontrolné body RT-1 v rôznych fázach tréningu, RT-1-X, RT-2-X a Octo-Base. Reálna strana nemá jednotný počet pokusov, čo je dôležité vedieť, než to budete citovať: 75 pokusov pre zdvihnutie plechovky od koly, 60 pre presun blízko, 54 pre úlohy otvorenia a zatvorenia zásuvky a 27 pre dlhšiu úlohu zásuvky a jablka. Porovnanie s validačným MSE je užitočná časť. Výber modelu podľa validačnej straty radí tieto kontrolné body zle, a Pearson r 0,924 pri vizuálnom porovnávaní znamená, že ak kontrolný bod dosiahne lepšie skóre v SIMPLER, veľmi pravdepodobne dosiahne lepšie skóre aj v reálnom prostredí. To je opakovateľná nočná výsledková tabuľka a nevyžaduje, aby ste verili čomukoľvek o prenose tréningu zo simulácie do reality.

Ak chcete širší kontext o tom, čo vám tieto čísla benchmarkov hovoria a nehovoria o , napísali sme to samostatne v .

V čom vám táto platforma nepomôže

Jasné vymedzenie hraníc šetrí čas všetkým. AY-Robots je platforma na nahrávanie, trénovanie a obsluhu. Neobsahuje žiadny simulátor.

• Žiadny Isaac Lab, žiadny MimicGen, žiadny svetový model, žiadne autorstvo scény. Ak chcete generované dáta, vygenerujete ich inde a prinesiete výsledok.
• Tréneri spotrebúvajú datasety LeRobot a nič iné. Export zo simulátora musí byť konvertovaný, kým sa stane vstupom, a musí byť správnej verzie: v2.0 alebo v2.1 pre GR00T N1.5 a N1.7, v3.0 pre Pi0.5, SmolVLA a ACT.
• Vstupný bod pre jemné ladenie GR00T je tyro CLI, ktoré neexponuje žiadny seed, takže behy GR00T nie sú bitovo reprodukovateľné. Ak vykonávate starostlivú abláciu sim-versus-real, je to skutočné obmedzenie. Predvolený seed samotného lerobot je 1000 a formuláre ACT, SmolVLA a Pi0.5 pole seed exponujú.
• Akumulácia gradientu sa skutočne aplikuje iba pre dvoch trénerov GR00T. Pre Pi0.5 a SmolVLA pole existuje vo formulári, ale lerobot 0.5.1 nemá takýto príznak, takže nerobí nič.
• Inferencia musí byť umiestnená vedľa servomotorov pre rýchle úlohy. Riadiaca slučka je 20 až 485 ms na akčný krok v závislosti od modelu a pridanie okružných ciest cez verejný internet premení fungujúcu politiku na váhavú. Vzdialená inferencia je životaschopná pre pomalé pick-and-place, nie pre rýchly reaktívny pohyb.

Rozpočet, ktorý môžete obhájiť

Postavte obe cesty vedľa seba s číslami, ktoré každá z nich skutočne publikuje, a rozhodnutie sa zvyčajne urobí samo pre jednoúlohový projekt na lacnom ramene.

Pre prvú politiku na SO-100 nahrávajte. a vás dostanú k nasadenému kontrolnému bodu za cenu kávy a budete mať reálnu polovicu akejkoľvek budúcej zmesi spoločného tréningu. Siahnite po simulátore, keď máte funkčný základ a konkrétnu zlyhanie generalizácie, ktoré viete pomenovať, ako napríklad politika, ktorá .

Recept, ktorý rešpektuje dôkazy

1. 1
   Najprv zaznamenajte skutočnú základnú líniu

   30 epizód pre SmolVLA, 50 pre ACT, GR00T N1.7 a Pi0.5. Trénujte raz. Čokoľvek, v čom táto politika zlyhá, je vaša špecifikácia pre syntetické dáta.

2. 2
   Pomenujte zlyhanie generalizácie

   Póza objektu? Osvetlenie? Výška stola? Rušivé elementy? Iné znenie inštrukcie? Syntetické dáta sú dobré presne v jednej z týchto vecí naraz a sú zbytočné, ak neviete povedať, v ktorej.

3. 3
   Vyberte najlacnejšiu rodinu, ktorá to pokrýva

   Variácia pózy a rozloženia: násobenie trajektórií. Osvetlenie a textúra: najprv augmentácia obrazu, potom model sveta. Úplne nové scény: fyzikálne simulácie a akceptujte náklady na modelovanie.

4. 4
   Generujte, potom agresívne vyhoďte

   Pokusy o generovanie zlyhávajú a vlastná miera úspešnosti kandidátov Isaac Lab sa pohybuje od 70 percent až po menej ako 1 percento v závislosti od úlohy. Ponechajte len úspešné trajektórie dokončujúce úlohu a vizuálne skontrolujte vzorku ako video, predtým než dôverujete celej dávke.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Spoločne trénujte, nenahrádzajte

   Zlúčte vygenerované epizódy so skutočnými do jedného datasetu LeRobot s identickými kľúčmi kamier a poradím kĺbov. Údaj 38 percent je údaj o spoločnom trénovaní.

6. 6
   Vyhodnoťte na skutočnom ramene a len tam

   Simulované vyhodnotenie je dobrý signál pre hodnotenie (Pearson r 0.924 v nastavení vizuálneho porovnávania SIMPLER), ale nie je to akceptačný test. Spustite checkpoint na testovacej stolici, predtým než mu uveríte.

Ak by ste radšej začali kontrolným zoznamom pre samotné skutočné nahrávky, pokrýva umiestnenie kamery, dôsledky a režimy zlyhania, ktoré robia dataset nepoužiteľným. Podrobnosti o samotnom formáte nájdete v , a stranu hyperparametrov v .