Synteettinen data robottipolitiikoille: Missä simulaatio auttaa

Muutaman kuukauden välein joku huomaa, että viidenkymmenen jakson tallentaminen käsin on hidasta, ja kysyy, voisiko simulaattori tuottaa ne sen sijaan. Se on oikeutettu kysymys. Rehellinen vastaus koostuu kolmesta osasta: generoitu data auttaa, se ei korvaa todellisia tallenteita, ja näiden kahden tosiasian suhde riippuu täysin siitä, millaista synteettistä dataa tarkoitat.

Tällä sivulla käydään läpi, mitä julkaistu työ todella mittasi, mitä voit ajaa tänään edullisella robotin käsivarrella, kuten SO-100, ja missä simulaatiosta todellisuuteen -kuilu syö hyödyt. Lyhyt versio, ennen yksityiskohtia: järjestelmät, jotka raportoivat suurimpia kertoimia, monistavat pienen joukon todellisia ihmisdemonstraatioita. Ne eivät poista niiden tarvetta.

Neljää eri asiaa kutsutaan synteettiseksi dataksi

Ennen lukujen vertailua on syytä erottaa perheet, sillä paperi, joka raportoi 100-kertaisen kertoimen, ja paperi, joka raportoi 5 pisteen menestysparannuksen, kuvaavat usein samaa putkistoa eri näkökulmista. Yhteinen nimittäjä on, että jokin LeRobot-aineistossa on tuotettu koneella eikä tallennettu fyysisestä käsivarresta. Ero on siinä, mikä osa.

Vain kolme ensimmäistä ovat synteettistä dataa siinä merkityksessä, kuin tämä artikkeli tarkoittaa. Neljäs on mainitsemisen arvoinen, koska se niputetaan samaan keskusteluun ja on ylivoimaisesti halvin asia listalla. Jos et ole vielä ottanut käyttöön kouluttajasi mukana toimitettuja augmentaatioita, tee se ennen simulaattorin asentamista.

Mitä julkaistut luvut todella kertovat

Tässä on todistusaineisto, luvut sellaisina kuin lähteet ne esittävät, eivätkä sellaisina kuin lehdistötiedotteet ne tiivistävät. Jokainen alla oleva rivi on peräisin artikkelista tai projektisivulta, joka on luettu 23. elokuuta 2026.

Jokaisen rehellisen ablaation kaava on sama. Synteettinen data laajentaa kattavuutta edullisesti. Se ei luo tietoa tarttujastasi, servosi notkahduksesta, valaistuksestasi tai pöydän korkeudestasi, jota ei ollut jossain todellisissa demonstraatioissa. Jos politiikkasi epäonnistuu, koska tarttuja sulkeutuu puoli sekuntia liian myöhään, mikään määrä simuloitua vaihtelua ei korjaa sitä. Se on tarttujan ajoitusongelma todellisissa tallenteissa.

Yksi MimicGenin havainto on syytä ottaa huomioon omissa tallennussessioissasi, koska se on vastoin tavanomaista neuvoa. Projekti loi kaksi datajoukkoa Square D2:lla, joista toinen oli alustettu 10 demonstraatiolla parempilaatuiselta ihmisoperaattorilta ja toinen 10 demonstraatiolla huonompilaatuiselta operaattorilta, molemmat otettu robomimicin moni-ihmis Square -datajoukosta. Kummallakin koulutetut politiikat saavuttivat vertailukelpoisia tuloksia, minkä kirjoittajat tulkitsivat merkiksi siitä, että laajamittaisen datan ympäristössä datan laadulla ei ehkä ole niin suurta merkitystä. Lue huolellisesti, tämä on lausunto kymmenestä alustusdemonstraatiosta, ei viidestäkymmenestä todellisesta episodistasi. Se tarkoittaa, että hieman epätarkka alustusjoukko ei ole se asia, joka estää sinua saamasta käyttökelpoista generoituja datajoukkoa. Se ei tarkoita, että todelliset episodit, joilla harjoittelet, voivat olla epätarkkoja, koska ne ovat niitä, jotka sisältävät tiedon, jota simulaattorilla ei ole.

Simulaatiosta todellisuuteen -kuilu, konkreettisesti

Kuiluun viitataan yleensä yhtenä kokonaisuutena, mikä on hyödytöntä. Se koostuu vähintään viidestä erillisestä epäyhteensopivuudesta, ja niiden mittasuhteet ovat erilaiset 110–150 euron harrastelijavarressa kuin Frankassa.

• Kontakti ja kitka. Isaac Lab toteaa selvästi, että samalla laitteistolla ja samalla Isaac Sim- ja PhysX-versiolla simulointi on toistettavissa, mutta tulokset vaihtelevat eri laitteistokokoonpanojen välillä liukulukujen tarkkuuden ja pyöristysvirheiden vuoksi, ja että PhysX ei takaa determinismiä missään kohtauksessa, jossa on ei-jäykkiä kappaleita, kuten kangasta tai pehmeitä kappaleita.
• Toiminta. 7.4 V:n Feetech STS3215-väyläservo notkahtaa kuormituksen alla, siinä on välystä ja sen käyttäytyminen muuttuu lämmetessään. SO-101:n MJCF-malli lainaa moottoriparametrinsa toisesta projektista sen sijaan, että ne olisi tunnistettu omasta varrestasi.
• Renderöinti. Kameran kohina, vierivä suljin, automaattivalotus ja pöytäsi tarkka sävy eivät sisälly renderöintiin. Tämä on se puoli kuilusta, jonka Cosmos-Transfer1 rakennettiin umpeen: sen robotiikan augmentointityönkulku kartoittaa yhden robotiikan synteettisen esimerkin useisiin realistisiin esimerkkeihin segmentoinnin, syvyyden tai reunaehdotuksen perusteella.
• Ajoitus. Simulaattori etenee kiinteällä nopeudella. Todellinen ohjaussilmukka ei, ja itse malli maksaa 20–485 ms per toimintavaihe riippuen siitä, minkä valitsit. Katso päätelmän latenssi.
• Objektitilastot. Simuloidut kohtaukset on otettu näytteinä jakaumasta, jonka joku on kirjoittanut ylös. Keittiöpöytäsi ei ole.

Mitä simuloitu SO-100 todella tietää varrestasi

Tämä on se osa, joka päättää, onko mikään yllä olevista viikonloppusi arvoinen, ja ensimmäinen yllätys on, että SO-100:aa ja SO-101:tä ei palvella samalla tavalla. TheRobotStudion SO-ARM100-repositorio säilyttää simulointiresurssinsa Simulation/ alla. SO100-kansio sisältää yhden URDF-tiedoston eikä mitään muuta. SO101-kansio sisältää sekä URDF- että MuJoCo-tiedostoja: scene.xml, so101_new_calib.xml, so101_old_calib.xml, vastaavat URDF:t ja joints_properties.xml. Jos haluat fysiikkamallin kinemaattisen ketjun sijaan, haluat SO-101-tiedostot.

Ne luotiin onshape-to-robot-liitännäisellä Onshapessa suunnitellusta CAD-mallista, mikä tarkoittaa, että kinematiikka ja visuaaliset verkot ovat yhtä hyviä kuin CAD-malli. Dynamiikka on eri juttu, ja repositorion oma README on suora kolmesta asiasta. Pohjan törmäysverkot poistettiin ongelmallisen törmäyskäyttäytymisen vuoksi simuloinnin ja suunnittelun aikana. STS3215-moottorin ominaisuudet on mukautettu Open Duck Mini -projektista sen sijaan, että ne olisi mitattu SO-101:stä. Ja LeRobot-tarttujan konventio, jossa 0 on täysin kiinni ja 100 täysin auki, ei ole vielä eksplisiittisesti heijastunut URDF- ja MuJoCo-tiedostoihin. Jokainen näistä on kohta, jossa puhtaasti kyseisessä mallissa koulutettu toimintamalli käyttäytyy eri tavalla työpöydälläsi.

Toimialueen satunnaistaminen ja mitä se ei korjaa

Vakiovastaus kuiluun on lopettaa todellisuuden vastaavuuden tavoittelu ja sen sijaan kouluttaa riittävän laajan jakauman yli, jotta todellisuus mahtuu sen sisään. Tobin kollegoineen osoittivat tämän vahvan version vuonna 2017: objektintunnistin, joka oli koulutettu vain simuloiduilla kuvilla epärealistisilla satunnaistetuilla tekstuureilla, ilman minkäänlaista esikoulutusta todellisilla kuvilla, paikansi todellisia objekteja 1.5 cm:n tarkkuudella ja pysyi kestävänä häiriötekijöitä ja osittaisia peittymiä vastaan.

Isaac Lab esittelee saman idean kuin tapahtumatermit, jotka liität ympäristön konfiguraatioon. Nämä ovat säätimet, niiden todellisilla funktionimillä kohteessa isaaclab.envs.mdp, jotta voit lukea niistä sen sijaan, että arvaisit.

Tässä on raja, ja se on se, johon ihmiset kompastuvat. Satunnaistaminen laajentaa jakaumaa, jonka politiikka on nähnyt rakentamasi mallin sisällä. Se ei voi tuoda esiin fyysistä vaikutusta, jota simulaattori ei edusta. Jos PhysX ei mallinna STS3215-servojesi välystä ja lämpölaahausta, niiden jäykkyyden satunnaistaminen ei opeta politiikalle mitään välyksestä. Siksi käsi, joka nykii ja sitten vajoaa simulaattorissa koulutetun politiikan alaisena, ei ole satunnaistamisbudjetin ongelma. Se on mallinnusongelma.

Manuaalinen polku: datan generointi Isaac Labissa

Isaac Gym on vanhaa ohjelmistoa. NVIDIAn oma sivu on otsikoitu "Isaac Gym - Nyt vanhentunut" ja siinä sanotaan, että kehittäjät voivat ladata ja jatkaa sen käyttöä, mutta sitä ei enää tueta, ja se ohjaa Isaac Labiin. Jos haluat historian, olemme käsitelleet molempia: ja . Uutta työtä varten vuonna 2026 aloita Isaac Labista.

1. 1
   Asenna Isaac Sim ja Isaac Lab

   Pip-asennussivu ilmoittaa, että ohjeet ovat Isaac Sim 5.X:lle, joka vaatii Python 3.11:n. Lähdeklooni antaa sinulle skriptit, joita seuraavat vaiheet tarvitsevat.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Tallenna noin kymmenen ihmisen demonstraatiota

   Isaac Labin dokumentaatio on tarkka: noin 10 onnistunutta demonstraatiota tarvitaan, jotta seuraavat vaiheet onnistuvat. Sen vinkit ovat yhtä tarkkoja. Pidä demonstraatiot lyhyinä, kulje suoraa reittiä mieluummin kuin liiku mielivaltaisia akseleita pitkin, äläkä pysähdy, koska toimintamallille ei ole selvää, miksi ja milloin pysähtyä.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Annotoi alitehtävien rajat

   Mimic jakaa syötedemonstraatiot alitehtäviin, jotta se voi ajoittaa ja kohdistaa segmentit uudelleen. --auto-lippu tekee tämän ilman ihmistä silmukassa tehtävissä, jotka määrittelevät automaattisen annotoinnin; ilman sitä pysäytät B:llä, jatkat N:llä ja merkitset rajan S:llä. Huomaa, että tehtävän tunnukseen tulee -Mimic-suffiksi.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Generoi kerrottu datajoukko

   Tämä on vaihe, joka muuttaa 10:stä 1000:ksi. Mimic soveltaa boolean-onnistumiskriteeriä jokaiseen ehdokkaaseen ja säilyttää vain ne, jotka suorittivat tehtävän, joten tulosten määrä on pienempi kuin yritysten määrä. Dokumentaatio asettaa ehdokkaan onnistumisasteen jopa 70 prosenttiin yksinkertaisissa tapauksissa ja alle 1 prosenttiin vaikeissa tehtävissä ja monimutkaisissa roboteissa: noin 50 prosenttia Frankan kuution pinoamisessa ja 65–80 prosenttia GR1T2:n poiminta- ja sijoitustehtävässä, jossa 1000 demoa kestää 18–40 minuuttia (19 minuuttia RTX ADA 6000:lla 80 prosentin teholla).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Muunna HDF5 LeRobot-datajoukoksi

   Kaikki yllä oleva tuottaa robomimic-tyyppistä HDF5:tä, eikä Isaac Labin ydin sisällä omaa LeRobot-muunninta: sen dokumentaatio sanoo vain, että voit muuntaa generoidun datajoukon LeRobot-muotoon. Kaksi projektia toimittavat varsinaisen muuntimen. IsaacLab-Arena toimittaa GR00T-kohdistetun muuntimen, joka toimii kokonaan YAML-konfiguraation ohjaamana, ja LeIsaac toimittaa oman parinsa SO-101-reitille (katso alta).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Miksi generointiyritykset epäonnistuvat ja mitä muuttaa

Ehdokkaan onnistumisprosentti, joka vaihtelee 70 prosentin ja alle 1 prosentin välillä, ei ole mysteeri, ja Isaac Lab dokumentoi yleiset sudenkuopat sen sijaan, että jättäisi sinut arvailemaan. Jokainen niistä on jotain, mitä voit hallita tallennushetkellä, minkä vuoksi kannattaa lukea tämä lista ennen kymmenen siemenesittelyn tallentamista, eikä vasta ensimmäisen pettymyksen tuottaneen generointiajon jälkeen.

• Esittelyt ovat liian pitkiä. Pidempi aikahorisontti on vaikeampi politiikan oppia. Aloita lähellä ensimmäistä kohdetta ja minimoi liike.
• Esittelyt eivät ole tasaisia. Epäsäännöllistä liikettä on vaikea politiikan tulkita, ja parempi teleoperaatiolaitteisto tuottaa parempaa dataa: dokumentaatio sanoo selvästi, että SpaceMouse on näppäimistöä parempi.
• Tauot. Taukoja on vaikea oppia, koska politiikalle ei ole selvää, miksi ja milloin tauottaa. Pidä liike sujuvana.
• Liian monta alitehtävää. Useammat alitehtävät tarkoittavat enemmän liitoksia trajektorien segmenttien välillä, mikä johtaa vähemmän tasaiseen liikkeeseen ja alhaisempaan generoinnin onnistumisprosenttiin. Merkitse rajat, joissa käsi ei todennäköisesti törmää mihinkään.
• Ei toimintamelua. Toimintamelu tekee tuloksena olevista politiikoista vankempia.
• Tallennus rajattu liian tiukasti. Jos tallennus pysähtyy juuri sillä ruudulla, jolla onnistumisehto laukeaa, se ei välttämättä laukea uudelleen toiston aikana. Jätä puskuri loppuun.
• Ei-deterministinen toisto. Isaac Labin fysiikka ei ole deterministisesti toistettavissa env.reset-kutsujen välillä, joten jotkut ihmisesittelyt epäonnistuvat toistossa. Kerää enemmän kuin tarvitset ja säilytä ne, jotka selviävät annotoinnista. Kaikki, mikä päätyy Mimic-generoituun HDF5-tiedostoon, on onnistunut esittely ja sitä voidaan käyttää koulutukseen, vaikka toisto myöhemmin epäonnistuisi.

Liitettyjen alitehtäväsegmenttien välinen interpolointivaiheella on oma säätönuppinsa, ja tarvittavien interpolointivaiheiden määrä skaalautuu sen mukaan, kuinka nopeasti robotti liikkuu ja kuinka laaja objektin nollausjakauma on. Monimutkainen tehtävä suurella nollausjakaumalla jättää suurempia aukkoja segmenttien väliin, mikä vaatii enemmän interpolointivaiheita, jotta liike olisi jatkuvaa. Jos generoidut videosi näyttävät käden nykivän vaiheiden välillä, se on parametri, jota kannattaa tarkastella ennen kuin syytät siemenesittelyjä.

Sama putki SO-101:ssä, oikean johtajakäden kanssa

Tämä on mielenkiintoinen kaikille tätä sivua lukeville, koska se on ainoa avoin putkisto, joka sijoittaa SO-101 Isaac Labiin ja antaa sinun ohjata sitä fyysisellä johtajavarrella, jonka jo omistat. LeIsaac, version 0.4.0 kirjoitushetkellä, on virallinen jäljittelyoppimisen simulointileikkikenttä, joka on integroitu LeRobotin EnvHubiin. Sen yhteensopivuustaulukko listaa kolme toimivaa yhdistelmää; uusin yhdistää Isaac Sim 5.1:n Isaac Lab v2.3.0:n, CUDA 12.8:n, PyTorch 2.7.0:n ja Python 3.11:n kanssa, ja dokumentaatio suosittelee Isaac Sim 5.0:aa tai uudempaa 50-sarjan korteille.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Kun tämä on paikallaan, /dev/ttyACM0:n johtajavarsi ohjaa simuloitua seuraajaa ja tallentaa suoraan HDF5:een. johtaja-seuraaja silmukka on sama, jonka jo tunnet todellisesta tallennuksesta, vain seuraaja on jäykkä kappale PhysX:ssä.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Useimmat näistä tunnuksista ovat olemassa myös -Direct-v0 -varianttina, ja python scripts/environments/list_envs.py tulostaa nykyisen luettelon. Voit myös ohittaa HDF5-kierron kokonaan ja kirjoittaa LeRobot-muotoon teleoperaation aikana lisäämällä kolme lippua. Kaksi huomautusta tulee itse dokumentaatiosta: tallennin ohittaa automaattisesti kunkin jakson viisi ensimmäistä ruutua välttääkseen epävakautta alkuperäisistä tiloista, ja se voi aiheuttaa pieniä viiveitä teleoperaatiossa, mikä on juuri sellaista, mikä hiljaisesti muuttaa demonstraatioidesi luonnetta. Se myös tallentaa vain ne jaksot, jotka tehtävä on merkinnyt onnistuneiksi.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Kertolaskuvaihe suoritetaan sitten näillä tallenteilla. LeIsaac käärii Isaac Lab Mimicin neljään komentoon, koska Mimic yleistää trajektoreita tarttujan ja objektin asennoista: muunna nivelavaruuden toiminnot IK-pohjaisiksi toiminnoiksi, annotoi, generoi ja muunna sitten takaisin nivelavaruuteen.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Muunna sitten LeRobotiksi. Tämä on vaihe, jossa alustan muotosääntö iskee, ja LeIsaac sattuu toimittamaan juuri ne kaksi muunninta, joita tarvitset: isaaclab2lerobot.py kirjoittaa LeRobot v2:n, jonka GR00T-lataajat ottavat, ja isaaclab2lerobotv3.py kirjoittaa v3:n seuraaville: Pi0.5, SmolVLA ja ACT. Nämä kaksi skriptiä ottavat identtiset argumentit, mutta käyttävät eri lerobot-versioita, ja vain onnistuneet episodit muunnetaan.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Kaksi reittiä koulutettuun toimintamalliin

Videomaailmamallit: uusin kerros ja vähiten mitattu

DreamGenin taustalla oleva ajatus on, että videogeneratiivinen malli, joka on mukautettu kohderobotin ruumiillistumaan, voi kuvitella uskottavia jaksoja kohtauksissa, joissa et ole koskaan käynyt. Putkilinjassa on neljä vaihetta: hienosäädä videomaailmamalli, generoi fotorealistisia synteettisiä robottivideoita, palauta pseudo-toimintajaksot latentin toimintamallin tai käänteisen dynamiikkamallin avulla ja kouluta sitten robottipolitiikka tuloksen perusteella. NVIDIA:n GR00T-dreams-repositorio toteuttaa juuri tämän.

Otsikkotulos on todellinen ja vakavasti otettava: teleoperaatiodata vain yhdestä poimi-ja-aseta-tehtävästä yhdessä ympäristössä tuotti 22 uutta käyttäytymismallia humanoidille, sekä nähdyissä että näkemättömissä ympäristöissä. Varoitus on yhtä todellinen ja sijaitsee kolmannessa vaiheessa.

Yhteisharjoittelu on resepti, joka todella tuottaa hyötyä

Jos otat yhden operatiivisen opetuksen kirjallisuudesta, ota tämä. Simulaation ja todellisuuden yhteiskoulutustutkimus (Maddukuri ja kollegat, 2025) pyrki löytämään yksinkertaisen reseptin simulaatiodatan käyttämiseen näköpohjaisten robottimanipulaatiotehtävien ratkaisemiseen kahdella alueella, robottikäsivarrella ja humanoidilla, ja sen johtopäätös on, että koulutat seoksella. Simulaatiodata paransi todellisen maailman tehtävän suorituskykyä keskimäärin 38 prosentilla, ja julkaisu toteaa selkeästi, että tämä päti jopa huomattavilla eroilla simulaation ja todellisen maailman datan välillä.

Tuo viimeinen lause on tärkeämpi kuin 38 prosenttia. Se tarkoittaa, että simulaation ei tarvitse olla täydellinen digitaalinen kaksonen ollakseen hyödyllinen, kunhan todellinen data on mukana seoksessa ankkuroimassa sitä. Vain simulaatioon perustuva siirto on kallis tie: sama julkaisu toteaa, että toimintamallin kouluttaminen pelkästään simulaatiossa ja sen siirtäminen todelliseen maailmaan vaatii usein huomattavaa ihmistyötä todellisuuseron kuromiseksi umpeen. Yhteiskoulutus ohittaa suurimman osan tästä vaivasta, koska se ei koskaan pyydä toimintamallia kuromaan eroa umpeen yksin.

Käytännössä tällä alustalla yhteiskoulutus tarkoittaa yhtä asiaa: laita molemmat jaksosarjat samaan LeRobot-aineistoon johdonmukaisilla kameran avaimilla, johdonmukaisella niveljärjestyksellä ja johdonmukaisilla yksiköillä, ja suorita sitten normaali hienosäätö. Koulutuslomakkeessa ei ole sekoitussuhdevipu. Jos haluat 3:1 simulaatio-todellisuus-suhteen, ilmaiset sen sillä, kuinka monta jaksoa kumpaakin laitat aineistoon.

Edullisin voitto simulaatiosta ei ole harjoitusdataa

Se on arviointi. Kymmenien todellisten kokeiden suorittaminen tehtävää kohden kahden vertailu vie päivän robottivarren käyttöaikaa, ja varsi ajautuu kokeiden välillä. SIMPLER (Li ja kollegat, 2024) rakensi simuloituja ympäristöjä, joiden tarkoituksena on arvioida todellisia toimintatapoja niiden kouluttamisen sijaan, ja mittasi sitten, kuinka hyvin simulaation sijoitus ennustaa todellista. Yksi SIMPLER-ympäristö renderöi 3 500 simulaatioaskelta sekunnissa kuluttajaluokan RTX 4090 -näytönohjaimella 640 x 512 resoluutiolla, mikä 500 Hz:n simulaatiotaajuudella on 7-kertainen nopeus todelliseen arviointiin verrattuna.

Nämä ovat keskiarvoja kolmesta Google Robot -tehtäväryhmästä kuudelle yleiselle avoimen lähdekoodin tarkistuspisteelle: kolme RT-1-tarkistuspistettä eri harjoitusvaiheissa, RT-1-X, RT-2-X ja Octo-Base. Todellinen puoli ei ole tasainen kokeiden määrä, mikä on hyvä tietää ennen kuin sitä lainaa: 75 koetta kokistölkin poimimiseen, 60 lähelle siirtämiseen, 54 laatikon avaamiseen ja sulkemiseen sekä 27 pidempään laatikko- ja omenatehtävään. Vertailu validointi-MSE:hen on hyödyllinen osa. Mallin valinta validointihäviön perusteella sijoittaa nämä tarkistuspisteet huonosti, ja Pearsonin r-arvo 0.924 visuaalisen vastaavuuden (visual matching) perusteella tarkoittaa, että jos tarkistuspiste saa paremman tuloksen SIMPLERissä, se saa erittäin todennäköisesti paremman tuloksen myös todellisessa testissä. Tämä on toistettavissa oleva yön yli -tulostaulu, eikä se vaadi sinua uskomaan mitään simulaatiosta todellisuuteen siirtyvään harjoitussiirtoon.

Jos haluat laajemman kontekstin siitä, mitä nämä vertailuarvot kertovat ja eivät kerro , kirjoitimme siitä erikseen .

Missä tämä alusta ei auta sinua

Rajojen selkeä määrittely säästää kaikkien aikaa. AY-Robots on tallennus-, koulutus- ja palvelualusta. Siinä ei ole simulaattoria.

• Ei Isaac Labia, ei MimicGeniä, ei maailmamallia, ei kohtauksen luomista. Jos haluat generoituja tietoja, generoitu ne muualla ja tuo tulos.
• Kouluttajat käyttävät LeRobot-aineistoja eivätkä mitään muuta. Simulaattorin vienti on muunnettava ennen kuin se on syöte, ja sen on oltava oikea versio: v2.0 tai v2.1 GR00T N1.5:lle ja N1.7:lle, v3.0 Pi0.5:lle, SmolVLAlle ja ACT:lle.
• GR00T:n hienosäädön aloituspiste on tyro CLI, joka ei paljasta siementä, joten GR00T-ajot eivät ole bitti-tarkasti toistettavissa. Jos suoritat huolellista simulaatio-versus-todellisuus-ablaatiota, tämä on todellinen rajoitus. lerobotin oma oletussiementä on 1000, ja ACT:n, SmolVLA:n ja Pi0.5:n muodot paljastavat siemenkentän.
• Gradientin akkumulaatiota sovelletaan vain kahdelle GR00T-kouluttajalle. Pi0.5:lle ja SmolVLAlle kenttä on olemassa lomakkeessa, mutta lerobot 0.5.1:ssä ei ole tällaista lippua, joten se ei tee mitään.
• Päättelyn on oltava servojen vieressä nopeita tehtäviä varten. Ohjaussilmukka on 20–485 ms per toimintavaihe mallista riippuen, ja julkisen internetin edestakaisten matkojen lisääminen muuttaa toimivan käytännön epäröiväksi. Etäpäättely on käyttökelpoista hitaaseen poiminta- ja sijoitustehtävään, ei nopeaan reaktiiviseen liikkeeseen.

Budjetti, jonka voit puolustaa

Aseta kaksi polkua vierekkäin niiden lukujen kanssa, jotka kumpikin todellisuudessa julkaisee, ja päätös syntyy yleensä itsestään yksittäisen tehtävän projektissa edullisella varrella.

Ensimmäistä SO-100-politiikkaa varten, tallenna. The ja vievät sinut valmiiseen tarkistuspisteeseen kahvin hinnalla, ja sinulla on todellinen puoli kaikista tulevista yhteiskoulutussekoituksista. Käytä simulaattoria, kun sinulla on toimiva perustaso ja tietty yleistymisvirhe, jonka voit nimetä, kuten politiikka, joka .

Resepti, joka kunnioittaa todisteita

1. 1
   Tallenna todellinen perusviiva ensin

   30 jaksoa SmolVLA:lle, 50 ACT:lle, GR00T N1.7:lle ja Pi0.5:lle. Harjoita kerran. Se, missä kyseinen toimintamalli epäonnistuu, on synteettisen datan spesifikaatiosi.

2. 2
   Nimeä yleistymisen epäonnistuminen

   Objektin asento? Valaistus? Pöydän korkeus? Häiriötekijät? Ohjeen erilainen muotoilu? Synteettinen data on hyvä vain yhdessä näistä kerrallaan, ja hyödytön, jos et osaa sanoa missä.

3. 3
   Valitse halvin perhe, joka kattaa sen

   Asennon ja asettelun vaihtelu: trajektorien monistaminen. Valaistus ja tekstuurit: ensin kuvien augmentointi, toisena maailmamalli. Kokonaan uudet kohtaukset: fysiikan simuloinnit, ja hyväksy mallinnuskustannukset.

4. 4
   Generoi, sitten heitä aggressiivisesti pois

   Generointiyritykset epäonnistuvat, ja Isaac Labin oma ehdokkaan onnistumisprosentti vaihtelee 70 prosentista alle 1 prosenttiin tehtävästä riippuen. Säilytä vain onnistuneet, tehtävän suorittavat trajektorit, ja tarkista näyte videona ennen kuin luotat erään.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Yhteisharjoita, älä korvaa

   Yhdistä generoidut jaksot todellisiin jaksoihin yhdeksi LeRobot-aineistoksi identtisillä kameran avaimilla ja niveljärjestyksellä. 38 prosentin luku on yhteisharjoittelun luku.

6. 6
   Arvioi todellisella varrella, ja vain siinä

   Simuloitu arviointi on hyvä sijoitussignaali (Pearson r 0.924 SIMPLERin visuaalisen vastaavuuden asetelmassa), mutta se ei ole hyväksymistesti. Suorita tarkistuspiste penkillä ennen kuin uskot siihen.

Jos haluat mieluummin aloittaa todellisten tallenteiden tarkistuslistasta, tiedonkeruuopas kattaa kameran sijoittelun, toimintojen paloittelun vaikutukset ja vikatilat, jotka tekevät jäljittelyoppimisen aineistosta käyttökelvottoman. Tiedot itse formaatista löytyvät aineiston dokumentaatiosta, ja hyperparametrien puoli harjoittelun dokumentaatiosta.