Sünteetiline andmestik robotpoliitikate jaoks: kus simulatsioon aitab

Mõne kuu tagant keegi avastab, et viiekümne episoodi käsitsi salvestamine on aeglane, ja küsib, kas simulaator saaks neid hoopis toota. See on õigustatud küsimus. Aus vastus koosneb kolmest osast: genereeritud andmed aitavad, need ei asenda tegelikke salvestisi ja nende kahe fakti suhe sõltub täielikult sellest, millist tüüpi sünteetilisi andmeid te silmas peate.

See leht käsitleb seda, mida avaldatud töö tegelikult mõõtis, mida saate täna käitada madala hinnaga robotkäel, näiteks SO-100, ja kus sim-to-real lõhe sööb kasu ära. Lühiversioon, enne üksikasju: süsteemid, mis teatavad suurimatest kordajatest, korrutavad väikese hulga tegelikke inimdemonstratsioone. Need ei kõrvalda nende vajadust.

Neli erinevat asja nimetatakse sünteetilisteks andmeteks

Enne numbrite võrdlemist tasub perekonnad eraldada, sest paber, mis teatab 100-kordsest kordajast ja paber, mis teatab 5-punktilisest edu kasvust, kirjeldavad sageli sama torujuhet erinevatest otstest. Ühine joon on see, et midagi LeRoboti andmestikus tootis masin, mitte ei salvestatud füüsiliselt käelt. Erinevus seisneb selles, milline osa.

Ainult esimesed kolm on sünteetilised andmed selles tähenduses, mida see artikkel silmas peab. Neljandat tasub mainida, sest see pakitakse samasse vestlusesse ja on kaugelt kõige odavam asi nimekirjas. Kui te pole veel sisse lülitanud laiendusi, millega teie treener kaasas on, tehke seda enne simulaatori installimist.

Mida avaldatud numbrid tegelikult ütlevad

Siin on tõendusbaas, numbritega nii, nagu allikad neid esitavad, mitte nii, nagu pressiteated neid kokku võtavad. Iga allolev rida pärineb artiklist või projekti lehelt, mis loeti 23. augustil 2026.

Iga ausa ablatsiooni muster on sama. Sünteetilised andmed laiendavad katvust odavalt. See ei loo teavet teie haaratsi, servo vajumise, valgustuse või laua kõrguse kohta, mis poleks juba kusagil reaalsetes demonstratsioonides olemas olnud. Kui teie poliitika ebaõnnestub, sest otsak sulgub pool sekundit liiga hilja, siis ükski simuleeritud variatsioon seda ei paranda. See on haaratsi ajastuse probleem reaalsetes salvestistes.

Üks MimicGeni leid on väärt oma salvestussessioonidesse kaasa võtmist, sest see on vastuolus tavaliste nõuannetega. Projekt genereeris kaks andmestikku Square D2-l, millest üks oli seemendatud 10 demonstratsiooniga parema kvaliteediga inimoperaatorilt ja teine 10 demonstratsiooniga halvema kvaliteediga operaatorilt, mõlemad võetud robomimic multi-human Square andmestikust. Mõlemal treenitud poliitikad saavutasid võrreldavaid tulemusi, mida autorid tõlgendasid märgina, et suuremahuliste andmete režiimis ei pruugi andmete kvaliteet nii palju lugeda. Lugege hoolikalt, see on väide kümne seemendemonstratsiooni kohta, mitte teie viiekümne reaalse episoodi kohta. See tähendab, et veidi räsitud seemnekomplekt ei ole see, mis seisab teie ja kasutatava genereeritud andmestiku vahel. See ei tähenda, et reaalsed episoodid, millel te kaastreeningut teete, võivad olla räsitud, sest just need kannavad teavet, mida simulaatoril ei ole.

Sim-reaalsuse lõhe, konkreetselt

Lõhet käsitletakse tavaliselt ühe suurusena, mis on ebaotstarbekas. Tegemist on vähemalt viie eraldi sobimatusega ja nende suurused on 110–150 EUR hobikäel erinevad võrreldes Franka omaga.

• Kontakt ja hõõrdumine. Isaac Lab väidab selgelt, et sama riistvara ning sama Isaac Simi ja PhysX-i versiooni korral on simulatsioon reprodutseeritav, kuid tulemused varieeruvad erinevate riistvarakonfiguratsioonide vahel ujukoma täpsuse ja ümardamisvigade tõttu ning et PhysX ei taga determinismi ühegi stseeni puhul, mis sisaldab mittejäiku kehi, nagu kangas või pehmed kehad.
• Aktuatsioon. 7.4 V juures töötav Feetech STS3215 buss-servo vajub koormuse all, sellel on lõtk ja selle käitumine muutub kuumenedes. SO-101 MJCF-mudel laenab oma mootoriparameetrid seosetust projektist, selle asemel et neid teie käel identifitseerida.
• Renderdamine. Kaamera müra, rulluv katik, automaatne säritus ja teie laua täpne toon ei ole renderduses. See on pool lõhest, mille sulgemiseks Cosmos-Transfer1 loodi: selle robootika laiendamise töövoog kaardistab ühe robootika sünteetilise näite mitmeks realistlikuks näiteks segmenteerimise, sügavuse või servade tingimuste alusel.
• Ajastus. Simulaator sammub fikseeritud kiirusega. Reaalne juhtimissilmus seda ei tee ja mudel ise maksab 20 kuni 485 ms tegevussammu kohta, sõltuvalt sellest, millise te valisite. Vaata järelduslatentsust.
• Objekti statistika. Simuleeritud stseenid on võetud jaotusest, mille keegi üles kirjutas. Teie köögilaud seda ei ole.

Mida simuleeritud SO-100 teie käe kohta tegelikult teab

See on osa, mis otsustab, kas miski eelnevast on teie nädalavahetust väärt, ja esimene üllatus on see, et SO-100 ja SO-101 ei ole võrdselt teenindatud. TheRobotStudio SO-ARM100 repositoorium hoiab oma simulatsiooniressursse kausta Simulation/. SO100 kaust sisaldab ühte URDF-faili ja mitte midagi muud. SO101 kaust sisaldab nii URDF- kui ka MuJoCo-faile: scene.xml, so101_new_calib.xml, so101_old_calib.xml, vastavaid URDF-e ja joints_properties.xml. Kui soovite füüsikamudelit kineetilise ahela asemel, siis soovite SO-101 faile.

Need genereeriti onshape-to-robot pistikprogrammiga Onshape'is disainitud CAD-mudelist, mis tähendab, et kinemaatika ja visuaalsed võrgud on sama head kui CAD. Dünaamika on teine lugu ja repositooriumi enda README on kolme asja suhtes otsekohene. Aluse kokkupõrkevõrgud eemaldati simulatsiooni ja planeerimise käigus tekkinud problemaatilise kokkupõrkekäitumise tõttu. STS3215 mootori omadused on kohandatud Open Duck Mini projektist, mitte mõõdetud SO-101 pealt. Ja LeRoboti haaratsi konventsioon, kus 0 on täielikult suletud ja 100 on täielikult avatud, ei ole veel selgesõnaliselt kajastatud URDF-i ja MuJoCo failides. Igaüks neist on koht, kus puhtalt selles mudelis treenitud poliitika käitub teie laual erinevalt.

Domeeni randomiseerimine ja mida see ei paranda

Standardne vastus sellele lüngale on lõpetada reaalsusega sobitamise katsetamine ja selle asemel treenida piisavalt laia jaotuse ulatuses, et reaalsus sellesse mahuks. Tobin ja kolleegid näitasid selle tugevat versiooni 2017. aastal: objektidetektor, mis oli treenitud ainult simuleeritud piltidel mitterealistlike juhuslike tekstuuridega, ilma igasuguse eelkoolituseta reaalsetel piltidel, lokaliseeris reaalsed objektid 1,5 cm täpsusega ja püsis vastupidav segajatele ja osalistele varjutustele.

Isaac Lab pakub sama ideed nagu sündmusterminid, mida keskkonna konfiguratsioonile lisate. Need on nupud, nende tegelike funktsiooninimede järgi isaaclab.envs.mdp, et saaksite neid lugeda, mitte oletada.

Siin on piirang ja see on see, millega inimesed komistavad. Juhuslikustamine laiendab jaotust, mida poliitika on teie ehitatud mudeli sees näinud. See ei saa sisse viia füüsilist efekti, mida simulaator ei esinda. Kui PhysX ei modelleeri teie STS3215 servode lõtku ja termilist langust, siis nende jäikuse juhuslikustamine ei õpeta poliitikale lõtku kohta midagi. Seepärast ei ole käsi, mis tõmbleb ja seejärel vajub simulaatoris treenitud poliitika all, juhuslikustamise eelarve probleem. See on modelleerimisprobleem.

Käsitsi tee: andmete genereerimine Isaac Labis

Isaac Gym on pärandvara. NVIDIA enda leht kannab pealkirja "Isaac Gym – nüüd aegunud" ja ütleb, et arendajad võivad seda alla laadida ja edasi kasutada, kuid seda enam ei toetata, viidates selle asemel Isaac Labile. Kui soovite ajalugu, oleme kajastanud mõlemat: ja . Uue töö jaoks 2026. aastal alustage Isaac Labist.

1. 1
   Installige Isaac Sim ja Isaac Lab

   Pipi installileht märgib, et juhised on mõeldud Isaac Sim 5.X jaoks, mis nõuab Python 3.11. Lähtekoodi kloon annab teile skriptid, mida järgmised sammud vajavad.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Salvestage umbes kümme inimdemonstratsiooni

   Isaac Labi dokumentatsioon on spetsiifiline: järgmiste sammude õnnestumiseks on vaja umbes 10 edukat demonstratsiooni. Selle näpunäited on samuti spetsiifilised. Hoidke demonstratsioonid lühikesed, valige otsetee, mitte ärge liikuge mööda suvalisi telgi, ja ärge peatuge, sest poliitikale ei ole ilmne, miks ja millal peatuda.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Annoteerige alamülesannete piirid

   Mimic jagab sisenddemonstratsioonid alamülesanneteks, et saaks segmente uuesti ajastada ja sihtida. Lipp --auto teeb seda ilma inimese sekkumiseta ülesannete puhul, mis defineerivad automaatse annotatsiooni; ilma selleta peatate B-ga, jätkate N-ga ja märgite piiri S-ga. Pange tähele, et ülesande ID saab -Mimic sufiksi.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Genereerige korrutatud andmestik

   See on samm, mis muudab 10-st 1000. Mimic rakendab igale kandidaadile boolean-edukriteeriumi ja säilitab ainult need, mis ülesande täitsid, seega on väljundite arv väiksem kui katsete arv. Dokumentatsioon märgib, et kandidaadi edukuse määr on lihtsate juhtumite puhul kuni 70 protsenti ja keeruliste ülesannete ning robotite puhul alla 1 protsendi: umbes 50 protsenti Franka kuubikute virnastamise puhul ja 65 kuni 80 protsenti GR1T2 korjamise ja paigutamise puhul, kus 1000 demo võtab 18 kuni 40 minutit (19 minutit RTX ADA 6000-l 80 protsendi juures).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Teisendage HDF5 LeRoboti andmestikuks

   Kõik eelnev toodab robomimic-maitselist HDF5-t ja Isaac Labi tuum ei sisalda oma LeRoboti konverterit: selle dokumendid ütlevad ainult, et võite genereeritud andmestiku LeRoboti formaati teisendada. Kaks projekti pakuvad tegelikku konverterit. IsaacLab-Arena pakub GR00T-le suunatud konverterit, mis on täielikult juhitud YAML-konfiguratsiooniga, ja LeIsaac pakub oma paari SO-101 marsruudi jaoks (vt allpool).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Miks genereerimiskatsed ebaõnnestuvad ja mida muuta

Kandidaadi edukuse määr, mis kõigub 70 protsendi ja alla 1 protsendi vahel, ei ole müsteerium ning Isaac Lab dokumenteerib tavalised vead, selle asemel et jätta teid oletama. Igaüks neist on midagi, mida te salvestamise ajal kontrollite, mistõttu tasub see nimekiri läbi lugeda enne kümne algdemonstratsiooni salvestamist, mitte pärast esimest pettumust valmistavat genereerimiskäiku.

• Demonstratsioonid on liiga pikad. Pikemat ajahorisonti on poliitikal raskem õppida. Alustage esimese objekti lähedalt ja minimeerige liikumist.
• Demonstratsioonid ei ole sujuvad. Ebaregulaarset liikumist on poliitikal raske dešifreerida ning parem teleoperatsiooni riistvara annab paremaid andmeid: dokumentatsioon ütleb selgelt, et SpaceMouse on parem kui klaviatuur.
• Pausid. Pause on raske õppida, sest poliitikale ei ole ilmne, miks ja millal peatuda. Hoidke liikumine sujuv.
• Liiga palju alamülesandeid. Rohkem alamülesandeid tähendab rohkem õmblemist trajektooride segmentide vahel, mis annab vähem sujuva liikumise ja madalama genereerimise edukuse määra. Märkige piirid, kus käsi tõenäoliselt millegagi kokku ei põrka.
• Puudub tegevusmüra. Tegevusmüra muudab saadud poliitikad robustsemaks.
• Salvestus on liiga kitsalt kärbitud. Kui salvestus peatub täpselt sellel kaadril, kus edukuse tingimus käivitub, ei pruugi see taasesituse ajal uuesti käivituda. Jätke lõppu puhver.
• Mittedeterministlik taasesitus. Isaac Labi füüsika ei ole env.reset'i puhul deterministlikult reprodutseeritav, seega mõned inimdemonstratsioonid ebaõnnestuvad taasesitusel. Koguge rohkem, kui vajate, ja hoidke alles need, mis annotatsiooni üle elavad. Kõik, mis satub Mimic-genereeritud HDF5-faili, on edukas demo ja seda saab kasutada treenimiseks, isegi kui taasesitus hiljem ebaõnnestub.

Õmmeldud alamülesannete segmentide vaheline interpoleerimisetapp on oma reguleerimisnupuga ning vajalike interpoleerimisetappide arv sõltub roboti liikumiskiirusest ja objekti lähtestusjaotuse laiusest. Keeruline ülesanne suure lähtestusjaotusega jätab segmentide vahele suuremad lüngad, mis vajab pideva liikumise saavutamiseks rohkem interpoleerimisetappe. Kui teie genereeritud videod näitavad käe tõmblemist faaside vahel, on see parameeter, mida vaadata enne, kui süüdistate algdemonstratsioone.

Sama töövoog SO-101-l, koos tegeliku juhtkäega

See on huvitav kõigile, kes seda lehte loevad, sest see on ainus avatud torujuhe, mis paigutab SO-101 Isaac Labi ja võimaldab teil seda juhtida füüsilise juhtkäega, mis teil juba on. LeIsaac, kirjutamise hetkel versioon 0.4.0, on ametlik imitatsiooniõppe simulatsiooni mänguväljak, mis on integreeritud LeRoboti EnvHubi. Selle ühilduvustabelis on loetletud kolm töötavat kombinatsiooni; uusimad ühendavad Isaac Sim 5.1 Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 ja Python 3.11-ga ning dokumendid soovitavad 50-seeria kaartidele Isaac Sim 5.0 või uuemat.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Kui see on paigas, juhib /dev/ttyACM0-l olev juhtkäsi simuleeritud järgijat ja salvestab otse HDF5-sse. Juht-järgi ahel on sama, mida te juba teate reaalsest salvestamisest, ainult järgija on PhysX-is jäik keha.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Enamik neist ID-dest eksisteerivad ka kui -Direct-v0 variant, ja python scripts/environments/list_envs.py prindib praeguse nimekirja. Samuti saate HDF5 kõrvalepõike täielikult vahele jätta ja kirjutada LeRoboti formaadis teleoperatsiooni ajal, lisades kolm lippu. Kaks hoiatust tulenevad dokumentatsioonist endast: salvestaja jätab automaatselt vahele iga episoodi esimesed 5 kaadrit, et vältida ebastabiilsust algolekutest, ja see võib põhjustada teleoperatsioonis kergeid viivitusi, mis on just see, mis vaikselt muudab teie demonstratsioonide iseloomu. See salvestab episoodid ainult siis, kui ülesanne on märgitud edukaks.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Korrutamise samm käivitub seejärel nende salvestuste peal. LeIsaac ühendab Isaac Lab Mimic'i nelja käsuga, sest Mimic üldistab trajektoore lõppefektori ja objekti asenditest: teisenda liigespõhised tegevused IK-põhisteks tegevusteks, annoteeri, genereeri, seejärel teisenda tagasi liigesruumi.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Seejärel teisendage LeRobotiks. See on samm, kus platvormi formaadireegel hakkab kehtima, ja LeIsaac juhtub tarnima täpselt kaks teisendurit, mida vajate: isaaclab2lerobot.py kirjutab LeRobot v2, mida GR00T laadurid kasutavad, ja isaaclab2lerobotv3.py kirjutab v3 jaoks Pi0.5, SmolVLA ja ACT. Kaks skripti võtavad identsed argumendid, kuid kasutavad erinevaid lerobot versioone ja teisendatakse ainult edukad episoodid.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Kaks teed treenitud poliitikani

Videomaailmamudelid: uusim kiht ja kõige vähem mõõdetud

DreamGeni idee seisneb selles, et videogeneratiivne mudel, mis on kohandatud sihtroboti kehastusele, suudab ette kujutada usutavaid episoode stseenides, mida te pole kunagi külastanud. Torujuhtmel on neli etappi: videomaailmamudeli peenhäälestamine, fotorealistlike sünteetiliste robotivideote genereerimine, pseudo-tegevusjärjestuste taastamine latentse tegevusmudeli või pöörddünaamika mudeliga, seejärel roboti poliitika treenimine tulemuse põhjal. NVIDIA GR00T-dreams repositoorium rakendab just seda.

Peamine tulemus on reaalne ja väärib tõsiselt võtmist: teleoperatsiooni andmed vaid ühest valimise ja paigutamise ülesandest ühes keskkonnas andsid humanoidile 22 uut käitumist nii nähtud kui ka nägemata keskkondades. Hoiatus on samuti reaalne ja asub kolmandas etapis.

Kaastreening on retsept, mis tegelikult kasu näitab

Kui võtate kirjandusest ühe operatiivse õppetunni, siis võtke see. Sim-ja-reaal kaastreeningu uuring (Maddukuri ja kolleegid, 2025) seadis eesmärgiks leida lihtsa retsepti simulatsiooniandmete kasutamiseks nägemispõhiste robootiliste manipulatsiooniülesannete lahendamiseks kahes valdkonnas – robotkäe ja humanoidi puhul – ning selle järeldus on, et treenida tuleb segul. Simulatsiooniandmed parandasid reaalse maailma ülesannete täitmist keskmiselt 38 protsenti ja artikkel on selgesõnaline, et see kehtis isegi märkimisväärsete erinevuste korral simulatsiooni ja reaalse maailma andmete vahel.

See viimane klausel on olulisem kui 38 protsenti. See tähendab, et simulatsioon ei pea olema täiuslik digitaalne kaksik, et olla kasulik, eeldusel, et segus on reaalne andmestik selle ankurdamiseks. Ainult simulatsioonipõhine ülekanne on kallis tee: sama artikkel väidab, et poliitika treenimine ainult simulatsioonis ja selle ülekandmine reaalsesse maailma nõuab sageli märkimisväärset inimlikku pingutust reaalsuse lõhe ületamiseks. Kaastreening jätab suurema osa sellest pingutusest vahele, kuna ei palu poliitikal kunagi lõhet iseseisvalt sulgeda.

Praktiliselt tähendab sellel platvormil kaastreening ühte asja: pange mõlemad episoodide komplektid samasse LeRobot andmestikku koos ühtsete kaameravõtmete, ühtse liigeste järjekorra ja ühtsete ühikutega, seejärel käivitage tavaline peenhäälestus. Treeningvormis puudub segu kaalu nupp. Kui soovite 3:1 sim-reaal suhet, väljendate seda sellega, kui palju episoode kumbagi andmestikku panete.

Kõige odavam võit simulatsioonist ei ole treeningandmed

See on hindamine. Kümned reaalsed katsed ülesande kohta kahe võrdlemiseks tähendab ühte päeva roboti käe tööaega ja käsi triivib katsete vahel. SIMPLER (Li ja kolleegid, 2024) ehitas simuleeritud keskkonnad, mille eesmärk on reaalsete poliitikate hindamine, mitte nende treenimine, ning seejärel mõõdeti, kui hästi simuleeritud järjestus ennustab tegelikku. Üks SIMPLER keskkond renderdab 3500 simulatsioonisammu sekundis tarbija RTX 4090-l 640x512 resolutsiooniga, mis 500 Hz simulatsioonisageduse juures on 7-kordne kiirendus võrreldes reaalse hindamisega.

Need on keskmised kolme Google Roboti ülesandegrupi kohta kuue levinud avatud lähtekoodiga kontrollpunkti puhul: kolm RT-1 kontrollpunkti erinevates treeninguetappides, RT-1-X, RT-2-X ja Octo-Base. Reaalne pool ei ole ühtlase katsete arvuga, mida tasub teada enne tsiteerimist: 75 katset kokapurki korjamiseks, 60 liigutamiseks lähedale, 54 sahtli avamise ja sulgemise ülesannete jaoks ning 27 pikema sahtli-ja-õuna ülesande jaoks. Võrdlus valideerimise MSE-ga on kasulik osa. Mudeli valik valideerimiskao järgi järjestab need kontrollpunktid halvasti ja Pearsoni r väärtus 0,924 visuaalse sobitamise korral tähendab, et kui kontrollpunkt saab SIMPLERis parema tulemuse, siis on see väga tõenäoliselt parem ka tegelikus testis. See on korratav ööpäevane tulemustabel ja see ei nõua, et te usuksite midagi sim-to-real treeningu ülekande kohta.

Kui soovite laiemat konteksti selle kohta, mida need võrdlusuuringu numbrid teile nägemis-keele-tegevuse mudeli kohta ütlevad ja mida mitte, siis kirjutasime sellest eraldi VLA ülevaates.

Milles see platvorm teid ei aita

Piiride selge määratlemine säästab kõigi aega. AY-Robots on salvestus-, treening- ja teenindusplatvorm. See ei sisalda simulaatorit.

• Ei Isaac Labi, ei MimicGeni, ei maailmamudelit, ei stseenide loomist. Kui soovite genereeritud andmeid, genereerite need mujal ja toote tulemuse siia.
• Treenerid kasutavad ainult LeRoboti andmekogumeid. Simulaatori eksport tuleb enne sisendiks saamist teisendada ja see peab olema õige versioon: v2.0 või v2.1 GR00T N1.5 ja N1.7 jaoks, v3.0 Pi0.5, SmolVLA ja ACT jaoks.
• GR00T-i peenhäälestuse alguspunkt on tyro CLI, mis ei avalda seemet, mistõttu GR00T-i käivitused ei ole täpselt reprodutseeritavad. Kui te teostate hoolikat sim-versus-reaalset ablatsiooni, on see tõeline piirang. lerobot'i enda vaike seeme on 1000 ja ACT, SmolVLA ning Pi0.5 vormid avaldavad seemne välja.
• Gradiendi akumulatsiooni rakendatakse tegelikult ainult kahe GR00T treeneri puhul. Pi0.5 ja SmolVLA puhul eksisteerib väli vormis, kuid lerobot 0.5.1-l puudub selline lipp, seega ei tee see midagi.
• Järeldus peab kiirete ülesannete jaoks asuma servode kõrval. Juhtimistsükkel on 20 kuni 485 ms tegevussammu kohta, sõltuvalt mudelist, ja avaliku interneti edasi-tagasi reiside lisamine muudab töötava poliitika kõhklevaks. Kaugjäreldus on teostatav aeglaseks valimiseks ja paigutamiseks, mitte kiireks reaktiivseks liikumiseks.

Eelarve, mida saate kaitsta

Pange kaks teed kõrvuti numbritega, mida kumbki tegelikult avaldab, ja otsus teeb end tavaliselt ise ühe ülesande projekti puhul odava robotkäe peal.

SO-100 esimese poliitika jaoks salvestage. ja viivad teid teenindatud kontrollpunkti kohvi hinnaga ja teil on olemas iga tulevase koostreeningu segu reaalne pool. Kasutage simulaatorit, kui teil on töötav baasjoon ja konkreetne üldistusviga, mida saate nimetada, näiteks poliitika, mis .

Retsept, mis arvestab tõenditega

1. 1
   Salvesta esmalt reaalne baasjoon

   30 episoodi SmolVLA jaoks, 50 ACT, GR00T N1.7 ja Pi0.5 jaoks. Treeni üks kord. See, milles see poliitika ebaõnnestub, on sinu spetsifikatsioon sünteetiliste andmete jaoks.

2. 2
   Nimeta üldistamise ebaõnnestumine

   Objekti asend? Valgustus? Laua kõrgus? Segajad? Juhise teistsugune sõnastus? Sünteetilised andmed on korraga head täpselt ühes neist ja kasutud, kui sa ei suuda öelda, millises.

3. 3
   Vali odavaim perekond, mis seda katab

   Asendi ja paigutuse variatsioon: trajektoori korrutamine. Valgustus ja tekstuur: esmalt pildi täiustamine, teiseks maailmamudel. Täiesti uued stseenid: füüsika simulatsioonid ja modelleerimiskulude aktsepteerimine.

4. 4
   Genereeri, seejärel viska agressiivselt minema

   Genereerimiskatsed ebaõnnestuvad ja Isaac Labi enda kandidaatide edukuse määr varieerub 70 protsendist alla 1 protsendi, sõltuvalt ülesandest. Hoia ainult edukad, ülesande täitvad trajektoorid ja vaata proovi videona üle, enne kui partiid usaldad.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Kaastreening, mitte asendamine

   Ühenda genereeritud episoodid reaalsetega üheks LeRobot andmestikuks identsete kaameravõtmete ja liigeste järjestusega. 38 protsendi näitaja on kaastreeningu näitaja.

6. 6
   Hinda reaalsel robotkäel ja ainult seal

   Simuleeritud hindamine on hea järjestussignaal (Pearson r 0.924 SIMPLERi visuaalse sobitamise seadistuses), kuid see ei ole vastuvõtutest. Käivita kontrollpunkt pingil, enne kui seda usud.

Kui eelistad alustada reaalsete salvestuste kontrollnimekirjast, andmete kogumise juhend käsitleb kaamera paigutust, tegevuste tükeldamist tagajärgi ja rikkerežiime, mis muudavad imitatsiooniõppe andmestiku kasutuskõlbmatuks. Teave formaadi kohta asub andmestiku dokumentatsioonis, ja hüperparameetrite pool treeningu dokumentatsioonis.