Sintetički podaci za robotske politike: Gde simulacija pomaže

Svakih nekoliko meseci neko shvati da je snimanje pedeset epizoda ručno sporo, i pita se da li bi simulator mogao da ih proizvede umesto toga. To je pošteno pitanje. Iskren odgovor ima tri dela: generisani podaci pomažu, ne zamenjuju stvarne snimke, a odnos između te dve činjenice u potpunosti zavisi od toga koju vrstu sintetičkih podataka mislite.

Ova stranica prolazi kroz ono što je objavljeni rad zapravo izmerio, šta možete pokrenuti danas na jeftinoj ruci kao što je SO-100, i gde jaz između simulacije i stvarnosti "pojede" dobitke. Kratka verzija, pre detalja: sistemi koji prijavljuju najveće multiplikatore umnožavaju mali skup stvarnih ljudskih demonstracija. Oni ne uklanjaju potrebu za njima.

Četiri različite stvari se nazivaju sintetičkim podacima

Pre nego što uporedimo brojeve, vredi razdvojiti porodice, jer rad koji izveštava o 100x multiplikatoru i rad koji izveštava o dobitku od 5 poena u uspešnosti često opisuju isti proces sa različitih krajeva. Zajednička nit je da je nešto u LeRobot dataset je proizvedeno mašinski, a ne snimljeno sa fizičke ruke. Ono što se razlikuje je koji deo.

Samo prva tri su sintetički podaci u smislu na koji se ovaj članak odnosi. Četvrto vredi pomenuti jer se svrstava u isti razgovor i daleko je najjeftinija stvar na listi. Ako već niste uključili augmentacije koje dolaze sa vašim trenerom, uradite to pre nego što instalirate simulator.

Šta objavljeni brojevi zapravo govore

Evo baze dokaza, sa brojevima onako kako ih izvori navode, a ne kako ih saopštenja za štampu sumiraju. Svaki red ispod potiče iz rada ili stranice projekta pročitanog 23. avgusta 2026.

Obrazac u svakoj poštenoj ablaciji je isti. Sintetički podaci jeftino proširuju pokrivenost. Ne stvara informacije o vašem hvataču, opuštanju servo motora, osvetljenju ili visini stola koje već negde nisu bile prisutne u stvarnim demonstracijama. Ako vaša politika zakaže jer se krajnji efektor zatvara pola sekunde prekasno, nikakva količina simuliranih varijacija to ne može popraviti. To je problem sa tajmingom hvatača u stvarnim snimcima.

Jedno otkriće MimicGen-a vredi primeniti u sopstvenim sesijama snimanja, jer se kosi sa uobičajenim savetima. Projekat je generisao dva skupa podataka na Square D2, jedan sa 10 demonstracija od strane ljudskog operatera boljeg kvaliteta i jedan sa 10 demonstracija od strane operatera lošijeg kvaliteta, oba preuzeta iz robomimic multi-human Square skupa podataka. Politike obučene na svakom od njih postigle su uporedive rezultate, što su autori protumačili kao znak da u režimu velikih skupova podataka kvalitet podataka možda nije toliko bitan. Pažljivo pročitajte, to je izjava o deset početnih demonstracija, a ne o vaših pedeset stvarnih epizoda. To znači da blago neuredan početni skup nije ono što stoji između vas i upotrebljivog generisanog skupa podataka. To ne znači da stvarne epizode na kojima ko-trenirate mogu biti neuredne, jer one nose informacije koje simulator nema.

Sim-to-real jaz, konkretno

Jaz se obično diskutuje kao jedna veličina, što nije od pomoći. To je najmanje pet zasebnih neusklađenosti, i one imaju različite veličine na hobi ruci od 110 do 150 EUR nego na Franki.

• Kontakt i trenje. Isaac Lab jasno navodi da je, s obzirom na isti hardver i istu verziju Isaac Sim-a i PhysX-a, simulacija reproduktivna, ali da se rezultati razlikuju na različitim hardverskim konfiguracijama zbog preciznosti pokretnog zareza i grešaka zaokruživanja, i da PhysX ne garantuje determinizam za bilo koju scenu sa nekrutim telima kao što su tkanina ili meka tela.
• Aktuacija. Feetech STS3215 bus servo koji radi na 7.4 V popušta pod opterećenjem, ima zazor i menja ponašanje kako se zagreva. MJCF model za SO-101 pozajmljuje svoje parametre motora iz nepovezanog projekta umesto da ih identifikuje na vašoj ruci.
• Renderovanje. Šum kamere, rolling shutter, auto-ekspozicija i tačna nijansa vašeg stola nisu u renderu. Ovo je polovina jaza koju je Cosmos-Transfer1 izgrađen da zatvori: njegov radni tok augmentacije robotike preslikava jedan sintetički primer robotike na više realističnih primera iz segmentacije, dubine ili uslovljavanja ivica.
• Vreme. Simulator radi u fiksnim koracima. Prava kontrolna petlja ne radi, a sam model košta 20 do 485 ms po koraku akcije u zavisnosti od toga koji ste odabrali. Pogledajte kašnjenje inferencije.
• Statistika objekata. Simulirane scene su uzorkovane iz distribucije koju je neko zapisao. Vaš kuhinjski sto nije.

Šta simulirani SO-100 zapravo zna o vašoj ruci

Ovo je deo koji odlučuje da li je išta od navedenog vredno vašeg vikenda, a prvo iznenađenje je da SO-100 i SO-101 nisu jednako podržani. TheRobotStudio-ov SO-ARM100 repozitorijum čuva svoje simulacione resurse pod Simulation/. SO100 folder sadrži jednu URDF datoteku i ništa više. SO101 folder sadrži i URDF i MuJoCo datoteke: scene.xml, so101_new_calib.xml, so101_old_calib.xml, odgovarajuće URDF-ove i joints_properties.xml. Ako želite fizički model umesto kinematičkog lanca, želite SO-101 datoteke.

Generisani su pomoću onshape-to-robot plugina iz CAD modela dizajniranog u Onshape-u, što znači da su kinematika i vizuelne mreže jednako dobre kao i CAD. Dinamika je druga priča, a README samog repozitorijuma je iskren o tri stvari. Osnovne mreže za koliziju su uklonjene zbog problematičnog ponašanja pri koliziji tokom simulacije i planiranja. Svojstva motora STS3215 su adaptirana iz projekta Open Duck Mini, a ne izmerena na SO-101. I konvencija hvataljke LeRobot, gde je 0 potpuno zatvoreno, a 100 potpuno otvoreno, eksplicitno još uvek nije reflektovana u URDF i MuJoCo fajlovima. Svaka od ovih stvari je mesto gde će se politika obučena isključivo u tom modelu ponašati drugačije na vašem stolu.

Randomizacija domena i šta ona ne popravlja

Standardni odgovor na jaz je da prestanemo da pokušavamo da se podudaramo sa stvarnošću i umesto toga treniramo preko dovoljno široke distribucije da stvarnost padne unutar nje. Tobin i kolege su pokazali snažnu verziju ovoga 2017. godine: detektor objekata obučen samo na simuliranim slikama sa nerealističnim nasumičnim teksturama, bez ikakvog pre-treninga na stvarnim slikama, lokalizovao je stvarne objekte sa tačnošću od 1.5 cm i ostao robustan na distraktore i delimične okluzije.

Isaac Lab izlaže istu ideju kao i uslovi događaja koje prilažete konfiguraciji okruženja. Ovo su kontrole, po njihovim stvarnim nazivima funkcija u isaaclab.envs.mdp, tako da ih možete pročitati umesto da nagađate.

Evo ograničenja, i to je ono na šta ljudi nailaze. Randomizacija proširuje distribuciju koju je politika videla unutar modela koji ste izgradili. Ne može uvesti fizički efekat koji simulator ne predstavlja. Ako PhysX ne modeluje zazor i termičko opuštanje vaših STS3215 servo motora, randomizacija njihove krutosti ne uči politiku ništa o zazoru. Zato ruka koja se pod politikom obučenom u simulaciji nije problem budžeta randomizacije. To je problem modelovanja.

Ručni put: generisanje podataka u Isaac Lab-u

Isaac Gym je zastareli softver. NVIDIA-ina stranica nosi naslov „Isaac Gym – sada zastarelo“ i navodi da programeri mogu da ga preuzmu i nastave da koriste, ali da više nije podržan, upućujući umesto toga na Isaac Lab. Ako želite istoriju, pokrili smo oba: i . Za novi rad u 2026. godini, počnite sa Isaac Lab-om.

1. 1
   Instalirajte Isaac Sim i Isaac Lab

   Stranica za pip instalaciju navodi da su uputstva za Isaac Sim 5.X, koji zahteva Python 3.11. Kloniranje izvornog koda vam daje skripte koje su potrebne za sledeće korake.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Snimite oko deset ljudskih demonstracija

   Dokumentacija Isaac Lab-a je specifična: potrebno je oko 10 uspešnih demonstracija da bi sledeći koraci uspeli. Njegovi saveti su podjednako specifični. Neka demonstracije budu kratke, idite direktnim putem umesto da se krećete po proizvoljnim osama i ne pauzirajte, jer politici nije očigledno zašto i kada treba pauzirati.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anotirajte granice podzadataka

   Mimic deli ulazne demonstracije na podzadatke kako bi mogao da ponovo tempira i ponovo cilja segmente. Zastavica --auto to radi bez ljudske intervencije za zadatke koji definišu automatsku anotaciju; bez nje pauzirate sa B, nastavljate sa N i označavate granicu sa S. Imajte na umu da ID zadatka dobija sufiks -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Generišite umnoženi skup podataka

   Ovo je korak koji pretvara 10 u 1000. Mimic primenjuje kriterijum boolean uspeha na svakog kandidata i zadržava samo one koji su završili zadatak, tako da je broj izlaza manji od broja pokušaja. Dokumentacija navodi da je stopa uspešnosti kandidata čak 70 procenata u jednostavnim slučajevima i ispod 1 procenta za teške zadatke i složene robote: oko 50 procenata za Franka slaganje kocki, i 65 do 80 procenata za GR1T2 podizanje i postavljanje, gde 1000 demonstracija traje 18 do 40 minuta (19 minuta na RTX ADA 6000 sa 80 procenata).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Konvertujte HDF5 u LeRobot skup podataka

   Sve navedeno proizvodi HDF5 u robomimic stilu, a Isaac Lab jezgro ne isporučuje sopstveni LeRobot konverter: njegova dokumentacija samo kaže da generisani skup podataka možete konvertovati u LeRobot format. Dva projekta obezbeđuju stvarni konverter. IsaacLab-Arena isporučuje onaj ciljan na GR00T, vođen u potpunosti YAML konfiguracijom, a LeIsaac isporučuje sopstveni par za SO-101 rutu (pogledajte dole).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Zašto pokušaji generisanja ne uspevaju i šta promeniti

Stopa uspešnosti kandidata koja varira između 70 procenata i ispod 1 procenta nije misterija, i Isaac Lab dokumentuje uobičajene zamke umesto da vas ostavlja da nagađate. Svaka od njih je nešto što kontrolišete u trenutku snimanja, zbog čega se isplati pročitati ovu listu pre nego što snimite deset početnih demonstracija, a ne nakon prvog razočaravajućeg pokretanja generisanja.

• Demonstracije su preduge. Duži vremenski horizont je teži za učenje politike. Počnite blizu prvog objekta i minimizujte kretanje.
• Demonstracije nisu glatke. Nepravilno kretanje je teško za politiku da dešifruje, a bolji hardver za teleoperaciju daje bolje podatke: dokumentacija jasno kaže da SpaceMouse nadmašuje tastaturu.
• Pauze. Pauze je teško naučiti, jer politici nije očigledno zašto i kada treba pauzirati. Održavajte kretanje tečnim.
• Previše podzadataka. Više podzadataka znači više spajanja između segmenata putanje, što rezultira manje glatkim kretanjem i nižom stopom uspešnosti generisanja. Anotirajte granice gde je malo verovatno da će se ruka sudariti sa bilo čim.
• Bez šuma akcije. Šum akcije čini rezultirajuće politike robusnijim.
• Snimanje previše skraćeno. Ako se snimanje zaustavi na tačnom frejmu kada se okida uslov uspeha, možda se neće ponovo aktivirati tokom ponovnog pokretanja. Ostavite bafer na kraju.
• Nedeterminističko ponovno pokretanje. Fizika u Isaac Lab-u nije deterministički reprodukovana preko env.reset, tako da neke ljudske demonstracije ne uspevaju pri ponovnom pokretanju. Sakupite više nego što vam je potrebno i zadržite one koje prežive anotaciju. Sve što dospe u Mimic-generisanu HDF5 datoteku je uspešna demonstracija i može se koristiti za obuku čak i ako ponovno pokretanje kasnije ne uspe.

Korak interpolacije između spojenih segmenata podzadataka ima sopstveni regulator, a broj koraka interpolacije koji su vam potrebni zavisi od toga koliko se brzo robot kreće i koliko je široka distribucija resetovanja objekta. Složen zadatak sa velikom distribucijom resetovanja ostavlja veće praznine između segmenata, što zahteva više koraka interpolacije da bi se dobilo kontinuirano kretanje. Ako vaši generisani video snimci pokazuju da se ruka trza između faza, to je parametar koji treba pogledati pre nego što okrivite početne demonstracije.

Isti cevovod na SO-101, sa stvarnom vodećom rukom

Ovo je zanimljiv deo za svakoga ko čita ovu stranicu, jer je to jedini otvoreni pipeline koji postavlja unutar Isaac Laba i omogućava vam da ga vozite fizičkom vodećom rukom koju već posedujete. LeIsaac, verzija 0.4.0 u trenutku pisanja, zvanično je simulaciono okruženje za učenje imitacijom integrisano u LeRobotov EnvHub. Njegova tabela kompatibilnosti navodi tri radne kombinacije; najnovija uparuje Isaac Sim 5.1 sa Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 i Python 3.11, a dokumentacija preporučuje Isaac Sim 5.0 ili noviji za kartice serije 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Sa tim podešavanjem, vodeća ruka na /dev/ttyACM0 pokreće simuliranog pratioca i snima direktno u HDF5. Petlja je ista ona koju već znate iz stvarnog snimanja, samo je pratilac kruto telo u PhysX-u.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Većina tih ID-jeva takođe postoji kao -Direct-v0 varijanta, i python scripts/environments/list_envs.py ispisuje trenutnu listu. Takođe možete u potpunosti preskočiti HDF5 zaobilaznicu i pisati LeRobot format tokom teleoperacije dodavanjem tri zastavice. Dva upozorenja dolaze iz same dokumentacije: snimač automatski preskače prvih 5 frejmova svake epizode kako bi se izbegla nestabilnost početnih stanja, i može izazvati blaga kašnjenja u teleoperaciji, što je upravo ono što tiho menja karakter vaših demonstracija. Takođe, ispisuje epizode samo kada je zadatak označen kao uspešan.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Korak množenja se zatim izvršava na tim snimcima. LeIsaac obuhvata Isaac Lab Mimic u četiri komande, jer Mimic generalizuje putanje iz poza krajnjeg efektora i objekta: konvertujte akcije u zglobnom prostoru u akcije zasnovane na IK, anotirajte, generišite, a zatim konvertujte nazad u zglobni prostor.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Zatim konvertujte u LeRobot. Ovo je korak gde pravilo formata platforme dolazi do izražaja, a LeIsaac isporučuje tačno dva konvertera koja su vam potrebna: isaaclab2lerobot.py piše LeRobot v2, što je ono što GR00T učitavači prihvataju, a isaaclab2lerobotv3.py piše v3 za Pi0.5, SmolVLA i ACT. Ova dva skripta prihvataju identične argumente, ali koriste različite verzije lerobot-a, i samo uspešne epizode se konvertuju.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dva puta do obučene politike

Video modeli sveta: najnoviji sloj, i najmanje meren

Ideja iza DreamGen-a je da video generativni model, prilagođen ciljnom robotskom otelotvorenju, može zamisliti verodostojne epizode u scenama koje nikada niste posetili. Pipeline ima četiri faze: fino podešavanje video modela sveta, generisanje fotorealističnih sintetičkih robotskih video zapisa, oporavak pseudo-akcionih sekvenci sa latentnim akcionim modelom ili modelom inverzne dinamike, a zatim obuka robotske politike na rezultatu. NVIDIA-in GR00T-dreams repozitorijum implementira upravo to.

Glavni rezultat je stvaran i vredan ozbiljnog razmatranja: podaci o teleoperaciji iz samo jednog zadatka preuzimanja i postavljanja u jednom okruženju proizveli su 22 nova ponašanja na humanoida, kako u viđenim tako i u neviđenim okruženjima. Upozorenje je podjednako stvarno i nalazi se u trećoj fazi.

Ko-trening je recept koji zapravo pokazuje dobitke

Ako iz literature izvučete jednu operativnu lekciju, neka to bude ova. Studija ko-treninga simulacije i stvarnosti (Maddukuri i kolege, 2025) imala je za cilj da pronađe jednostavan recept za korišćenje simulacionih podataka za rešavanje robotskih manipulacionih zadataka zasnovanih na viziji, u dve domene, robotskoj ruci i humanoida, a njen zaključak je da se trenira na mešavini. Simulacioni podaci su poboljšali performanse zadataka u stvarnom svetu u proseku za 38 procenata, a rad eksplicitno navodi da je to važilo čak i uz značajne razlike između simulacije i podataka iz stvarnog sveta.

Ta poslednja klauzula je važnija od 38 procenata. To znači da simulacija ne mora biti savršen digitalni blizanac da bi bila korisna, pod uslovom da su stvarni podaci u mešavini da je usidre. Prenos samo iz simulacije je skup put: isti rad navodi da obuka politike isključivo u simulaciji i prenos na stvarni svet često zahteva značajan ljudski napor da se premosti jaz stvarnosti. Ko-trening preskače većinu tog napora tako što nikada ne traži od politike da sama zatvori jaz.

Praktično, na ovoj platformi, ko-trening znači jedno: stavite oba skupa epizoda u isti LeRobot skup podataka sa doslednim ključevima kamere, doslednim redosledom zglobova i doslednim jedinicama, zatim pokrenite normalno fino podešavanje. Ne postoji dugme za težinu mešavine u formi za obuku. Ako želite odnos simulacije i stvarnosti 3:1, to izražavate brojem epizoda svakog tipa koje stavite u skup podataka.

Najjeftinija pobeda iz simulacije nije podatak za obuku

To je evaluacija. Pokretanje desetina stvarnih proba po zadatku za poređenje dva je dan rada ruke, a ruka se pomera između proba. SIMPLER (Li i kolege, 2024) je izgradio simulirana okruženja čija je svrha ocenjivanje stvarnih politika, a ne njihovo obučavanje, a zatim je izmerio koliko dobro rangiranje simulacije predviđa stvarno. Jedno SIMPLER okruženje se renderuje brzinom od 3.500 simulacionih koraka u sekundi na potrošačkoj RTX 4090 kartici pri rezoluciji 640 sa 512, što pri frekvenciji simulacije od 500 Hz predstavlja ubrzanje od 7x u odnosu na stvarnu evaluaciju.

To su proseci preko tri grupe zadataka Google Robota za šest uobičajenih otvorenih kontrolnih tačaka: tri RT-1 kontrolne tačke u različitim fazama obuke, RT-1-X, RT-2-X i Octo-Base. Stvarna strana nema uniforman broj proba, što je važno znati pre nego što je citirate: 75 proba za podizanje limenke koka-kole, 60 za pomeranje blizu, 54 za zadatke otvaranja i zatvaranja fioke i 27 za duži zadatak fioke i jabuke. Poređenje sa validacionim MSE je koristan deo. Odabir modela putem validacionog gubitka loše rangira ove kontrolne tačke, a Pirsonov r od 0.924 pod vizuelnim podudaranjem znači da ako kontrolna tačka postiže bolje rezultate u SIMPLER-u, vrlo verovatno postiže bolje rezultate i na testu. To je ponovljiva noćna tabela rezultata i ne zahteva da verujete u bilo šta o sim-to-real transferu obuke.

Ako želite širi kontekst o tome šta vam ovi brojevi benčmarka govore, a šta ne govore o , to smo posebno opisali u .

Gde vam ova platforma ne pomaže

Jasnoća o granicama štedi svima vreme. AY-Robots je platforma za snimanje, obuku i posluživanje. Nema ugrađen simulator.

• Nema Isaac Lab-a, nema MimicGen-a, nema svetskog modela, nema autorizacije scene. Ako želite generisane podatke, generišete ih negde drugde i donosite rezultat.
• Treneri koriste LeRobot skupove podataka i ništa drugo. Izvoz iz simulatora mora biti konvertovan pre nego što postane ulaz, i mora biti ispravne verzije: v2.0 ili v2.1 za GR00T N1.5 i N1.7, v3.0 za Pi0.5, SmolVLA i ACT.
• GR00T-ova ulazna tačka za fino podešavanje je tyro CLI koji ne eksponira seed, tako da GR00T pokretanja nisu reprodukovana bit-za-bit. Ako sprovodite pažljivu sim-versus-real ablaciju, to je stvarno ograničenje. lerobot-ov podrazumevani seed je 1000, a ACT, SmolVLA i Pi0.5 forme eksponiraju polje za seed.
• Akumulacija gradijenta se zapravo primenjuje samo za dva GR00T trenera. Za Pi0.5 i SmolVLA polje postoji u formi, ali lerobot 0.5.1 nema takvu zastavicu, tako da ne radi ništa.
• Inferencija mora biti pored servo motora za brze zadatke. Kontrolna petlja je 20 do 485 ms po koraku akcije u zavisnosti od modela, a dodavanje javnih internet povratnih putovanja pretvara funkcionalnu politiku u oklevajuću. Daljinska inferencija je izvodljiva za sporo podizanje i postavljanje, ne za brzo reaktivno kretanje.

Budžet koji možete da odbranite

Stavite dve putanje jednu pored druge sa brojevima koje svaka zapravo objavljuje, i odluka se obično sama nameće za projekat sa jednim zadatkom na jeftinoj ruci.

Za prvu politiku na SO-100, snimajte. uputstvo za snimanje i prvo pokretanje obuke će vas dovesti do posluženog kontrolnog punkta po ceni kafe, i imaćete stvarnu polovinu bilo koje buduće mešavine za zajedničku obuku. Posegnite za simulatorom kada imate radnu osnovnu liniju i specifičan neuspeh generalizacije koji možete imenovati, kao što je politika koja radi samo u jednom podešavanju.

Recept koji poštuje dokaze

1. 1
   Prvo snimite stvarnu početnu vrednost

   30 epizoda za SmolVLA, 50 za ACT, GR00T N1.7 i Pi0.5. Trenirajte jednom. Sve u čemu ta politika ne uspeva je vaša specifikacija za sintetičke podatke.

2. 2
   Imenujte neuspeh generalizacije

   Položaj objekta? Osvetljenje? Visina stola? Distraktori? Drugačija formulacija instrukcije? Sintetički podaci su dobri u tačno jednoj od ovih stvari istovremeno, i beskorisni ako ne možete reći u kojoj.

3. 3
   Izaberite najjeftiniju porodicu koja to pokriva

   Varijacija položaja i rasporeda: umnožavanje putanja. Osvetljenje i tekstura: prvo augmentacija slike, drugo model sveta. Potpuno nove scene: fizičke simulacije, i prihvatite troškove modelovanja.

4. 4
   Generišite, pa agresivno odbacite

   Pokušaji generisanja ne uspevaju, a stopa uspešnosti kandidata Isaac Laba kreće se od 70 procenata do ispod 1 procenta u zavisnosti od zadatka. Zadržite samo uspešne putanje koje završavaju zadatak i vizuelno pregledajte uzorak kao video pre nego što verujete celoj seriji.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Ko-trenirajte, ne zamenjujte

   Spojite generisane epizode sa stvarnim u jedinstveni LeRobot skup podataka sa identičnim ključevima kamere i redosledom zglobova. Broj od 38 procenata je podatak o ko-treningu.

6. 6
   Evaluirajte na stvarnoj ruci, i samo tamo

   Simulirana evaluacija je dobar signal za rangiranje (Pearson r 0.924 u SIMPLER-ovom vizuelno-podudarnom podešavanju), ali to nije test prihvatanja. Pokrenite kontrolnu tačku na testnom stolu pre nego što joj poverujete.

Ako biste radije počeli od kontrolne liste za same stvarne snimke, pokriva postavljanje kamere, implikacije i režime kvara koji čine skup podataka neupotrebljivim. Detalji o samom formatu nalaze se u , a strana hiperparametara u .