Sintetički podaci za robotske politike: Gdje simulacija pomaže

Svakih nekoliko mjeseci neko shvati da je snimanje pedeset epizoda ručno sporo, i pita se da li bi ih simulator mogao proizvesti umjesto toga. To je pošteno pitanje. Iskren odgovor ima tri dijela: generisani podaci pomažu, ne zamjenjuju stvarne snimke, a omjer između te dvije činjenice u potpunosti zavisi od vrste sintetičkih podataka na koje mislite.

Ova stranica prolazi kroz ono što je objavljeni rad zapravo izmjerio, šta možete pokrenuti danas na jeftinom robotu kao što je SO-100, i gdje jaz između simulacije i stvarnosti 'pojede' dobitke. Kratka verzija, prije detalja: sistemi koji prijavljuju najveće multiplikatore umnožavaju mali skup stvarnih ljudskih demonstracija. Oni ne uklanjaju potrebu za njima.

Četiri različite stvari se nazivaju sintetičkim podacima

Prije poređenja brojeva, vrijedi razdvojiti porodice, jer rad koji izvještava o 100x multiplikatoru i rad koji izvještava o povećanju uspješnosti za 5 poena često opisuju isti cjevovod sa različitih krajeva. Zajednička nit je da je nešto u LeRobot dataset je proizvedeno mašinom, a ne snimljeno sa fizičke ruke. Ono što se razlikuje je koji dio.

Samo prva tri su sintetički podaci u smislu na koji se ovaj članak odnosi. Četvrti vrijedi spomenuti jer se svrstava u isti razgovor i daleko je najjeftinija stvar na listi. Ako već niste uključili augmentacije koje dolaze uz vaš trener, učinite to prije nego što instalirate simulator.

Šta objavljeni brojevi zapravo govore

Ovo je baza dokaza, sa brojevima onako kako ih izvori navode, a ne onako kako ih sažimaju saopštenja za javnost. Svaki red ispod potiče iz rada ili stranice projekta pročitanog 23. avgusta 2026.

Obrazac u svakoj poštenoj ablaciji je isti. Sintetički podaci jeftino proširuju pokrivenost. Ne stvara informacije o vašem hvataljku, opuštanju serva, osvjetljenju ili visini stola koje već negdje nisu bile prisutne u stvarnim demonstracijama. Ako vaša politika ne uspijeva jer se krajnji efektor zatvara pola sekunde prekasno, nikakva količina simuliranih varijacija to ne popravlja. To je problem s vremenom hvataljke u stvarnim snimcima.

Jedno otkriće MimicGen-a vrijedi primijeniti u vlastitim sesijama snimanja, jer se protivi uobičajenim savjetima. Projekt je generirao dva skupa podataka na Square D2, jedan s 10 demonstracija od ljudskog operatera bolje kvalitete i jedan s 10 demonstracija od operatera lošije kvalitete, oba preuzeta iz robomimic multi-human Square skupa podataka. Politike obučene na svakom postigle su usporedive rezultate, što su autori protumačili kao znak da u režimu velikih podataka kvaliteta podataka možda nije toliko važna. Pažljivo pročitajte, to je izjava o deset početnih demonstracija, a ne o vaših pedeset stvarnih epizoda. To znači da blago neuredan početni skup nije ono što stoji između vas i upotrebljivog generiranog skupa podataka. To ne znači da stvarne epizode na kojima suobučavate mogu biti neuredne, jer one nose informacije koje simulator nema.

Jaz između simulacije i stvarnosti, konkretno

Jaz se obično raspravlja kao jedna količina, što nije korisno. To je najmanje pet zasebnih neusklađenosti, i one imaju različite veličine na hobi ruci od 110 do 150 EUR nego na Franki.

• Kontakt i trenje. Isaac Lab jasno navodi da je, s istim hardverom i istom verzijom Isaac Sim i PhysX, simulacija ponovljiva, ali da se rezultati razlikuju na različitim hardverskim konfiguracijama zbog preciznosti s pomičnim zarezom i grešaka zaokruživanja, te da PhysX ne garantuje determinizam za bilo koju scenu s nekrutim tijelima kao što su tkanina ili meka tijela.
• Aktuacija. Feetech STS3215 bus servo koji radi na 7.4 V popušta pod opterećenjem, ima zazor i mijenja ponašanje kako se zagrijava. MJCF model za SO-101 posuđuje svoje parametre motora iz nepovezanog projekta umjesto da ih identificira na vašoj ruci.
• Renderiranje. Šum kamere, rolling shutter, auto-ekspozicija i tačna nijansa vašeg stola nisu u renderu. Ovo je polovina jaza koju je Cosmos-Transfer1 izgrađen da zatvori: njegov radni tok augmentacije robotike preslikava jedan sintetički primjer robotike na više realističnih primjera iz segmentacije, dubine ili kondicioniranja rubova.
• Vremenski raspored. Simulator radi u fiksnim koracima. Prava kontrolna petlja ne radi, a sam model košta 20 do 485 ms po koraku akcije, ovisno o tome koji ste odabrali. Pogledajte inference latency.
• Statistika objekata. Simulirane scene su uzorkovane iz distribucije koju je neko zapisao. Vaš kuhinjski sto nije.

Šta simulirani SO-100 zapravo zna o vašoj ruci

Ovo je dio koji odlučuje da li je išta od navedenog vrijedno vašeg vikenda, a prvo iznenađenje je da SO-100 i SO-101 nisu jednako podržani. Repozitorij SO-ARM100 od TheRobotStudio-a čuva svoje simulacijske resurse pod Simulation/. Folder SO100 sadrži jednu URDF datoteku i ništa drugo. Folder SO101 sadrži i URDF i MuJoCo datoteke: scene.xml, so101_new_calib.xml, so101_old_calib.xml, odgovarajuće URDF-ove i joints_properties.xml. Ako želite fizički model umjesto kinematičkog lanca, želite SO-101 datoteke.

Generisani su pomoću onshape-to-robot plugina iz CAD modela dizajniranog u Onshape-u, što znači da su kinematika i vizuelne mreže jednako dobre kao i CAD. Dinamika je druga priča, a README samog repozitorijuma je iskren o tri stvari. Osnovne kolizione mreže su uklonjene zbog problematičnog ponašanja pri koliziji tokom simulacije i planiranja. Svojstva motora STS3215 su adaptirana iz projekta Open Duck Mini, a ne izmjerena na SO-101. I LeRobot konvencija hvataljke, gdje je 0 potpuno zatvoreno, a 100 potpuno otvoreno, eksplicitno još nije reflektovana u URDF i MuJoCo fajlovima. Svaka od ovih stvari je mjesto gdje će se politika obučena isključivo u tom modelu ponašati drugačije na vašem stolu.

Randomizacija domena i šta ona ne popravlja

Standardni odgovor na jaz je da se prestane pokušavati podudarati sa stvarnošću i umjesto toga trenira preko dovoljno široke distribucije da stvarnost padne unutar nje. Tobin i kolege su pokazali snažnu verziju ovoga 2017. godine: detektor objekata obučen samo na simuliranim slikama sa nerealističnim nasumičnim teksturama, bez ikakvog prethodnog treninga na stvarnim slikama, lokalizovao je stvarne objekte sa tačnošću od 1.5 cm i ostao robustan na distraktore i djelimične okluzije.

Isaac Lab izlaže istu ideju kao i termini događaja koje prilažete konfiguraciji okruženja. Ovo su kontrole, po njihovim stvarnim nazivima funkcija u isaaclab.envs.mdp, tako da ih možete pročitati umjesto da nagađate.

Ovo je granica, i to je ona na koju ljudi nailaze. Randomizacija proširuje distribuciju koju je politika vidjela unutar modela koji ste izgradili. Ne može uvesti fizički efekat koji simulator ne predstavlja. Ako PhysX ne modelira zazor i termičko opuštanje vaših STS3215 servo motora, randomizacija njihove krutosti ne uči politiku ništa o zazoru. Zato ruka koja se pod politikom obučenom u simulaciji nije problem budžeta randomizacije. To je problem modeliranja.

Ručni put: generisanje podataka u Isaac Labu

Isaac Gym je zastarjeli softver. NVIDIA-ina vlastita stranica nosi naslov "Isaac Gym - Sada zastarjelo" i kaže da ga programeri mogu preuzeti i nastaviti koristiti, ali da više nije podržan, upućujući umjesto toga na Isaac Lab. Ako želite historiju, pokrili smo oboje: i . Za novi rad u 2026. godini, počnite s Isaac Labom.

1. 1
   Instalirajte Isaac Sim i Isaac Lab

   Stranica za pip instalaciju navodi da su upute za Isaac Sim 5.X, koji zahtijeva Python 3.11. Kloniranje izvornog koda daje vam skripte koje su potrebne za sljedeće korake.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Snimite oko deset ljudskih demonstracija

   Dokumentacija Isaac Laba je specifična: potrebno je oko 10 uspješnih demonstracija da bi sljedeći koraci uspjeli. Njegovi savjeti su jednako specifični. Neka demonstracije budu kratke, idite direktnim putem umjesto da se krećete po proizvoljnim osama, i nemojte pauzirati, jer politici nije očigledno zašto i kada treba pauzirati.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anotirajte granice podzadataka

   Mimic dijeli ulazne demonstracije na podzadatke kako bi mogao ponovno tempirati i ponovno ciljati segmente. Zastavica --auto to radi bez ljudske intervencije za zadatke koji definiraju automatsku anotaciju; bez nje pauzirate s B, nastavljate s N i označavate granicu sa S. Imajte na umu da ID zadatka dobija sufiks -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Generirajte umnoženi skup podataka

   Ovo je korak koji pretvara 10 u 1000. Mimic primjenjuje boolean kriterij uspjeha na svakog kandidata i zadržava samo one koji su završili zadatak, tako da je broj izlaza manji od broja pokušaja. Dokumentacija navodi da je stopa uspješnosti kandidata čak 70 posto u jednostavnim slučajevima i ispod 1 posto za teške zadatke i složene robote: oko 50 posto za slaganje Franka kocke, i 65 do 80 posto za GR1T2 podizanje i postavljanje, gdje 1000 demonstracija traje 18 do 40 minuta (19 minuta na RTX ADA 6000 pri 80 posto).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Pretvorite HDF5 u LeRobot skup podataka

   Sve navedeno proizvodi HDF5 u robomimic stilu, a jezgra Isaac Laba ne isporučuje vlastiti LeRobot konverter: njegova dokumentacija samo kaže da generirani skup podataka možete pretvoriti u LeRobot format. Dva projekta isporučuju stvarni konverter. IsaacLab-Arena isporučuje onaj namijenjen GR00T-u, vođen u potpunosti YAML konfiguracijom, a LeIsaac isporučuje vlastiti par za SO-101 rutu (pogledajte dolje).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Zašto pokušaji generiranja ne uspijevaju i šta promijeniti

Stopa uspješnosti kandidata koja varira između 70 posto i ispod 1 posto nije misterija, a Isaac Lab dokumentuje uobičajene zamke umjesto da vas prepusti nagađanju. Svaka od njih je nešto što kontrolišete u vrijeme snimanja, zbog čega se isplati pročitati ovu listu prije nego što snimite deset početnih demonstracija, a ne nakon prvog razočaravajućeg pokretanja generacije.

• Demonstracije su preduge. Duži vremenski horizont je teži za učenje politike. Počnite blizu prvog objekta i minimizirajte kretanje.
• Demonstracije nisu glatke. Neregularno kretanje je teško za politiku da dešifruje, a bolji hardver za teleoperaciju daje bolje podatke: dokumentacija jasno kaže da SpaceMouse nadmašuje tastaturu.
• Pauze. Pauze je teško naučiti, jer politici nije očigledno zašto i kada treba pauzirati. Održavajte kretanje fluidnim.
• Previše podzadataka. Više podzadataka znači više spajanja između segmenata putanje, što rezultira manje glatkim kretanjem i nižom stopom uspješnosti generacije. Označite granice gdje je malo vjerovatno da će se ruka sudariti s bilo čim.
• Nema šuma akcije. Šum akcije čini rezultirajuće politike robusnijim.
• Snimanje previše skraćeno. Ako se snimanje zaustavi na tačnom kadru kada se aktivira uslov uspjeha, možda se neće ponovo aktivirati tokom reprodukcije. Ostavite bafer na kraju.
• Nedeterministička reprodukcija. Fizika u Isaac Lab-u nije deterministički reproduktivna preko env.reset, tako da neke ljudske demonstracije ne uspijevaju pri reprodukciji. Sakupite više nego što vam je potrebno i zadržite one koje prežive anotaciju. Sve što se nađe u HDF5 datoteci generisanoj Mimic-om je uspješna demonstracija i može se koristiti za obuku čak i ako reprodukcija kasnije ne uspije.

Korak interpolacije između spojenih segmenata podzadataka ima svoj vlastiti regulator, a broj koraka interpolacije koji vam je potreban skalira se s brzinom kretanja robota i širinom distribucije resetovanja objekta. Složen zadatak s velikom distribucijom resetovanja ostavlja veće praznine između segmenata, što zahtijeva više koraka interpolacije da bi se dobilo kontinuirano kretanje. Ako vaši generisani videozapisi pokazuju kako se ruka trza između faza, to je parametar koji treba pogledati prije nego što okrivite početne demonstracije.

Isti cjevovod na SO-101, sa stvarnom vodećom rukom

Ovo je zanimljiv dio za svakoga ko čita ovu stranicu, jer je to jedini otvoreni cjevovod koji postavlja unutar Isaac Laba i omogućava vam da ga vozite fizičkom vodećom rukom koju već posjedujete. LeIsaac, verzija 0.4.0 u vrijeme pisanja, je zvanično simulacijsko igralište za učenje imitacijom integrisano u LeRobotov EnvHub. Njegova tabela kompatibilnosti navodi tri radne kombinacije; najnovija kombinuje Isaac Sim 5.1 sa Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 i Python 3.11, a dokumentacija preporučuje Isaac Sim 5.0 ili noviji za kartice serije 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Kada je to postavljeno, vodeća ruka na /dev/ttyACM0 pokreće simuliranog pratioca i snima direktno u HDF5. petlja je ista ona koju već znate iz stvarnog snimanja, samo je pratilac kruto tijelo u PhysX-u.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Većina tih ID-ova takođe postoji kao -Direct-v0, varijanta, i python scripts/environments/list_envs.py ispisuje trenutnu listu. Takođe možete u potpunosti preskočiti HDF5 zaobilaznicu i pisati LeRobot format tokom teleoperacije dodavanjem tri zastavice. Dva upozorenja dolaze iz same dokumentacije: snimač automatski preskače prvih 5 okvira svake epizode kako bi izbjegao nestabilnost početnih stanja, i može uzrokovati blaga kašnjenja u teleoperaciji, što je upravo vrsta stvari koja tiho mijenja karakter vaših demonstracija. Takođe, ispisuje samo epizode koje je zadatak označio uspješnim.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Korak množenja se zatim izvršava na tim snimcima. LeIsaac obuhvata Isaac Lab Mimic u četiri komande, jer Mimic generalizuje putanje iz poza krajnjeg efektora i objekta: konvertujte akcije u zglobnom prostoru u akcije zasnovane na IK-u, anotirajte, generišite, a zatim konvertujte nazad u zglobni prostor.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Zatim pretvorite u LeRobot. Ovo je korak gdje pravilo formata platforme dolazi do izražaja, a LeIsaac isporučuje tačno dva konvertera koja su vam potrebna: isaaclab2lerobot.py piše LeRobot v2, što je ono što GR00T učitavači koriste, i isaaclab2lerobotv3.py piše v3 za Pi0.5, SmolVLA i ACT. Dva skripta prihvataju identične argumente, ali koriste različite lerobot verzije, i samo uspješne epizode se konvertuju.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dva puta do obučene politike

Video modeli sveta: najnoviji sloj, i najmanje meren

Ideja iza DreamGen-a je da video generativni model, prilagođen ciljnom robotskom telu, može zamisliti verodostojne epizode u scenama koje nikada niste posetili. Pipeline ima četiri faze: fino podešavanje video modela sveta, generisanje fotorealističnih sintetičkih robotskih video zapisa, oporavak pseudo-akcionih sekvenci sa latentnim akcionim modelom ili modelom inverzne dinamike, a zatim obuka robotske politike na rezultatu. NVIDIA-in GR00T-dreams repozitorijum implementira upravo to.

Glavni rezultat je stvaran i vrijedan ozbiljnog razmatranja: podaci o teleoperaciji iz samo jednog zadatka 'uzmi i postavi' u jednom okruženju proizveli su 22 nova ponašanja na humanoida, kako u viđenim tako i u neviđenim okruženjima. Upozorenje je jednako stvarno i nalazi se u trećoj fazi.

Ko-trening je recept koji zapravo pokazuje dobitke

Ako iz literature izvučete jednu operativnu lekciju, neka to bude ova. Studija ko-treninga simulacije i stvarnosti (Maddukuri i kolege, 2025) imala je za cilj da pronađe jednostavan recept za korišćenje simulacionih podataka za rešavanje robotskih manipulacionih zadataka zasnovanih na viziji, u dva domena, robotskoj ruci i humanoida, a njen zaključak je da trenirate na mešavini. Simulacioni podaci su poboljšali performanse zadataka u stvarnom svetu za prosečno 38 procenata, a rad eksplicitno navodi da je to važilo čak i uz značajne razlike između simulacije i podataka iz stvarnog sveta.

Ta poslednja klauzula je važnija od 38 procenata. To znači da simulacija ne mora biti savršen digitalni blizanac da bi bila korisna, pod uslovom da su stvarni podaci u mešavini da je usidre. Prenos samo simulacijom je skup put: isti rad navodi da obuka politike isključivo u simulaciji i prenos na stvarni svet često zahteva značajan ljudski napor da se premosti jaz stvarnosti. Ko-trening preskače većinu tog napora tako što nikada ne traži od politike da sama zatvori jaz.

Praktično, na ovoj platformi, ko-trening znači jedno: stavite oba skupa epizoda u isti LeRobot skup podataka sa doslednim ključevima kamere, doslednim redosledom zglobova i doslednim jedinicama, zatim pokrenite normalno fino podešavanje. Ne postoji dugme za težinu mešavine u obrascu za obuku. Ako želite odnos simulacije i stvarnosti 3:1, to izražavate brojem epizoda svake vrste koje stavite u skup podataka.

Najjeftinija pobjeda iz simulacije nije podatak za obuku

To je evaluacija. Pokretanje desetina stvarnih pokušaja po zadatku za poređenje dvije je dan rada ruke, a ruka se pomjera između pokušaja. SIMPLER (Li i kolege, 2024) je izgradio simulirana okruženja čija je svrha ocjenjivanje stvarnih politika, a ne njihovo obučavanje, a zatim je izmjerio koliko dobro rangiranje simulacije predviđa stvarno rangiranje. Jedno SIMPLER okruženje se renderuje sa 3.500 simulacionih koraka u sekundi na potrošačkoj RTX 4090 kartici pri rezoluciji 640 sa 512, što pri frekvenciji simulacije od 500 Hz predstavlja ubrzanje od 7x u odnosu na stvarnu evaluaciju.

To su prosjeci za tri grupe zadataka Google Robota za šest uobičajenih otvorenih kontrolnih tačaka: tri RT-1 kontrolne tačke u različitim fazama obuke, RT-1-X, RT-2-X i Octo-Base. Stvarna strana nema uniforman broj pokušaja, što je važno znati prije nego što je citirate: 75 pokušaja za podizanje limenke koka-kole, 60 za pomjeranje blizu, 54 za zadatke otvaranja i zatvaranja ladice i 27 za duži zadatak ladice i jabuke. Poređenje sa validacionim MSE je korisni dio. Odabir modela pomoću validacionog gubitka loše rangira ove kontrolne tačke, a Pearson r od 0.924 pod vizuelnim podudaranjem znači da ako kontrolna tačka postiže bolje rezultate u SIMPLER-u, vrlo vjerovatno postiže bolje rezultate i na testu. To je ponovljiva tabela rezultata preko noći, i ne zahtijeva od vas da vjerujete u bilo šta o sim-to-real transferu obuke.

Ako želite širi kontekst o tome šta vam ovi benchmark brojevi govore, a šta ne govore o modelu vida-jezika-akcije, to smo zasebno opisali u pregledu VLA.

Gdje vam ova platforma ne pomaže

Jasnoća o granicama štedi svima vrijeme. AY-Robots je platforma za snimanje, obuku i posluživanje. Nema ugrađen simulator.

• Nema Isaac Lab-a, nema MimicGen-a, nema modela svijeta, nema autorizacije scena. Ako želite generisane podatke, generišete ih negdje drugdje i donosite rezultat.
• Treneri koriste LeRobot skupove podataka i ništa drugo. Izvoz simulatora mora biti konvertovan prije nego što postane ulaz, i mora biti ispravne verzije: v2.0 ili v2.1 za GR00T N1.5 i N1.7, v3.0 za Pi0.5, SmolVLA i ACT.
• GR00T-ova ulazna tačka za fino podešavanje je tyro CLI koji ne eksponira seed, tako da GR00T pokretanja nisu bit-za-bit reproduktivna. Ako provodite pažljivu sim-versus-real ablaciju, to je stvarno ograničenje. lerobot-ov vlastiti podrazumijevani seed je 1000, a ACT, SmolVLA i Pi0.5 forme eksponiraju polje seed.
• Akumulacija gradijenta se zapravo primjenjuje samo za dva GR00T trenera. Za Pi0.5 i SmolVLA polje postoji u formi, ali lerobot 0.5.1 nema takvu zastavicu, tako da ne radi ništa.
• Inferencija mora biti pored servoa za brze zadatke. Kontrolna petlja je 20 do 485 ms po koraku akcije u zavisnosti od modela, a dodavanje javnih internet povratnih putovanja pretvara funkcionalnu politiku u oklijevajuću. Daljinska inferencija je izvodljiva za sporo uzimanje i postavljanje (pick-and-place), ne za brzo reaktivno kretanje.

Budžet koji možete odbraniti

Stavite dva puta jedan pored drugog sa brojevima koje svaki zapravo objavljuje, i odluka se obično sama nameće za projekat sa jednim zadatkom na jeftinoj ruci.

Za prvu politiku na SO-100, snimite. uputstvo za snimanje i prvo pokretanje obuke dovode vas do posluženog kontrolnog punkta po cijeni kafe, i imat ćete stvarnu polovinu bilo koje buduće mješavine za zajedničku obuku. Posegnite za simulatorom kada imate funkcionalnu osnovnu liniju i specifičan neuspjeh generalizacije koji možete imenovati, kao što je politika koja radi samo u jednom podešavanju.

Recept koji poštuje dokaze

1. 1
   Prvo snimite stvarnu osnovu

   30 epizoda za SmolVLA, 50 za ACT, GR00T N1.7 i Pi0.5. Trenirajte jednom. Sve u čemu ta politika zakaže je vaša specifikacija za sintetičke podatke.

2. 2
   Imenujte neuspjeh generalizacije

   Položaj objekta? Osvjetljenje? Visina stola? Ometajući faktori? Drugačija formulacija instrukcije? Sintetički podaci su dobri u tačno jednoj od ovih stvari istovremeno, i beskorisni ako ne možete reći kojoj.

3. 3
   Odaberite najjeftiniju porodicu koja to pokriva

   Varijacija položaja i rasporeda: umnožavanje putanja. Osvjetljenje i tekstura: prvo augmentacija slike, drugo model svijeta. Potpuno nove scene: fizičke simulacije, i prihvatite troškove modeliranja.

4. 4
   Generišite, zatim agresivno odbacite

   Pokušaji generisanja ne uspijevaju, a stopa uspješnosti kandidata Isaac Laba kreće se od 70 posto do ispod 1 posto, ovisno o zadatku. Zadržite samo uspješne putanje koje završavaju zadatak, i vizuelno provjerite uzorak kao video prije nego što vjerujete cijeloj seriji.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Ko-trenirajte, ne zamjenjujte

   Spojite generisane epizode sa stvarnim u jedinstveni LeRobot skup podataka sa identičnim ključevima kamere i redoslijedom zglobova. Brojka od 38 posto je brojka ko-treninga.

6. 6
   Evaluirajte na stvarnoj ruci, i samo tamo

   Simulirana evaluacija je dobar signal za rangiranje (Pearson r 0.924 u SIMPLER-ovom vizuelno-podudarnom postavu), ali to nije test prihvatanja. Pokrenite kontrolnu tačku na testnom stolu prije nego što joj povjerujete.

Ako biste radije počeli od kontrolne liste za same stvarne snimke, pokriva postavljanje kamere, implikacije i načine kvara koji čine skup podataka neupotrebljivim. Detalji o samom formatu nalaze se u , a strana hiperparametara u .