Sintetički podaci za robotske politike: Gdje simulacija pomaže

Svakih nekoliko mjeseci netko shvati da je snimanje pedeset epizoda ručno sporo, i pita se bi li ih simulator mogao umjesto toga proizvesti. To je pošteno pitanje. Iskren odgovor ima tri dijela: generirani podaci pomažu, ne zamjenjuju stvarne snimke, a omjer između te dvije činjenice u potpunosti ovisi o vrsti sintetičkih podataka na koju mislite.

Ova stranica prolazi kroz ono što je objavljeni rad zapravo izmjerio, što možete pokrenuti danas na jeftinom robotu kao što je SO-100, i gdje jaz između simulacije i stvarnosti poništava dobitke. Kratka verzija, prije detalja: sustavi koji izvještavaju o najvećim multiplikatorima umnožavaju mali skup stvarnih ljudskih demonstracija. Oni ne uklanjaju potrebu za njima.

Četiri različite stvari nazivaju se sintetičkim podacima

Prije usporedbe brojeva, vrijedi razdvojiti obitelji, jer rad koji izvještava o 100x multiplikatoru i rad koji izvještava o 5 postotnom povećanju uspjeha često opisuju isti cjevovod s različitih krajeva. Zajednička nit je da je nešto u LeRobot dataset proizvedeno strojem, a ne snimljeno s fizičke ruke. Ono što se razlikuje je koji dio.

Samo prva tri su sintetički podaci u smislu na koji se ovaj članak odnosi. Četvrti je vrijedan spomena jer se svrstava u isti razgovor i daleko je najjeftinija stvar na popisu. Ako već niste uključili augmentacije koje dolaze s vašim trenerom, učinite to prije nego što instalirate simulator.

Što objavljeni brojevi zapravo govore

Ovdje je baza dokaza, s brojevima onako kako ih izvori navode, a ne kako ih sažimaju priopćenja za javnost. Svaki redak u nastavku potječe iz rada ili stranice projekta pročitane 23. kolovoza 2026.

Obrazac u svakoj poštenoj ablaciji je isti. Sintetički podaci jeftino proširuju pokrivenost. Ne stvara informacije o vašem hvataljku, progibu serva, osvjetljenju ili visini stola koje već negdje nisu bile prisutne u stvarnim demonstracijama. Ako vaša politika ne uspijeva jer se krajnji efektor zatvara pola sekunde prekasno, nikakva količina simuliranih varijacija to ne popravlja. To je problem s tempiranjem hvataljke u stvarnim snimkama.

Jedan nalaz MimicGena vrijedi primijeniti u vlastitim sesijama snimanja, jer se protivi uobičajenim savjetima. Projekt je generirao dva skupa podataka na Square D2, jedan s 10 demonstracija od ljudskog operatera bolje kvalitete i jedan s 10 demonstracija od operatera lošije kvalitete, oba preuzeta iz robomimic multi-human Square skupa podataka. Politike trenirane na svakom postigle su usporedive rezultate, što su autori protumačili kao znak da u režimu velikih skupova podataka kvaliteta podataka možda i nije toliko bitna. Pažljivo pročitajte, to je izjava o deset početnih demonstracija, a ne o vaših pedeset stvarnih epizoda. To znači da blago neuredan početni skup nije ono što stoji između vas i upotrebljivog generiranog skupa podataka. To ne znači da stvarne epizode na kojima su-trenirate mogu biti neuredne, jer one nose informacije koje simulator nema.

Jaz između simulacije i stvarnosti, konkretno

Jaz se obično raspravlja kao jedna veličina, što nije korisno. To je najmanje pet zasebnih neusklađenosti, a one imaju različite veličine na hobi ruci od 110 do 150 EUR nego na Franki.

• Kontakt i trenje. Isaac Lab jasno navodi da je uz isti hardver te istu verziju Isaac Sim i PhysX simulacija ponovljiva, ali da se rezultati razlikuju ovisno o različitim hardverskim konfiguracijama zbog preciznosti s pomičnim zarezom i pogrešaka zaokruživanja, te da PhysX ne jamči determinizam za bilo koju scenu s nekrutim tijelima kao što su tkanina ili meka tijela.
• Pokretanje. Feetech STS3215 bus servo koji radi na 7.4 V popušta pod opterećenjem, ima zazor i mijenja ponašanje kako se zagrijava. MJCF model za SO-101 posuđuje svoje parametre motora iz nepovezanog projekta umjesto da ih identificira na vašoj ruci.
• Renderiranje. Šum kamere, rolling shutter, automatska ekspozicija i točna nijansa vašeg stola nisu u renderu. Ovo je polovica jaza koji je Cosmos-Transfer1 izgrađen da zatvori: njegov radni tijek augmentacije robotike preslikava jedan sintetički primjer robotike na više realističnih primjera iz segmentacije, dubine ili uvjetovanja rubova.
• Vremenski raspored. Simulator radi u fiksnim koracima. Stvarna kontrolna petlja ne, a sam model košta 20 do 485 ms po koraku akcije, ovisno o tome koji ste odabrali. Pogledajte kašnjenje inferencije.
• Statistika objekata. Simulirane scene uzorkovane su iz distribucije koju je netko zapisao. Vaš kuhinjski stol nije.

Što simulirani SO-100 zapravo zna o vašoj ruci

Ovo je dio koji odlučuje isplati li se išta od navedenog vašeg vikenda, a prvo iznenađenje je da SO-100 i SO-101 nisu jednako podržani. Repozitorij SO-ARM100 tvrtke TheRobotStudio čuva svoje simulacijske resurse pod Simulation/. Mapa SO100 sadrži jednu URDF datoteku i ništa više. Mapa SO101 sadrži i URDF i MuJoCo datoteke: scene.xml, so101_new_calib.xml, so101_old_calib.xml, odgovarajuće URDF-ove i joints_properties.xml. Ako želite fizički model umjesto kinematičkog lanca, želite datoteke SO-101.

Generirani su pomoću onshape-to-robot dodatka iz CAD modela dizajniranog u Onshapeu, što znači da su kinematika i vizualne mreže jednako dobre kao i CAD. Dinamika je druga priča, a README samog repozitorija iskreno govori o tri stvari. Osnovne kolizijske mreže uklonjene su zbog problematičnog ponašanja pri koliziji tijekom simulacije i planiranja. Svojstva motora STS3215 prilagođena su iz projekta Open Duck Mini, a ne izmjerena na SO-101. I konvencija hvataljke LeRobot, gdje je 0 potpuno zatvoreno, a 100 potpuno otvoreno, eksplicitno još nije reflektirana u URDF i MuJoCo datotekama. Svako od tih mjesta je ono gdje će se politika trenirana isključivo u tom modelu ponašati drugačije na vašem stolu.

Randomizacija domene i što ona ne popravlja

Standardni odgovor na jaz je prestati pokušavati uskladiti se sa stvarnošću i umjesto toga trenirati preko dovoljno široke distribucije da stvarnost padne unutar nje. Tobin i kolege pokazali su snažnu verziju ovoga 2017. godine: detektor objekata treniran samo na simuliranim slikama s nerealističnim nasumičnim teksturama, bez ikakvog pred-treniranja na stvarnim slikama, lokalizirao je stvarne objekte s točnošću od 1.5 cm i ostao robustan na distraktore i djelomične okluzije.

Isaac Lab izlaže istu ideju kao i pojmovi događaja koje prilažete konfiguraciji okruženja. Ovo su kontrole, po njihovim stvarnim nazivima funkcija u isaaclab.envs.mdp, tako da ih možete pročitati umjesto da nagađate.

Ovo je ograničenje, i to je ono na što ljudi nailaze. Randomizacija proširuje distribuciju koju je politika vidjela unutar modela koji ste izgradili. Ne može uvesti fizički učinak koji simulator ne predstavlja. Ako PhysX ne modelira zazor i toplinsko opuštanje vaših STS3215 servo motora, randomizacija njihove krutosti ne uči politiku ništa o zazoru. Zato ruka koja pod politikom obučenom u simulaciji nije problem budžeta randomizacije. To je problem modeliranja.

Ručni put: generiranje podataka u Isaac Labu

Isaac Gym je zastarjeli softver. NVIDIA-ina vlastita stranica nosi naslov "Isaac Gym - Sada zastarjelo" i navodi da ga programeri mogu preuzeti i nastaviti koristiti, ali da više nije podržan, upućujući umjesto toga na Isaac Lab. Ako želite povijest, pokrili smo oboje: i . Za novi rad u 2026. godini, počnite s Isaac Labom.

1. 1
   Instalirajte Isaac Sim i Isaac Lab

   Stranica za pip instalaciju navodi da su upute za Isaac Sim 5.X, koji zahtijeva Python 3.11. Kloniranje izvornog koda daje vam skripte potrebne za sljedeće korake.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Snimite oko deset ljudskih demonstracija

   Dokumentacija Isaac Laba je specifična: potrebno je oko 10 uspješnih demonstracija da bi sljedeći koraci uspjeli. Njegovi savjeti su jednako specifični. Neka demonstracije budu kratke, idite izravnim putem umjesto kretanja po proizvoljnim osima i nemojte pauzirati, jer politici nije očito zašto i kada pauzirati.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anotirajte granice podzadataka

   Mimic dijeli ulazne demonstracije na podzadatke kako bi mogao ponovno tempirati i ponovno ciljati segmente. Zastavica --auto to radi bez ljudske intervencije za zadatke koji definiraju automatsku anotaciju; bez nje pauzirate s B, nastavljate s N i označavate granicu sa S. Imajte na umu da ID zadatka dobiva sufiks -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Generirajte umnoženi skup podataka

   Ovo je korak koji pretvara 10 u 1000. Mimic primjenjuje Booleov kriterij uspjeha na svakog kandidata i zadržava samo one koji su dovršili zadatak, tako da je broj izlaza manji od broja pokušaja. Dokumentacija navodi da je stopa uspješnosti kandidata čak 70 posto u jednostavnim slučajevima i ispod 1 posto za teške zadatke i složene robote: oko 50 posto za slaganje Franka kocke, i 65 do 80 posto za GR1T2 podizanje i postavljanje, gdje 1000 demonstracija traje 18 do 40 minuta (19 minuta na RTX ADA 6000 pri 80 posto).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Pretvorite HDF5 u LeRobot skup podataka

   Sve navedeno proizvodi HDF5 u robomimic stilu, a jezgra Isaac Laba ne isporučuje vlastiti LeRobot pretvarač: njegova dokumentacija samo kaže da generirani skup podataka možete pretvoriti u LeRobot format. Dva projekta isporučuju stvarni pretvarač. IsaacLab-Arena isporučuje pretvarač ciljan na GR00T koji je u potpunosti vođen YAML konfiguracijom, a LeIsaac isporučuje vlastiti par za SO-101 rutu (vidi dolje).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Zašto pokušaji generiranja ne uspijevaju i što promijeniti

Stopa uspješnosti kandidata koja varira između 70 posto i manje od 1 posto nije misterij, a Isaac Lab dokumentira uobičajene zamke umjesto da vas prepusti nagađanju. Svaka od njih je nešto što kontrolirate u trenutku snimanja, zbog čega se isplati pročitati ovaj popis prije nego što snimite deset početnih demonstracija, a ne nakon prvog razočaravajućeg pokretanja generiranja.

• Demonstracije su preduge. Dulji vremenski horizont teže je naučiti za politiku. Započnite blizu prvog objekta i minimizirajte kretanje.
• Demonstracije nisu glatke. Nepravilno kretanje teško je dešifrirati za politiku, a bolji hardver za teleoperaciju daje bolje podatke: dokumentacija jasno kaže da je SpaceMouse bolji od tipkovnice.
• Pauze. Pauze je teško naučiti, jer politici nije očito zašto i kada pauzirati. Održavajte kretanje fluidnim.
• Previše podzadataka. Više podzadataka znači više spajanja između segmenata putanje, što rezultira manje glatkim kretanjem i nižom stopom uspješnosti generiranja. Označite granice gdje je malo vjerojatno da će se ruka sudariti s bilo čime.
• Nema šuma akcije. Šum akcije čini rezultirajuće politike robusnijima.
• Snimanje prekratko obrezano. Ako snimanje prestane na točnom kadru kada se okida uvjet uspjeha, možda se neće ponovno pokrenuti tijekom ponovne reprodukcije. Ostavite međuspremnik na kraju.
• Nedeterministička ponovna reprodukcija. Fizika u Isaac Labu nije deterministički reproducibilna preko env.reset, tako da neke ljudske demonstracije ne uspijevaju pri ponovnoj reprodukciji. Prikupite više nego što vam je potrebno i zadržite one koje prežive anotaciju. Sve što završi u Mimic-generiranoj HDF5 datoteci je uspješna demonstracija i može se koristiti za obuku čak i ako ponovna reprodukcija kasnije ne uspije.

Korak interpolacije između spojenih segmenata podzadataka ima vlastiti gumb za podešavanje, a broj koraka interpolacije koji vam je potreban skalira se s brzinom kretanja robota i širinom distribucije resetiranja objekta. Složen zadatak s velikom distribucijom resetiranja ostavlja veće praznine između segmenata, što zahtijeva više koraka interpolacije kako bi se dobilo kontinuirano kretanje. Ako vaši generirani videozapisi pokazuju kako se ruka trza između faza, to je parametar koji treba pogledati prije nego što okrivite početne demonstracije.

Isti cjevovod na SO-101, sa stvarnom vodećom rukom

Ovo je zanimljiv dio za svakoga tko čita ovu stranicu, jer je to jedini otvoreni cjevovod koji smješta SO-101 unutar Isaac Laba i omogućuje vam da ga upravljate fizičkom vodećom rukom koju već posjedujete. LeIsaac, verzija 0.4.0 u trenutku pisanja, službeno je simulacijsko igralište za učenje imitacijom integrirano u LeRobotov EnvHub. Njegova tablica kompatibilnosti navodi tri radne kombinacije; najnovija kombinira Isaac Sim 5.1 s Isaac Labom v2.3.0, CUDA-om 12.8, PyTorchom 2.7.0 i Pythonom 3.11, a dokumentacija preporučuje Isaac Sim 5.0 ili noviji za kartice serije 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Kada je to postavljeno, vodeća ruka na /dev/ttyACM0 upravlja simuliranim sljedbenikom i snima izravno u HDF5. Petlja voda-sljedbenik ista je ona koju već poznajete iz stvarnog snimanja, samo je sljedbenik kruto tijelo u PhysX-u.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Većina tih ID-ova također postoji kao -Direct-v0 varijanta, a python scripts/environments/list_envs.py ispisuje trenutni popis. Također možete u potpunosti preskočiti HDF5 zaobilaznicu i pisati LeRobot format tijekom teleoperacije dodavanjem tri zastavice. Dva upozorenja dolaze iz same dokumentacije: snimač automatski preskače prvih 5 sličica svake epizode kako bi izbjegao nestabilnost početnih stanja, a to može uzrokovati blaga kašnjenja u teleoperaciji, što je upravo ono što tiho mijenja karakter vaših demonstracija. Također, ispisuje samo epizode koje je zadatak označio uspješnima.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Korak množenja zatim se izvodi na tim snimkama. LeIsaac obuhvaća Isaac Lab Mimic u četiri naredbe, jer Mimic generalizira putanje iz poza krajnjeg efektora i objekta: pretvorite akcije u zglobnom prostoru u akcije temeljene na IK-u, anotirajte, generirajte, a zatim pretvorite natrag u zglobni prostor.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Zatim pretvorite u LeRobot. Ovo je korak gdje se primjenjuje pravilo formata platforme, a LeIsaac isporučuje točno dva konvertera koja trebate: isaaclab2lerobot.py piše LeRobot v2, što je format koji koriste GR00T učitavači, a isaaclab2lerobotv3.py piše v3 za Pi0.5, SmolVLA i ACT.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dva puta do uvježbane politike

Video modeli svijeta: najnoviji sloj, i najmanje izmjeren

Ideja iza DreamGena je da video generativni model, prilagođen ciljnom robotskom utjelovljenju, može zamisliti vjerodostojne epizode u scenama koje nikada niste posjetili. Cjevovod ima četiri faze: fino podešavanje video modela svijeta, generiranje fotorealističnih sintetičkih robotskih videozapisa, oporavak pseudo-akcijskih sekvenci s latentnim akcijskim modelom ili modelom inverzne dinamike, a zatim treniranje robotske politike na rezultatu. NVIDIA-ino GR00T-dreams spremište implementira upravo to.

Glavni rezultat je stvaran i vrijedan ozbiljnog razmatranja: podaci teleoperacije iz samo jednog zadatka 'uzmi i postavi' u jednom okruženju proizveli su 22 nova ponašanja na humanoidu, u viđenim i neviđenim okruženjima. Upozorenje je jednako stvarno i nalazi se u trećoj fazi.

Ko-trening je recept koji zapravo pokazuje dobitke

Ako iz literature izvučete jednu operativnu lekciju, neka to bude ova. Studija o su-treningu simulacije i stvarnosti (Maddukuri i kolege, 2025.) imala je za cilj pronaći jednostavan recept za korištenje simulacijskih podataka za rješavanje robotskih manipulacijskih zadataka temeljenih na viziji, u dva domena, robotskoj ruci i humanoida, a njen zaključak je da trenirate na mješavini. Simulacijski podaci poboljšali su performanse zadataka u stvarnom svijetu za prosječno 38 posto, a rad eksplicitno navodi da je to vrijedilo čak i uz značajne razlike između simulacije i podataka iz stvarnog svijeta.

Ta posljednja klauzula važnija je od 38 posto. To znači da simulacija ne mora biti savršen digitalni blizanac da bi bila korisna, pod uvjetom da su stvarni podaci u mješavini kako bi je usidrili. Prijenos samo simulacijom je skup put: isti rad navodi da obuka politike isključivo u simulaciji i njen prijenos u stvarni svijet često zahtijeva značajan ljudski napor za premošćivanje jaza stvarnosti. Su-trening preskače većinu tog napora tako što nikada ne traži od politike da sama zatvori jaz.

Praktično, na ovoj platformi, su-trening znači jedno: stavite oba skupa epizoda u isti LeRobot dataset s dosljednim ključevima kamere, dosljednim redoslijedom zglobova i dosljednim jedinicama, zatim pokrenite normalno fino podešavanje. U obrascu za obuku nema gumba za težinu mješavine. Ako želite omjer simulacije i stvarnosti 3:1, to izražavate brojem epizoda svake vrste koje stavite u skup podataka.

Najjeftinija pobjeda iz simulacije nije podatak za treniranje

To je evaluacija. Pokretanje desetaka stvarnih pokusa po zadatku za usporedbu dviju je dan rada ruke, a ruka se pomiče između pokusa. SIMPLER (Li i suradnici, 2024) izgradio je simulirana okruženja čija je svrha ocjenjivanje stvarnih politika umjesto njihovog treniranja, a zatim je izmjerio koliko dobro rangiranje simulacije predviđa stvarno rangiranje. Jedno SIMPLER okruženje renderira se brzinom od 3.500 simulacijskih koraka u sekundi na potrošačkoj RTX 4090 kartici pri rezoluciji 640 x 512, što pri frekvenciji simulacije od 500 Hz predstavlja 7x ubrzanje u odnosu na stvarnu evaluaciju.

To su prosjeci za tri grupe zadataka Google Robota za šest uobičajenih otvorenih kontrolnih točaka: tri RT-1 kontrolne točke u različitim fazama treniranja, RT-1-X, RT-2-X i Octo-Base. Stvarna strana nema ujednačen broj pokusa, što je važno znati prije nego što je citirate: 75 pokusa za podizanje limenke Coca-Cole, 60 za pomicanje blizu, 54 za zadatke otvaranja i zatvaranja ladice te 27 za duži zadatak ladice i jabuke. Usporedba s validacijskim MSE-om je koristan dio. Odabir modela pomoću validacijskog gubitka loše rangira ove kontrolne točke, a Pearsonov r od 0.924 pod vizualnim podudaranjem znači da ako kontrolna točka postiže bolje rezultate u SIMPLER-u, vrlo vjerojatno postiže bolje rezultate i na testu. To je ponovljiva noćna tablica rezultata i ne zahtijeva od vas da vjerujete u bilo što o prijenosu treniranja iz simulacije u stvarnost.

Ako želite širi kontekst o tome što vam ovi benchmark brojevi govore, a što ne govore o , to smo zasebno opisali u .

Gdje vam ova platforma ne pomaže

Jasnoća o granicama štedi svima vrijeme. AY-Robots je platforma za snimanje, obuku i posluživanje. Nema ugrađen simulator.

• Bez Isaac Lab-a, bez MimicGena, bez modela svijeta, bez autorizacije scene. Ako želite generirane podatke, generirate ih drugdje i donosite rezultat.
• Treneri koriste LeRobot skupove podataka i ništa drugo. Izvoz simulatora mora se pretvoriti prije nego što postane ulaz, i mora biti ispravne verzije: v2.0 ili v2.1 za GR00T N1.5 i N1.7, v3.0 za Pi0.5, SmolVLA i ACT.
• GR00T-ova ulazna točka za fino podešavanje je tyro CLI koji ne otkriva seed, tako da GR00T pokretanja nisu bit-za-bit reproducibilna. Ako provodite pažljivu sim-versus-real ablaciju, to je stvarno ograničenje. lerobot-ov vlastiti zadani seed je 1000, a ACT, SmolVLA i Pi0.5 oblici otkrivaju polje za seed.
• Akumulacija gradijenta se zapravo primjenjuje samo za dva GR00T trenera. Za Pi0.5 i SmolVLA polje postoji u obrascu, ali lerobot 0.5.1 nema takvu zastavicu, pa ne radi ništa.
• Inferencija mora biti pored serva za brze zadatke. Kontrolna petlja je 20 do 485 ms po koraku akcije ovisno o modelu, a dodavanje javnih internetskih povratnih putovanja pretvara funkcionalnu politiku u oklijevajuću. Daljinska inferencija je izvediva za sporo podizanje i postavljanje, ne za brzo reaktivno kretanje.

Proračun koji možete obraniti

Stavite dva puta jedan pored drugog s brojevima koje svaki zapravo objavljuje, i odluka se obično sama nameće za projekt s jednim zadatkom na jeftinoj ruci.

Za prvu politiku na SO-100, snimite. i dovest će vas do posluženog kontrolnog punkta za cijenu kave, i imat ćete stvarnu polovicu bilo koje buduće mješavine za zajedničko treniranje. Posegnite za simulatorom kada imate radnu osnovnu liniju i specifičan neuspjeh generalizacije koji možete imenovati, kao što je politika koja .

Recept koji poštuje dokaze

1. 1
   Prvo snimite stvarnu početnu vrijednost

   30 epizoda za SmolVLA, 50 za ACT, GR00T N1.7 i Pi0.5. Trenirajte jednom. Sve u čemu ta politika ne uspije je vaša specifikacija za sintetičke podatke.

2. 2
   Imenujte neuspjeh generalizacije

   Položaj objekta? Osvjetljenje? Visina stola? Ometači? Drugačija formulacija upute? Sintetički podaci su dobri u točno jednoj od ovih stvari istovremeno, i beskorisni ako ne možete reći kojoj.

3. 3
   Odaberite najjeftiniju obitelj koja to pokriva

   Varijacija položaja i rasporeda: umnožavanje putanja. Osvjetljenje i tekstura: prvo augmentacija slike, drugo model svijeta. Potpuno nove scene: fizikalne simulacije, i prihvatite trošak modeliranja.

4. 4
   Generirajte, zatim agresivno odbacite

   Pokušaji generiranja ne uspijevaju, a stopa uspješnosti kandidata Isaac Laba kreće se od 70 posto do ispod 1 posto, ovisno o zadatku. Zadržite samo uspješne putanje koje dovršavaju zadatak i vizualno provjerite uzorak kao video prije nego što vjerujete cijeloj seriji.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Zajednički trenirajte, ne zamjenjujte

   Spojite generirane epizode sa stvarnima u jedinstveni LeRobot skup podataka s identičnim ključevima kamere i redoslijedom zglobova. Brojka od 38 posto odnosi se na zajedničko treniranje.

6. 6
   Evaluirajte na stvarnoj ruci, i samo tamo

   Simulirana evaluacija je dobar signal za rangiranje (Pearsonov r 0.924 u SIMPLER-ovom vizualnom podudaranju), ali to nije test prihvaćanja. Pokrenite kontrolnu točku na testnom stolu prije nego što joj povjerujete.

Ako biste radije počeli s kontrolnom listom za same stvarne snimke, vodič za prikupljanje podataka pokriva postavljanje kamere, grupiranje akcija implikacije i načine kvara koji čine učenje imitacijom skup podataka neupotrebljivim. Detalji o samom formatu nalaze se u dokumentaciji skupa podataka, a strana hiperparametara u dokumentaciji za treniranje.