Date Sintetice pentru Politici Robotice: Unde Simulația Ajută

La fiecare câteva luni, cineva își dă seama că înregistrarea a cincizeci de episoade manual este lentă și se întreabă dacă un simulator le-ar putea produce în schimb. Este o întrebare pertinentă. Răspunsul sincer are trei părți: datele generate ajută, nu înlocuiesc înregistrările reale, iar raportul dintre aceste două fapte depinde în totalitate de tipul de date sintetice la care vă referiți.

Această pagină detaliază ce a măsurat de fapt lucrarea publicată, ce puteți rula astăzi pe un braț cu costuri reduse, cum ar fi SO-100, și unde decalajul sim-to-real anulează câștigurile. Pe scurt, înainte de detalii: sistemele care raportează cei mai mari multiplicatori multiplică un set mic de demonstrații umane reale. Ele nu elimină necesitatea acestora.

Patru lucruri diferite sunt numite date sintetice

Înainte de a compara numerele, merită să separăm familiile, deoarece o lucrare care raportează un multiplicator de 100x și o lucrare care raportează un câștig de succes de 5 puncte descriu adesea același flux de lucru din perspective diferite. Firul comun este că ceva din setul de date LeRobot a fost produs de o mașină, mai degrabă decât înregistrat de pe un braț fizic. Ceea ce diferă este ce parte.

Doar primele trei sunt date sintetice în sensul pe care îl are acest articol. A patra merită menționată deoarece este inclusă în aceeași discuție și este de departe cel mai ieftin lucru de pe listă. Dacă nu ați activat deja augmentările cu care vine antrenorul dumneavoastră, faceți acest lucru înainte de a instala un simulator.

Ce spun de fapt numerele publicate

Iată baza de dovezi, cu numerele așa cum sunt ele prezentate de surse, mai degrabă decât așa cum sunt rezumate în comunicatele de presă. Fiecare rând de mai jos provine dintr-o lucrare sau o pagină de proiect citită pe 23 august 2026.

Modelul în fiecare ablație onestă este același. Datele sintetice extind acoperirea la un cost redus. Nu creează informații despre gripper-ul tău, despre slăbirea servo-ului, despre iluminare sau despre înălțimea mesei care nu erau deja prezente undeva în demonstrațiile reale. Dacă politica eșuează deoarece efectorul final se închide cu o jumătate de secundă prea târziu, nicio cantitate de variație simulată nu o remediază. Aceasta este o problemă de sincronizare a gripper-ului în înregistrările reale.

O constatare MimicGen merită preluată în propriile sesiuni de înregistrare, deoarece contravine sfaturilor obișnuite. Proiectul a generat două seturi de date pe Square D2, unul inițiat cu 10 demonstrații de la un operator uman de calitate superioară și unul cu 10 demonstrații de la un operator de calitate inferioară, ambele preluate din setul de date robomimic multi-human Square. Politicile antrenate pe fiecare au obținut rezultate comparabile, ceea ce autorii au interpretat ca un semn că, în regimul de date la scară largă, calitatea datelor ar putea să nu conteze la fel de mult. Citiți cu atenție, aceasta este o afirmație despre cele zece demonstrații inițiale, nu despre cele cincizeci de episoade reale ale dumneavoastră. Înseamnă că un set inițial ușor dezordonat nu este lucrul care stă între dumneavoastră și un set de date generat utilizabil. Nu înseamnă că episoadele reale pe care le co-antrenați pot fi dezordonate, deoarece acestea sunt cele care poartă informațiile pe care simulatorul nu le are.

Decalajul sim-real, concret

Decalajul este de obicei discutat ca o singură cantitate, ceea ce este inutil. Este vorba de cel puțin cinci nepotriviri separate, iar acestea au dimensiuni diferite pe un braț hobby de 110 până la 150 EUR față de un braț Franka.

• Contact și frecare. Isaac Lab afirmă clar că, având același hardware și aceeași versiune Isaac Sim și PhysX, simularea este reproductibilă, dar că rezultatele variază în funcție de diferite configurații hardware din cauza preciziei în virgulă mobilă și a erorilor de rotunjire, și că PhysX nu garantează determinismul pentru nicio scenă cu corpuri non-rigide, cum ar fi țesături sau corpuri moi.
• Acționare. Un servo Feetech STS3215 bus care funcționează la 7.4 V cedează sub sarcină, are joc și își modifică comportamentul pe măsură ce se încălzește. Modelul MJCF pentru SO-101 își împrumută parametrii motorului dintr-un proiect neînrudit, în loc să-i identifice pe brațul dumneavoastră.
• Randare. Zgomotul camerei, obturatorul rulant, auto-expunerea și nuanța exactă a mesei dumneavoastră nu sunt incluse în randare. Aceasta este jumătatea decalajului pe care Cosmos-Transfer1 a fost construit pentru a o închide: fluxul său de lucru de augmentare robotică mapează un exemplu sintetic robotic la multiple exemple realiste din segmentare, adâncime sau condiționare de margine.
• Sincronizare. Un simulator avansează la o rată fixă. O buclă de control reală nu, iar modelul în sine costă 20 până la 485 ms per pas de acțiune, în funcție de cel pe care l-ați ales. Vezi latența inferenței.
• Statistici obiecte. Scenele simulate sunt eșantionate dintr-o distribuție pe care cineva a notat-o. Masa dumneavoastră de bucătărie nu este.

Ce știe de fapt un SO-100 simulat despre brațul dumneavoastră

Aceasta este partea care decide dacă oricare dintre cele de mai sus merită weekendul dumneavoastră, iar prima surpriză este că SO-100 și SO-101 nu sunt deservite în mod egal. Repozitoriul SO-ARM100 al TheRobotStudio își păstrează activele de simulare sub Simulation/. Folderul SO100 conține un singur fișier URDF și nimic altceva. Folderul SO101 conține atât fișiere URDF, cât și MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, URDF-urile corespunzătoare și un joints_properties.xml. Dacă doriți un model fizic, mai degrabă decât un lanț cinematic, doriți fișierele SO-101.

Acestea au fost generate cu pluginul onshape-to-robot dintr-un model CAD proiectat în Onshape, ceea ce înseamnă că cinematica și rețelele vizuale sunt la fel de bune ca și modelul CAD. Dinamica este o altă poveste, iar fișierul README al depozitului este sincer în privința a trei aspecte. Rețelele de coliziune de bază au fost eliminate din cauza comportamentului problematic de coliziune în timpul simulării și planificării. Proprietățile motorului STS3215 sunt adaptate din proiectul Open Duck Mini, mai degrabă decât măsurate pe un SO-101. Și convenția gripperului LeRobot, unde 0 înseamnă complet închis și 100 înseamnă complet deschis, nu este încă reflectată explicit în fișierele URDF și MuJoCo. Fiecare dintre acestea este un punct în care o politică antrenată pur în acel model se va comporta diferit pe biroul dumneavoastră.

Randomizarea domeniului și ce nu rezolvă aceasta

Răspunsul standard la acest decalaj este să nu mai încercăm să potrivim realitatea și, în schimb, să antrenăm pe o distribuție suficient de largă încât realitatea să se încadreze în ea. Tobin și colegii au demonstrat versiunea puternică a acestui lucru în 2017: un detector de obiecte antrenat doar pe imagini simulate cu texturi aleatorii nerealiste, fără nicio pre-antrenare pe imagini reale, a localizat obiecte reale cu o precizie de 1.5 cm și a rămas robust la factori de distragere și ocluzii parțiale.

Isaac Lab expune aceeași idee ca termenii de eveniment pe care îi atașați unei configurații de mediu. Aceștia sunt parametrii, prin numele lor reale de funcție în isaaclab.envs.mdp, astfel încât să le puteți citi în loc să ghiciți.

Iată limita, și este cea de care oamenii se împiedică. Randomizarea lărgește distribuția pe care politica a văzut-o în interiorul modelului pe care l-ați construit. Nu poate introduce un efect fizic pe care simulatorul nu îl reprezintă. Dacă PhysX nu modelează jocul și căderea termică a servourilor dumneavoastră STS3215, randomizarea rigidității lor nu învață politica nimic despre joc. De aceea, un braț care sub o politică antrenată în simulare nu este o problemă de buget de randomizare. Este o problemă de modelare.

Calea manuală: generarea de date în Isaac Lab

Isaac Gym este un software vechi. Pagina proprie a NVIDIA este intitulată "Isaac Gym - Acum Depreciat" și spune că dezvoltatorii îl pot descărca și continua să-l utilizeze, dar că nu mai este suportat, indicând în schimb Isaac Lab. Dacă doriți istoricul, am acoperit ambele: și . Pentru lucrări noi în 2026, începeți cu Isaac Lab.

1. 1
   Instalați Isaac Sim și Isaac Lab

   Pagina de instalare pip precizează că instrucțiunile sunt pentru Isaac Sim 5.X, care necesită Python 3.11. Clonarea sursei vă oferă scripturile necesare pentru pașii următori.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Înregistrați aproximativ zece demonstrații umane

   Documentația Isaac Lab este specifică: sunt necesare aproximativ 10 demonstrații reușite pentru ca pașii următori să aibă succes. Sfaturile sale sunt la fel de specifice. Păstrați demonstrațiile scurte, urmați o cale directă în loc să vă deplasați pe axe arbitrare și nu întrerupeți, deoarece nu este evident pentru o politică de ce și când să întrerupă.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Adnotați limitele sub-sarcinilor

   Mimic împarte demonstrațiile de intrare în sub-sarcini, astfel încât să poată re-sincroniza și re-ținti segmentele. Flag-ul --auto face acest lucru fără intervenție umană pentru sarcinile care definesc adnotarea automată; fără el, întrerupeți cu B, continuați cu N și marcați o limită cu S. Rețineți că ID-ul sarcinii primește un sufix -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Generați setul de date multiplicat

   Acesta este pasul care transformă 10 în 1000. Mimic aplică un criteriu boolean de succes fiecărui candidat și păstrează doar pe cei care au finalizat sarcina, astfel încât numărul de ieșiri este mai mic decât numărul de încercări. Documentația indică o rată de succes a candidaților de până la 70 la sută în cazuri simple și sub 1 la sută pentru sarcini dificile și roboți complecși: aproximativ 50 la sută pentru stivuirea cuburilor Franka și 65 până la 80 la sută pentru operațiunea GR1T2 de preluare și plasare, unde 1000 de demonstrații durează între 18 și 40 de minute (19 minute pe un RTX ADA 6000 la 80 la sută).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Convertiți HDF5 într-un set de date LeRobot

   Tot ce este mai sus produce HDF5 în stil robomimic, iar nucleul Isaac Lab nu include propriul convertor LeRobot: documentația sa spune doar că puteți converti setul de date generat în format LeRobot. Două proiecte furnizează convertorul propriu-zis. IsaacLab-Arena oferă unul vizând GR00T, condus în întregime de o configurație YAML, iar LeIsaac oferă propria sa pereche pentru ruta SO-101 (vezi mai jos).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

De ce eșuează încercările de generare și ce să schimbați

O rată de succes a candidaților care oscilează între 70 la sută și sub 1 la sută nu este un mister, iar Isaac Lab documentează capcanele comune în loc să te lase să ghicești. Fiecare dintre ele este ceva ce controlezi la momentul înregistrării, motiv pentru care merită să citești această listă înainte de a înregistra cele zece demonstrații inițiale, mai degrabă decât după prima rulare de generare dezamăgitoare.

• Demonstrațiile sunt prea lungi. Un orizont de timp mai lung este mai dificil de învățat pentru o politică. Începeți aproape de primul obiect și minimizați mișcarea.
• Demonstrațiile nu sunt fluide. Mișcarea neregulată este dificil de descifrat pentru o politică, iar un hardware de teleoperare mai bun oferă date mai bune: documentația afirmă clar că un SpaceMouse este superior unei tastaturi.
• Pauze. Pauzele sunt dificil de învățat, deoarece nu este evident pentru o politică de ce și când să pună pauză. Mențineți mișcarea fluidă.
• Prea multe sub-sarcini. Mai multe sub-sarcini înseamnă mai multă îmbinare între segmentele de traiectorie, ceea ce duce la o mișcare mai puțin fluidă și o rată de succes a generării mai mică. Anotați limitele unde brațul este puțin probabil să se ciocnească cu ceva.
• Fără zgomot de acțiune. Zgomotul de acțiune face politicile rezultate mai robuste.
• Înregistrare tăiată prea strâns. Dacă înregistrarea se oprește exact pe cadrul în care se declanșează termenul de succes, este posibil să nu se redeclanșeze în timpul redării. Lăsați un buffer la sfârșit.
• Redare non-determinată. Fizica din Isaac Lab nu este reproductibilă determinist la fiecare env.reset, astfel încât unele demonstrații umane eșuează la redare. Colectați mai multe decât aveți nevoie și păstrați-le pe cele care supraviețuiesc adnotării. Tot ceea ce ajunge într-un fișier HDF5 generat de Mimic este o demonstrație reușită și poate fi folosit pentru antrenament chiar dacă redarea eșuează ulterior.

Pasul de interpolare între segmentele de sub-sarcini îmbinate are propriul său reglaj, iar numărul de pași de interpolare de care aveți nevoie scalează cu viteza de mișcare a robotului și cu lățimea distribuției de resetare a obiectului. O sarcină complexă cu o distribuție mare de resetare lasă goluri mai mari între segmente, ceea ce necesită mai mulți pași de interpolare pentru a rezulta o mișcare continuă. Dacă videoclipurile generate arată brațul smucindu-se între faze, acesta este parametrul la care trebuie să vă uitați înainte de a da vina pe demonstrațiile inițiale.

Același pipeline pe un SO-101, cu brațul lider real

Acesta este cel interesant pentru oricine citește această pagină, deoarece este singurul pipeline deschis care plasează un în Isaac Lab și vă permite să-l controlați cu brațul fizic de lider pe care îl dețineți deja. LeIsaac, versiunea 0.4.0 la momentul scrierii, este terenul de joacă oficial de simulare pentru învățarea prin imitație, integrat în EnvHub-ul LeRobot. Tabelul său de compatibilitate listează trei combinații funcționale; cea mai nouă combină Isaac Sim 5.1 cu Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 și Python 3.11, iar documentația recomandă Isaac Sim 5.0 sau mai nou pentru plăcile din seria 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Odată configurat, brațul de lider de pe /dev/ttyACM0 controlează robotul urmăritor simulat și înregistrează direct în HDF5. bucla este aceeași pe care o cunoașteți deja din înregistrarea reală, doar că urmăritorul este un corp rigid în PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Majoritatea acestor ID-uri există și ca o -Direct-v0 variantă, și python scripts/environments/list_envs.py afișează lista curentă. Puteți, de asemenea, să săriți complet peste ocolul HDF5 și să scrieți în format LeRobot în timpul teleoperației adăugând trei flag-uri. Două avertismente provin din documentație: înregistratorul omite automat primele 5 cadre ale fiecărui episod pentru a evita instabilitatea stărilor inițiale și poate cauza mici întârzieri în teleoperație, ceea ce este exact genul de lucru care modifică subtil caracterul demonstrațiilor dumneavoastră. De asemenea, acesta salvează episoadele doar dacă sarcina a fost marcată ca reușită.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Pasul de multiplicare rulează apoi pe aceste înregistrări. LeIsaac încapsulează Isaac Lab Mimic în patru comenzi, deoarece Mimic generalizează traiectoriile din pozițiile efectorului final și ale obiectelor: convertește acțiunile din spațiul articulațiilor în acțiuni bazate pe IK, adnotează, generează, apoi convertește înapoi în spațiul articulațiilor.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Apoi convertiți la LeRobot. Acesta este pasul în care regula de format a platformei devine relevantă, iar LeIsaac se întâmplă să livreze exact cele două convertoare de care aveți nevoie: isaaclab2lerobot.py scrie LeRobot v2, care este ceea ce folosesc încărcătoarele GR00T, și isaaclab2lerobotv3.py scrie v3 pentru Pi0.5, SmolVLA și ACT. Cele două scripturi acceptă argumente identice, dar fixează versiuni diferite de lerobot, și doar episoadele reușite sunt convertite.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Două rute către o politică antrenată

Modele video ale lumii: cel mai nou strat și cel mai puțin măsurat

Ideea din spatele DreamGen este că un model generativ video, adaptat la întruchiparea robotului țintă, poate imagina episoade plauzibile în scene pe care nu le-ați vizitat niciodată. Pipeline-ul are patru etape: ajustarea fină a modelului video al lumii, generarea de videoclipuri sintetice fotorealiste cu roboți, recuperarea secvențelor de pseudo-acțiuni cu un model de acțiune latent sau un model de dinamică inversă, apoi antrenarea politicii robotului pe baza rezultatului. Depozitul GR00T-dreams al NVIDIA implementează exact acest lucru.

Rezultatul principal este real și merită luat în serios: datele de teleoperare dintr-o singură sarcină de tip pick-and-place într-un singur mediu au produs 22 de comportamente noi pe un robot umanoid, atât în medii văzute, cât și nevăzute. Avertismentul este la fel de real și se află în a treia etapă.

Co-antrenamentul este rețeta care arată de fapt câștiguri

Dacă extrageți o singură lecție operațională din literatură, extrageți-o pe aceasta. Studiul de co-antrenare sim-și-real (Maddukuri și colegii, 2025) și-a propus să găsească o rețetă simplă pentru utilizarea datelor de simulare în rezolvarea sarcinilor de manipulare robotică bazate pe viziune, în două domenii, un braț robotic și un robot umanoid, iar concluzia sa este că antrenați pe un amestec. Datele de simulare au îmbunătățit performanța sarcinilor din lumea reală cu o medie de 38 la sută, iar lucrarea este explicită că acest lucru s-a menținut chiar și cu diferențe notabile între datele de simulare și cele din lumea reală.

Acea ultimă clauză contează mai mult decât cele 38 la sută. Înseamnă că simularea nu trebuie să fie o replică digitală perfectă pentru a fi utilă, cu condiția ca datele reale să fie în amestec pentru a o ancora. Transferul doar prin simulare este calea costisitoare: aceeași lucrare afirmă că antrenarea unei politici exclusiv în simulare și transferul acesteia în lumea reală necesită adesea un efort uman substanțial pentru a reduce decalajul de realitate. Co-antrenarea evită cea mai mare parte a acestui efort, necerând niciodată politicii să închidă singură decalajul.

Practic, pe această platformă, co-antrenarea înseamnă un singur lucru: puneți ambele seturi de episoade în același set de date LeRobot cu chei de cameră consistente, ordine consistentă a articulațiilor și unități consistente, apoi rulați o ajustare fină normală. Nu există un buton de ponderare a amestecului în formularul de antrenament. Dacă doriți un raport sim-la-real de 3:1, exprimați acest lucru prin numărul de episoade din fiecare pe care le introduceți în setul de date.

Cel mai ieftin câștig din simulare nu este reprezentat de datele de antrenament

Este evaluarea. Rularea a zeci de încercări reale per sarcină pentru a compara două reprezintă o zi de lucru cu brațul robotic, iar brațul se deplasează între încercări. SIMPLER (Li și colegii, 2024) a construit medii simulate al căror scop este evaluarea politicilor reale, mai degrabă decât antrenarea acestora, și apoi a măsurat cât de bine prezice clasificarea din simulare pe cea reală. Un singur mediu SIMPLER se randează la 3.500 de pași de simulare pe secundă pe un RTX 4090 de consum la o rezoluție de 640 pe 512, ceea ce, la o frecvență de simulare de 500 Hz, reprezintă o accelerare de 7x față de evaluarea reală.

Acestea sunt medii calculate pe trei grupuri de sarcini Google Robot pentru șase puncte de control open-source comune: trei puncte de control RT-1 în diferite etape de antrenament, RT-1-X, RT-2-X și Octo-Base. Partea reală nu are un număr uniform de încercări, ceea ce merită știut înainte de a cita: 75 trials for pick coke can, 60 for move near, 54 for the open and close drawer tasks and 27 for the longer drawer-and-apple task. Comparația cu Validation MSE este partea utilă. Selecția modelului prin pierderea de validare clasifică prost aceste puncte de control, iar un Pearson r de 0.924 sub potrivirea vizuală înseamnă că, dacă un punct de control obține un scor mai bun în SIMPLER, este foarte probabil să obțină un scor mai bun și în realitate. Acesta este un tabel de scor repetabil peste noapte și nu necesită să credeți nimic despre transferul de antrenament de la simulare la realitate.

Dacă doriți contextul mai larg despre ce vă spun și ce nu vă spun aceste numere de benchmark despre un model viziune-limbaj-acțiune, am scris despre asta separat în prezentarea generală VLA.

Unde această platformă nu vă ajută

Clarificarea limitelor economisește timp tuturor. AY-Robots este o platformă de înregistrare, antrenament și servire. Nu conține niciun simulator.

• Fără Isaac Lab, fără MimicGen, fără model de lume, fără autorizare de scenă. Dacă doriți date generate, le generați în altă parte și aduceți rezultatul.
• Antrenorii consumă seturi de date LeRobot și nimic altceva. Un export de simulator trebuie convertit înainte de a fi o intrare și trebuie să fie versiunea corectă: v2.0 sau v2.1 pentru GR00T N1.5 și N1.7, v3.0 pentru Pi0.5, SmolVLA și ACT.
• Punctul de intrare pentru fine-tuning al GR00T este un CLI tyro care nu expune nicio valoare seed, astfel încât rulările GR00T nu sunt reproductibile bit-cu-bit. Dacă efectuați o ablație atentă sim-versus-real, aceasta este o limitare reală. Valoarea seed implicită a lerobot este 1000, iar formularele ACT, SmolVLA și Pi0.5 expun un câmp seed.
• Acumularea de gradient este aplicată efectiv doar pentru cei doi antrenori GR00T. Pentru Pi0.5 și SmolVLA, câmpul există în formular, dar lerobot 0.5.1 nu are un astfel de flag, deci nu face nimic.
• Inferența trebuie să fie lângă servomotoare pentru sarcini rapide. Bucla de control este de 20 până la 485 ms per pas de acțiune, în funcție de model, iar adăugarea de runde de comunicare prin internet public transformă o politică funcțională într-una ezitantă. Inferența la distanță este viabilă pentru operațiuni lente de pick-and-place, nu pentru mișcări reactive rapide.

Un buget pe care îl puteți apăra

Puneți cele două căi una lângă alta cu numerele pe care fiecare le publică efectiv, iar decizia se ia de obicei de la sine pentru un proiect cu o singură sarcină pe un braț cu costuri reduse.

Pentru o primă politică pe un SO-100, înregistrați. și vă duc la un punct de control servit pentru prețul unei cafele, și veți avea jumătatea reală a oricărui amestec viitor de co-antrenare. Apelați la simulator când aveți o linie de bază funcțională și o eroare specifică de generalizare pe care o puteți numi, cum ar fi o politică ce .

O rețetă care respectă dovezile

1. 1
   Înregistrați mai întâi linia de bază reală

   30 de episoade pentru SmolVLA, 50 pentru ACT, GR00T N1.7 și Pi0.5. Antrenați o singură dată. Orice eșec al acelei politici reprezintă specificația dumneavoastră pentru datele sintetice.

2. 2
   Denumiți eșecul de generalizare

   Poziția obiectului? Iluminarea? Înălțimea mesei? Elementele perturbatoare? O altă formulare a instrucțiunii? Datele sintetice sunt bune la exact unul dintre acestea la un moment dat și inutile dacă nu puteți spune care.

3. 3
   Alegeți cea mai ieftină familie care o acoperă

   Variația poziției și a aranjamentului: multiplicarea traiectoriei. Iluminare și textură: augmentarea imaginii mai întâi, modelul lumii în al doilea rând. Scene complet noi: simulări fizice, și acceptați costul modelării.

4. 4
   Generați, apoi eliminați agresiv

   Încercările de generare eșuează, iar rata de succes a candidaților Isaac Lab variază de la 70 la sută până la sub 1 la sută, în funcție de sarcină. Păstrați doar traiectoriile reușite, care completează sarcina, și verificați vizual un eșantion ca video înainte de a avea încredere în lot.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Antrenați în colaborare, nu înlocuiți

   Combinați episoadele generate cu cele reale într-un singur set de date LeRobot cu chei de cameră și ordonare a articulațiilor identice. Cifra de 38 la sută este o cifră de co-antrenare.

6. 6
   Evaluați pe brațul real, și numai acolo

   Evaluarea simulată este un bun semnal de clasificare (Pearson r 0.924 în configurația de potrivire vizuală a SIMPLER), dar nu este testul de acceptare. Rulați punctul de control pe bancul de testare înainte de a-l crede.

Dacă preferați să începeți cu o listă de verificare pentru înregistrările reale în sine, , acoperă plasarea camerei, implicațiile și modurile de eșec care fac un set de date inutilizabil. Detaliile despre formatul în sine se găsesc în , iar partea de hiperparametri în .