Sintetiniai duomenys robotų politikoms: kur padeda simuliacija

Kas kelis mėnesius kas nors supranta, kad įrašyti penkiasdešimt epizodų rankiniu būdu yra lėta, ir klausia, ar simuliatorius galėtų juos sukurti. Tai pagrįstas klausimas. Sąžiningas atsakymas susideda iš trijų dalių: sugeneruoti duomenys padeda, jie nepakeičia realių įrašų, o santykis tarp šių dviejų faktų visiškai priklauso nuo to, kokius sintetinius duomenis turite omenyje.

Šiame puslapyje apžvelgiama, ką iš tikrųjų išmatavo paskelbti darbai, ką šiandien galite paleisti ant nebrangios rankos, tokios kaip SO-100, ir kur simuliacijos-realybės atotrūkis suvalgo privalumus. Trumpa versija, prieš detales: sistemos, kurios praneša apie didžiausius daugiklius, padaugina nedidelį rinkinį realių žmogaus demonstracijų. Jos nepanaikina poreikio joms.

Keturi skirtingi dalykai vadinami sintetiniais duomenimis

Prieš lyginant skaičius, verta atskirti šeimas, nes straipsnis, pranešantis apie 100x daugiklį, ir straipsnis, pranešantis apie 5 punktų sėkmės padidėjimą, dažnai aprašo tą patį procesą iš skirtingų pusių. Bendras bruožas yra tas, kad kažkas LeRobot duomenų rinkinyje buvo pagaminta mašinos, o ne įrašyta nuo fizinės rankos. Skiriasi tik tai, kuri dalis.

Tik pirmieji trys yra sintetiniai duomenys, kaip tai suprantama šiame straipsnyje. Ketvirtąjį verta paminėti, nes jis įtraukiamas į tą patį pokalbį ir yra pigiausias sąraše. Jei dar neįjungėte papildymų, su kuriais pateikiamas jūsų treniruoklis, padarykite tai prieš diegdami simuliatorių.

Ką iš tikrųjų sako paskelbti skaičiai

Štai įrodymų bazė su skaičiais, kaip juos nurodo šaltiniai, o ne kaip juos apibendrina pranešimai spaudai. Kiekviena toliau pateikta eilutė yra iš straipsnio ar projekto puslapio, perskaityto 2026 m. rugpjūčio 23 d.

Kiekvienos sąžiningos abliacijos modelis yra tas pats. Sintetiniai duomenys pigiai išplečia aprėptį. Jie nesukuria informacijos apie jūsų griebtuvą, servo nusileidimą, apšvietimą ar stalo aukštį, kurios nebūtų buvę realiuose demonstraciniuose pavyzdžiuose. Jei jūsų politika, nepavyksta, nes galinis efektorius užsidaro puse sekundės per vėlai, joks simuliuotos variacijos kiekis to nepataisys. Tai yra griebtuvo laiko problema realiuose įrašuose.

Vieną MimicGen išvadą verta pritaikyti savo įrašymo sesijose, nes ji prieštarauja įprastiems patarimams. Projektas sugeneravo du duomenų rinkinius „Square D2“: vieną su 10 demonstracinių pavyzdžių iš geresnės kokybės žmogaus operatoriaus ir vieną su 10 demonstracinių pavyzdžių iš prastesnės kokybės operatoriaus, abu paimti iš „robomimic multi-human Square“ duomenų rinkinio. Kiekviename apmokytos politikos pasiekė panašius rezultatus, ką autoriai interpretavo kaip ženklą, kad didelio masto duomenų režime duomenų kokybė gali būti ne tokia svarbi. Atidžiai perskaitykite: tai yra teiginys apie dešimt pradinių demonstracinių pavyzdžių, o ne apie jūsų penkiasdešimt realių epizodų. Tai reiškia, kad šiek tiek netvarkingas pradinis rinkinys nėra tai, kas stovi tarp jūsų ir naudingo sugeneruoto duomenų rinkinio. Tai nereiškia, kad realūs epizodai, kuriuos naudojate bendram apmokymui, gali būti netvarkingi, nes būtent jie perduoda informaciją, kurios simuliatorius neturi.

Simuliacijos ir realybės atotrūkis, konkrečiai

Atotrūkis dažniausiai aptariamas kaip vienas dydis, o tai nėra naudinga. Tai yra bent penki atskiri neatitikimai, ir jie yra skirtingo dydžio 110–150 EUR kainuojančioje mėgėjiškoje roboto rankoje, palyginti su Franka.

• Kontaktas ir trintis. Isaac Lab aiškiai teigia, kad naudojant tą pačią aparatinę įrangą ir tą pačią Isaac Sim bei PhysX versiją, simuliacija yra atkartojama, tačiau rezultatai skiriasi priklausomai nuo skirtingų aparatinės įrangos konfigūracijų dėl slankiojo kablelio tikslumo ir apvalinimo klaidų, ir kad PhysX negarantuoja determinizmo jokiai scenai su nelanksčiais kūnais, tokiais kaip audinys ar minkšti kūnai.
• Valdymas. Feetech STS3215 magistralinis servovariklis, veikiantis 7.4 V įtampa, linksta esant apkrovai, turi laisvumą ir keičia elgesį kaistant. SO-101 MJCF modelis paima savo variklio parametrus iš nesusijusio projekto, o ne nustato juos jūsų roboto rankoje.
• Atvaizdavimas. Kameros triukšmas, riedantis užraktas, automatinė ekspozicija ir tikslus jūsų stalo atspalvis nėra atvaizduojami. Tai yra pusė atotrūkio, kurį Cosmos-Transfer1 buvo sukurtas užpildyti: jo robotikos papildymo darbo eiga vieną robotikos sintetinį pavyzdį susieja su keliais realistiškais pavyzdžiais iš segmentavimo, gylio ar kraštų sąlygojimo.
• Laikas. Simuliatorius žengia fiksuotu greičiu. Reali valdymo kilpa to nedaro, o pats modelis kainuoja nuo 20 iki 485 ms vienam veiksmo žingsniui, priklausomai nuo to, kurį pasirinkote. Žr. išvadų vėlavimas.
• Objektų statistika. Imituojamos scenos yra paimamos iš kažkieno užrašyto pasiskirstymo. Jūsų virtuvės stalas nėra.

Ką simuliuojamas SO-100 iš tikrųjų žino apie jūsų roboto ranką

Tai yra dalis, kuri nusprendžia, ar kas nors iš aukščiau paminėtų dalykų yra vertas jūsų savaitgalio, ir pirmasis netikėtumas yra tas, kad SO-100 ir SO-101 nėra vienodai aptarnaujami. TheRobotStudio SO-ARM100 saugykla savo simuliacijos turtą laiko po Simulation/. SO100 aplankas turi vieną URDF failą ir nieko daugiau. SO101 aplankas turi tiek URDF, tiek MuJoCo failus: scene.xml, so101_new_calib.xml, so101_old_calib.xml, atitinkamus URDF ir joints_properties.xml. Jei norite fizikos modelio, o ne kinematinės grandinės, jums reikia SO-101 failų.

Jie buvo sugeneruoti naudojant onshape-to-robot papildinį iš CAD modelio, sukurto Onshape, o tai reiškia, kad kinematika ir vizualiniai tinkleliai yra tokie pat geri kaip ir CAD. Dinamika yra kita istorija, o paties saugyklos README atvirai kalba apie tris dalykus. Pagrindiniai susidūrimo tinkleliai buvo pašalinti dėl problemiško susidūrimo elgesio modeliavimo ir planavimo metu. STS3215 variklio savybės yra pritaikytos iš Open Duck Mini projekto, o ne išmatuotos ant SO-101. Ir LeRobot griebtuvo konvencija, kurioje 0 reiškia visiškai uždarytą, o 100 – visiškai atidarytą, dar nėra aiškiai atspindėta URDF ir MuJoCo failuose. Kiekviena iš šių vietų yra ta, kur politika, apmokyta tik tame modelyje, elgsis kitaip ant jūsų stalo.

Domeno atsitiktinumas ir ko jis neištaiso

Standartinis atsakymas į šį atotrūkį yra nustoti bandyti atitikti realybę ir vietoj to apmokyti modelį per pakankamai platų pasiskirstymą, kad realybė patektų į jį. Tobinas ir kolegos 2017 m. parodė stiprią šios idėjos versiją: objekto detektorius, apmokytas tik ant imituotų vaizdų su nerealistiškomis atsitiktinėmis tekstūromis, be jokio išankstinio apmokymo ant realių vaizdų, lokalizavo realius objektus 1.5 cm tikslumu ir išliko atsparus blaškantiems veiksniams bei daliniams uždengimams.

Isaac Lab atskleidžia tą pačią idėją kaip ir įvykių terminai, kuriuos priskiriate aplinkos konfigūracijai. Tai yra valdikliai, pagal jų tikruosius funkcijų pavadinimus isaaclab.envs.mdp, kad galėtumėte juos perskaityti, o ne spėlioti.

Štai riba, ir tai yra ta, dėl kurios žmonės suklumpa. Atsitiktinumas praplečia pasiskirstymą, kurį politika matė jūsų sukurtame modelyje. Jis negali įvesti fizinio efekto, kurio simuliatorius neatspindi. Jei PhysX nemodeliuoja jūsų STS3215 servovariklių laisvumo ir terminio nusileidimo, jų standumo atsitiktinumas nieko neišmoko politikos apie laisvumą. Štai kodėl ranka, kuri pagal simuliatoriuje apmokytą politiką nėra atsitiktinumo biudžeto problema. Tai yra modeliavimo problema.

Rankinis kelias: duomenų generavimas Isaac Lab

Isaac Gym yra sena programinė įranga. Pačiame NVIDIA puslapyje rašoma „Isaac Gym – dabar nebenaudojama“ ir teigiama, kad kūrėjai gali ją atsisiųsti ir toliau naudoti, tačiau ji nebepalaikoma, o vietoj jos nurodoma Isaac Lab. Jei norite sužinoti istoriją, aprašėme abi: ir . Naujiems darbams 2026 m. pradėkite nuo Isaac Lab.

1. 1
   Įdiekite Isaac Sim ir Isaac Lab

   Pip diegimo puslapyje nurodoma, kad instrukcijos skirtos Isaac Sim 5.X, kuriai reikalingas Python 3.11. Šaltinio klonavimas suteikia jums scenarijus, reikalingus kitiems žingsniams.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Įrašykite apie dešimt žmogaus demonstracijų

   Isaac Lab dokumentacija yra konkreti: norint sėkmingai atlikti tolesnius veiksmus, reikia apie 10 sėkmingų demonstracijų. Jos patarimai yra vienodai konkretūs. Demonstracijos turi būti trumpos, eiti tiesiu keliu, o ne judėti savavališkomis ašimis, ir nedaryti pauzių, nes politikai nėra akivaizdu, kodėl ir kada daryti pauzę.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anuotuokite potaskio ribas

   Mimic padalija įvesties demonstracijas į potaskius, kad galėtų iš naujo nustatyti segmentų laiką ir tikslą. Vėliavėlė --auto tai atlieka be žmogaus įsikišimo užduotims, kurios apibrėžia automatinį anotavimą; be jos pauzę darote su B, tęsiate su N ir žymite ribą su S. Atkreipkite dėmesį, kad užduoties ID gauna -Mimic priesagą.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Sugeneruokite padaugintą duomenų rinkinį

   Tai yra žingsnis, kuris 10 paverčia 1000. Mimic taiko bulio sėkmės kriterijų kiekvienam kandidatui ir pasilieka tik tuos, kurie atliko užduotį, todėl išvesties skaičius yra mažesnis nei bandymų skaičius. Dokumentuose nurodoma, kad kandidato sėkmės rodiklis paprastais atvejais siekia net 70 procentų, o sudėtingoms užduotims ir robotams – mažiau nei 1 procentą: apie 50 procentų Franka kubo krovimui ir 65–80 procentų GR1T2 paėmimo ir padėjimo užduočiai, kur 1000 demonstracijų užtrunka nuo 18 iki 40 minučių (19 minučių su RTX ADA 6000, veikiančiu 80 procentų).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Konvertuokite HDF5 į LeRobot duomenų rinkinį

   Viskas, kas išdėstyta aukščiau, sukuria robomimic formato HDF5, o Isaac Lab branduolys neturi savo LeRobot konverterio: jo dokumentuose tik nurodoma, kad sugeneruotą duomenų rinkinį galite konvertuoti į LeRobot formatą. Du projektai pateikia tikrąjį konverterį. IsaacLab-Arena pateikia GR00T skirtą konverterį, visiškai valdomą YAML konfigūracijos, o LeIsaac pateikia savo porą SO-101 maršrutui (žr. žemiau).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Kodėl generavimo bandymai nepavyksta ir ką keisti

Kandidato sėkmės rodiklis, svyruojantis tarp 70 procentų ir mažiau nei 1 procento, nėra paslaptis, o Isaac Lab dokumentuoja dažniausiai pasitaikančias klaidas, užuot palikęs jus spėlioti. Kiekviena iš jų yra kažkas, ką kontroliuojate įrašymo metu, todėl verta perskaityti šį sąrašą prieš įrašant dešimt pradinių demonstracijų, o ne po pirmojo nuviliančio generavimo paleidimo.

• Demonstracijos per ilgos. Ilgesnį laiko horizontą politikai sunkiau išmokti. Pradėkite arti pirmojo objekto ir sumažinkite judesį.
• Demonstracijos nėra sklandžios. Nereguliarų judesį politikai sunku iššifruoti, o geresnė teleoperacijos aparatinė įranga suteikia geresnius duomenis: dokumentuose aiškiai teigiama, kad SpaceMouse yra pranašesnis už klaviatūrą.
• Pauzės. Pauzes sunku išmokti, nes politikai nėra akivaizdu, kodėl ir kada daryti pauzę. Išlaikykite sklandų judesį.
• Per daug užduočių. Daugiau užduočių reiškia daugiau sujungimų tarp trajektorijos segmentų, o tai lemia mažiau sklandų judesį ir mažesnį generavimo sėkmės rodiklį. Pažymėkite ribas, kur ranka vargu ar susidurs su kuo nors.
• Nėra veiksmų triukšmo. Veiksmų triukšmas daro gautas politikas atsparesnes.
• Įrašas per daug apkarpytas. Jei įrašymas sustoja tiksliai tame kadre, kuriame suveikia sėkmės sąlyga, jis gali nebesuveikti pakartotinio paleidimo metu. Palikite buferį pabaigoje.
• Nedeterministinis pakartotinis paleidimas. Fizika Isaac Lab nėra deterministiškai atkartojama per env.reset, todėl kai kurios žmogaus demonstracijos nepavyksta pakartotinio paleidimo metu. Surinkite daugiau, nei jums reikia, ir pasilikite tas, kurios išgyvena anotaciją. Viskas, kas patenka į Mimic sugeneruotą HDF5 failą, yra sėkminga demonstracija ir gali būti naudojama mokymui, net jei pakartotinis paleidimas vėliau nepavyksta.

Interpoliacijos žingsnis tarp sujungtų užduočių segmentų turi savo reguliavimo rankenėlę, o reikalingas interpoliacijos žingsnių skaičius priklauso nuo to, kaip greitai juda robotas ir koks platus yra objekto atstatymo pasiskirstymas. Sudėtinga užduotis su dideliu atstatymo pasiskirstymu palieka didesnius tarpus tarp segmentų, kuriems reikia daugiau interpoliacijos žingsnių, kad judesys būtų tolygus. Jei jūsų sugeneruoti vaizdo įrašai rodo, kad ranka trūkčioja tarp fazių, tai yra parametras, į kurį reikia atkreipti dėmesį prieš kaltinant pradinius demonstracinius pavyzdžius.

Tas pats konvejeris SO-101, su tikra lyderio ranka

Tai įdomus variantas kiekvienam, skaitančiam šį puslapį, nes tai vienintelis atviras konvejeris, kuris įdeda į Isaac Lab ir leidžia jį valdyti fizine lyderio ranka, kurią jau turite. LeIsaac, rašymo metu 0.4.0 versija, yra oficiali imitacinio mokymosi simuliacijos aikštelė, integruota į LeRobot EnvHub. Jos suderinamumo lentelėje nurodytos trys veikiančios kombinacijos; naujausia suporuoja Isaac Sim 5.1 su Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 ir Python 3.11, o dokumentacija rekomenduoja Isaac Sim 5.0 ar naujesnę versiją 50-serijos kortelėms.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Tai įdiegus, lyderio ranka, prijungta prie /dev/ttyACM0, valdo simuliuojamą sekėją ir įrašo tiesiai į HDF5. ciklas yra tas pats, kurį jau žinote iš realaus įrašymo, tik sekėjas yra standus kūnas PhysX aplinkoje.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Dauguma šių ID taip pat egzistuoja kaip -Direct-v0 variantas, o python scripts/environments/list_envs.py atspausdina dabartinį sąrašą. Taip pat galite visiškai praleisti HDF5 aplinkkelį ir rašyti „LeRobot“ formatu teleoperacijos metu, pridėdami tris žymeklius. Du įspėjimai pateikiami iš pačios dokumentacijos: įrašymo įrenginys automatiškai praleidžia pirmuosius 5 kiekvieno epizodo kadrus, kad išvengtų nestabilumo dėl pradinių būsenų, ir tai gali sukelti nedidelius vėlavimus teleoperacijos metu, o tai yra būtent tas dalykas, kuris tyliai keičia jūsų demonstracijų pobūdį. Jis taip pat išsaugo tik tuos epizodus, kuriuos užduotis pažymėjo kaip sėkmingus.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Dauginimo žingsnis tada vykdomas su šiais įrašais. „LeIsaac“ apgaubia „Isaac Lab Mimic“ keturiomis komandomis, nes „Mimic“ apibendrina trajektorijas iš galinio efektoriaus ir objekto pozų: konvertuoja jungčių erdvės veiksmus į IK pagrįstus veiksmus, anotuojama, generuojama, tada konvertuojama atgal į jungčių erdvę.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Tada konvertuokite į LeRobot. Tai yra žingsnis, kuriame platformos formato taisyklė įsigalioja, o LeIsaac atsitiktinai pateikia būtent du jums reikalingus konverterius: isaaclab2lerobot.py rašo LeRobot v2, kurį naudoja GR00T įkėlikliai, ir isaaclab2lerobotv3.py rašo v3, skirtą Pi0.5, SmolVLA ir ACT. Du scenarijai priima identiškus argumentus, tačiau naudoja skirtingas lerobot versijas, ir konvertuojami tik sėkmingi epizodai.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Du keliai į apmokytą politiką

Vaizdo pasaulio modeliai: naujausias sluoksnis ir mažiausiai išmatuotas

Idėja, slypinti už DreamGen, yra ta, kad vaizdo generatyvinis modelis, pritaikytas tiksliniam roboto įkūnijimui, gali įsivaizduoti tikėtinus epizodus scenose, kurių niekada nelankėte. Duomenų apdorojimo grandinė turi keturis etapus: tiksliai suderinti vaizdo pasaulio modelį, generuoti fotorealistinius sintetinius robotų vaizdo įrašus, atkurti pseudo-veiksmų sekas su latentinio veiksmo modeliu arba atvirkštinės dinamikos modeliu, tada apmokyti roboto politiką pagal rezultatą. NVIDIA GR00T-dreams saugykla įgyvendina būtent tai.

Pagrindinis rezultatas yra realus ir vertas rimto dėmesio: teleoperacijos duomenys iš vienos paėmimo ir padėjimo užduoties vienoje aplinkoje sukūrė 22 naujus elgesius humanoidui, tiek matytose, tiek nematytose aplinkose. Įspėjimas yra lygiai toks pat realus ir slypi trečiame etape.

Bendras mokymas yra receptas, kuris iš tikrųjų rodo naudą

Jei iš literatūros pasiimsite vieną operacinę pamoką, tebūnie tai ši. Simuliacijos ir realaus pasaulio bendrojo mokymo tyrimas (Maddukuri ir kolegos, 2025) siekė rasti paprastą receptą, kaip naudoti simuliacijos duomenis regėjimu pagrįstoms robotų manipuliavimo užduotims spręsti dviejose srityse – roboto rankos ir humanoido – ir jo išvada yra, kad reikia mokyti naudojant mišinį. Simuliacijos duomenys pagerino realaus pasaulio užduočių atlikimą vidutiniškai 38 procentais, ir straipsnyje aiškiai nurodoma, kad tai galiojo net esant pastebimiems skirtumams tarp simuliacijos ir realaus pasaulio duomenų.

Tas paskutinis sakinys yra svarbesnis nei 38 procentai. Tai reiškia, kad simuliacija neturi būti tobulas skaitmeninis dvynys, kad būtų naudinga, su sąlyga, kad realūs duomenys yra mišinyje, kad ją įtvirtintų. Perkėlimas tik iš simuliacijos yra brangus kelias: tame pačiame straipsnyje teigiama, kad politikos mokymas vien tik simuliacijoje ir jos perkėlimas į realų pasaulį dažnai reikalauja didelių žmogaus pastangų, kad būtų įveiktas realybės atotrūkis. Bendrasis mokymas praleidžia didžiąją dalį šių pastangų, niekada neprašydamas politikos pačios užpildyti atotrūkio.

Praktiškai, šioje platformoje, bendrasis mokymas reiškia viena: įdėkite abu epizodų rinkinius į tą patį LeRobot duomenų rinkinį su nuosekliais kameros raktais, nuoseklia jungčių tvarka ir nuosekliais vienetais, tada paleiskite įprastą tikslųjį derinimą. Mokymo formoje nėra mišinio svorio reguliavimo rankenėlės. Jei norite 3:1 simuliacijos ir realaus pasaulio santykio, tai išreiškiate tuo, kiek kiekvieno tipo epizodų įdėjote į duomenų rinkinį.

Pigiausias laimėjimas iš simuliacijos nėra mokymo duomenys

Tai yra vertinimas. Vykdyti dešimtis realių bandymų kiekvienai užduočiai, siekiant palyginti du užima visą dieną roboto rankos darbo, o ranka dreifuoja tarp bandymų. SIMPLER (Li ir kolegos, 2024) sukūrė simuliuotas aplinkas, kurių tikslas yra vertinti realias politikas, o ne jas apmokyti, ir tada išmatavo, kaip gerai simuliacijos reitingas prognozuoja realųjį. Viena SIMPLER aplinka atvaizduojama 3 500 simuliacijos žingsnių per sekundę ant vartotojams skirtos RTX 4090 plokštės 640 x 512 raiška, o tai, esant 500 Hz simuliacijos dažniui, yra 7 kartų pagreitis, palyginti su realiu vertinimu.

Tai yra trijų Google Robot užduočių grupių vidurkiai šešiems įprastiems atvirojo kodo kontroliniams taškams: trims RT-1 kontroliniams taškams skirtinguose mokymo etapuose, RT-1-X, RT-2-X ir Octo-Base. Reali pusė neturi vienodo bandymų skaičiaus, ką verta žinoti prieš cituojant: 75 bandymai skardinės paėmimui, 60 – priartėjimui, 54 – stalčiaus atidarymo ir uždarymo užduotims ir 27 – ilgesnei stalčiaus ir obuolio užduočiai. Palyginimas su validavimo MSE yra naudinga dalis. Modelio pasirinkimas pagal validavimo nuostolius blogai reitinguoja šiuos kontrolinius taškus, o Pirsono r 0,924 esant vizualiniam atitikimui reiškia, kad jei kontrolinis taškas geriau įvertinamas SIMPLER, jis labai tikėtinai geriau įvertinamas ir bandymų stende. Tai yra pakartojamas naktinis rezultatų suvestinės metodas, ir jis nereikalauja tikėti niekuo apie simuliacijos ir realaus pasaulio mokymo perkėlimą.

Jei norite platesnio konteksto apie tai, ką šie etaloniniai skaičiai jums sako ir ko nesako apie , mes tai atskirai aprašėme .

Kuo ši platforma jums nepadeda

Aiškumas dėl ribų taupo visų laiką. AY-Robots yra įrašymo, mokymo ir aptarnavimo platforma. Ji neturi savyje simuliatoriaus.

• Jokio Isaac Lab, jokio MimicGen, jokio pasaulio modelio, jokio scenos kūrimo. Jei norite generuotų duomenų, juos generuojate kitur ir atsinešate rezultatą.
• Treniruokliai naudoja LeRobot duomenų rinkinius ir nieko daugiau. Simuliatoriaus eksportas turi būti konvertuotas prieš tampant įvestimi, ir jis turi būti tinkamos versijos: v2.0 arba v2.1, skirtas GR00T N1.5 ir N1.7, v3.0, skirtas Pi0.5, SmolVLA ir ACT.
• GR00T smulkaus derinimo įvesties taškas yra tyro CLI, kuris neatskleidžia jokios sėklos, todėl GR00T paleidimai nėra bitas po bito atkuriami. Jei vykdote kruopštų simuliacijos ir realybės abliaciją, tai yra tikras apribojimas. lerobot numatytoji sėkla yra 1000, o ACT, SmolVLA ir Pi0.5 formos atskleidžia sėklos lauką.
• Gradiento kaupimas iš tikrųjų taikomas tik dviem GR00T treniruokliams. Pi0.5 ir SmolVLA atveju laukas egzistuoja formoje, tačiau lerobot 0.5.1 neturi tokios vėliavėlės, todėl jis nieko nedaro.
• Išvados turi būti šalia servovariklių greitoms užduotims. Valdymo ciklas yra nuo 20 iki 485 ms vienam veiksmo žingsniui, priklausomai nuo modelio, o pridėjus viešojo interneto keliones pirmyn ir atgal, veikianti politika virsta dvejojančia. Nuotolinės išvados yra tinkamos lėtam paėmimui ir padėjimui, bet ne greitam reaktyviam judesiui.

Biudžetas, kurį galite apginti

Padėkite du kelius vienas šalia kito su skaičiais, kuriuos kiekvienas iš tikrųjų skelbia, ir sprendimas paprastai priimamas savaime vienos užduoties projektui su nebrangia roboto ranka.

Pirminei SO-100 politikai – įrašykite. ir nuves jus prie aptarnaujamo kontrolinio taško už kavos kainą, ir jūs turėsite realią bet kokio būsimo bendro mokymo mišinio pusę. Naudokite simuliatorių, kai turite veikiančią pradinę reikšmę ir konkretų apibendrinimo gedimą, kurį galite įvardyti, pavyzdžiui, politiką, kuri .

Receptas, atsižvelgiantis į įrodymus

1. 1
   Pirmiausia įrašykite tikrąją bazinę liniją

   30 episodes for SmolVLA, 50 for ACT, GR00T N1.7 and Pi0.5. Treniruokite vieną kartą. Viskas, kas nepavyksta tai politikai, yra jūsų sintetinės duomenų specifikacija.

2. 2
   Įvardykite apibendrinimo nesėkmę

   Objekto poza? Apšvietimas? Stalo aukštis? Blaškantys veiksniai? Kitoks instrukcijos formulavimas? Sintetiniai duomenys yra geri tik viename iš šių dalykų vienu metu ir nenaudingi, jei negalite pasakyti, kuriame.

3. 3
   Pasirinkite pigiausią šeimą, kuri tai apima

   Pozos ir išdėstymo variacija: trajektorijos dauginimas. Apšvietimas ir tekstūra: pirmiausia vaizdo papildymas, antra – pasaulio modelis. Visiškai naujos scenos: fizikos modeliavimas ir modeliavimo išlaidų priėmimas.

4. 4
   Generuokite, tada agresyviai išmeskite

   Generavimo bandymai nepavyksta, o Isaac Lab kandidatų sėkmės rodiklis svyruoja nuo 70 procentų iki mažiau nei 1 procento, priklausomai nuo užduoties. Išsaugokite tik sėkmingas, užduotį užbaigiančias trajektorijas ir peržiūrėkite pavyzdį kaip vaizdo įrašą, prieš pasitikėdami partija.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Treniruokite kartu, nepakeiskite

   Sujunkite sugeneruotus epizodus su tikraisiais į vieną LeRobot duomenų rinkinį su identiškais kameros raktais ir jungčių tvarka. 38 procentų skaičius yra bendrojo mokymo rodiklis.

6. 6
   Vertinkite ant tikrosios rankos ir tik ten

   Modeliavimo vertinimas yra geras reitingavimo signalas (Pearson r 0.924 SIMPLER vizualinio atitikimo nustatyme), tačiau tai nėra priėmimo testas. Paleiskite kontrolinį tašką ant stendo, prieš juo patikėdami.

Jei norėtumėte pradėti nuo tikrųjų įrašų kontrolinio sąrašo, duomenų rinkimo vadovas apima kameros išdėstymą, veiksmų grupavimą pasekmes ir gedimo režimus, dėl kurių imitacinio mokymosi duomenų rinkinys tampa nenaudojamas. Išsami informacija apie patį formatą pateikiama duomenų rinkinio dokumentacijoje, o hiperparametrų pusė – mokymo dokumentacijoje.