Szintetikus adatok robotpolitikákhoz: Ahol a szimuláció segít

Néhány havonta valaki rájön, hogy ötven epizódot kézzel rögzíteni lassú, és megkérdezi, hogy egy szimulátor nem tudná-e helyette előállítani őket. Ez jogos kérdés. Az őszinte válasz három részből áll: a generált adatok segítenek, de nem helyettesítik a valós felvételeket, és e két tény aránya teljes mértékben attól függ, hogy milyen típusú szintetikus adatra gondol.

Ez az oldal bemutatja, mit mértek valójában a publikált munkák, mit futtathat ma egy alacsony költségű karon, mint például az SO-100, és hol emészti fel a szimuláció-valóság közötti szakadék az előnyöket. A rövid változat, a részletek előtt: a legnagyobb szorzókat jelentő rendszerek valós emberi demonstrációk kis halmazát sokszorozzák meg. Nem szüntetik meg az ezekre való igényt.

Négy különböző dolgot neveznek szintetikus adatnak

Mielőtt összehasonlítanánk a számokat, érdemes szétválasztani a családokat, mert egy 100-szoros szorzót jelentő tanulmány és egy 5 pontos sikerességi növekedést jelentő tanulmány gyakran ugyanazt a folyamatot írja le különböző szempontokból. A közös szál az, hogy valami a LeRobot adatkészlet géppel készült, nem pedig fizikai karról rögzítették. Ami eltér, az a rész.

Csak az első három szintetikus adat abban az értelemben, ahogy ez a cikk érti. A negyediket érdemes megemlíteni, mert ugyanabba a beszélgetésbe kerül, és messze a legolcsóbb dolog a listán. Ha még nem kapcsolta be a trénerével szállított augmentációkat, tegye meg, mielőtt telepít egy szimulátort.

Mit mondanak valójában a közzétett számok

Itt van a bizonyítékbázis, a számokkal úgy, ahogy a források állítják őket, nem pedig ahogy a sajtóközlemények összefoglalják. Minden alábbi sor egy 2026. augusztus 23-án olvasott tanulmányból vagy projektoldalról származik.

Minden őszinte abláció mintázata ugyanaz. A szintetikus adatok olcsón bővítik a lefedettséget. Nem hoz létre olyan információt a megfogóról, a szervó megereszkedéséről, a világításról vagy az asztal magasságáról, ami valahol ne lett volna benne a valós demonstrációkban. Ha a politika meghiúsul, mert a végrehajtó fél másodperccel túl későn záródik, semmilyen szimulált variáció nem orvosolja. Ez egy megfogó időzítési probléma a valós felvételeken.

Egy MimicGen megállapítást érdemes figyelembe venni a saját felvételi alkalmak során, mert ellentmond a szokásos tanácsoknak. A projekt két adatkészletet generált a Square D2-n, az egyiket 10 demonstrációval egy jobb minőségű emberi operátortól, a másikat pedig 10 demonstrációval egy rosszabb minőségű operátortól, mindkettőt a robomimic több emberes Square adatkészletéből véve. Az ezeken képzett politikák összehasonlítható eredményeket értek el, amit a szerzők annak jeleként értelmeztek, hogy nagyméretű adatkészletek esetén az adatok minősége talán nem számít annyira. Olvassa el figyelmesen: ez a tíz kiinduló demonstrációra vonatkozó állítás, nem az ötven valós epizódjára. Ez azt jelenti, hogy egy kissé rendezetlen kiinduló adatkészlet nem az, ami Ön és egy használható generált adatkészlet között áll. Ez nem jelenti azt, hogy a valós epizódok, amelyeken együtt képez, rendezetlenek lehetnek, mert azok hordozzák azokat az információkat, amelyekkel a szimulátor nem rendelkezik.

A szimuláció-valóság szakadék, konkrétan

A szakadékot általában egyetlen mennyiségként tárgyalják, ami nem segít. Legalább öt különálló eltérésről van szó, és ezek mérete eltérő egy 110-150 EUR-s hobbi karon, mint egy Frankán.

• Érintkezés és súrlódás. Az Isaac Lab egyértelműen kijelenti, hogy azonos hardver és azonos Isaac Sim és PhysX verzió esetén a szimuláció reprodukálható, de az eredmények eltérő hardverkonfigurációk esetén a lebegőpontos pontosság és kerekítési hibák miatt változnak, és a PhysX nem garantálja a determinizmust olyan jeleneteknél, amelyek nem merev testeket, például szövetet vagy lágy testeket tartalmaznak.
• Működtetés. Egy 7.4 V-on működő Feetech STS3215 busz szervó terhelés alatt megereszkedik, holtjátéka van, és melegedéskor megváltozik a viselkedése. Az SO-101 MJCF modellje egy nem kapcsolódó projektből kölcsönzi a motorparamétereit, ahelyett, hogy a karon azonosítanák őket.
• Renderelés. A kamerazaj, a gördülő zár, az automatikus expozíció és az asztal pontos árnyalata nincs benne a renderben. Ez a szakadék azon fele, amelyet a Cosmos-Transfer1 hivatott áthidalni: robotikai augmentációs munkafolyamata egy robotikai szintetikus példát több valósághű példára képez le szegmentálásból, mélységből vagy élkondicionálásból.
• Időzítés. Egy szimulátor fix sebességgel lépked. Egy valós vezérlőhurok nem, és maga a modell 20-485 ms-ba kerül akció lépésenként, attól függően, hogy melyiket választotta. Lásd: következtetési késleltetés.
• Objektumstatisztikák. A szimulált jeleneteket egy valaki által leírt eloszlásból mintavételezik. Az Ön konyhaasztala nem.

Amit egy szimulált SO-100 valójában tud a karjáról

Ez az a rész, amely eldönti, hogy a fentiek közül bármelyik megéri-e a hétvégéjét, és az első meglepetés, hogy az SO-100 és az SO-101 nem egyformán van kiszolgálva. A TheRobotStudio SO-ARM100 tárolója a szimulációs eszközöket a Simulation/ alatt tartja. Az SO100 mappa egyetlen URDF fájlt tartalmaz, és semmi mást. Az SO101 mappa URDF és MuJoCo fájlokat is tartalmaz: scene.xml, so101_new_calib.xml, so101_old_calib.xml, a hozzájuk tartozó URDF-eket és egy joints_properties.xml fájlt. Ha fizikai modellt szeretne kinematikai lánc helyett, akkor az SO-101 fájlokra van szüksége.

Az onshape-to-robot beépülő modullal generálták őket egy Onshape-ben tervezett CAD modellből, ami azt jelenti, hogy a kinematika és a vizuális hálók olyan jók, mint a CAD. A dinamika más történet, és a tároló saját README-je őszintén beszél három dologról. Az alap ütközési hálókat eltávolították a szimuláció és tervezés során fellépő problémás ütközési viselkedés miatt. Az STS3215 motor tulajdonságait az Open Duck Mini projektből adaptálták, nem pedig egy SO-101-en mérték. És a LeRobot megfogó konvenciója, ahol a 0 teljesen zárt és a 100 teljesen nyitott, még nincs expliciten tükrözve az URDF és MuJoCo fájlokban. Mindezek olyan pontok, ahol egy tisztán abban a modellben képzett irányelv másképp fog viselkedni az asztalán.

Tartomány randomizáció, és amit nem old meg

A résre adott standard válasz az, hogy hagyjuk abba a valósághoz való illeszkedést, és ehelyett képezzünk egy olyan széles eloszláson, amelybe a valóság beleesik. Tobin és kollégái ennek erős változatát mutatták be 2017-ben: egy objektumdetektor, amelyet kizárólag nem realisztikus, véletlenszerű textúrájú szimulált képeken képeztek, valós képeken való előképzés nélkül, 1,5 cm-es pontossággal lokalizálta a valós objektumokat, és ellenálló maradt a zavaró tényezőkkel és a részleges elzáródásokkal szemben.

Az Isaac Lab ugyanazt az elképzelést mutatja be, mint az eseményfeltételek, amelyeket egy környezeti konfigurációhoz csatol. Ezek a szabályozók, a tényleges függvényneveik szerint az isaaclab.envs.mdp modulban, így elolvashatja őket ahelyett, hogy találgatna.

Itt van a határ, és ez az, amibe az emberek belebotlanak. A randomizálás kiszélesíti azt az eloszlást, amelyet a házon belül épített modellben a szabályzat látott. Nem vezethet be olyan fizikai hatást, amelyet a szimulátor nem reprezentál. Ha a PhysX nem modellezi az STS3215 szervóinak holtjátékát és termikus lecsökkenését, akkor a merevségük randomizálása semmit sem tanít a szabályzatnak a holtjátékról. Ezért van az, hogy egy kar, amely egy szimulációban képzett szabályzat alatt, nem randomizálási-költségvetési probléma. Ez egy modellezési probléma.

A manuális út: adatok generálása az Isaac Lab-ben

Az Isaac Gym egy örökölt szoftver. Az NVIDIA saját oldala „Isaac Gym – Elavult” címmel szerepel, és azt írja, hogy a fejlesztők letölthetik és továbbra is használhatják, de már nem támogatott, helyette az Isaac Lab-re mutat. Ha érdekli a története, mindkettőt feldolgoztuk: és . Új munkához 2026-ban az Isaac Lab-nél kezdje.

1. 1
   Isaac Sim és Isaac Lab telepítése

   A pip telepítési oldal szerint az utasítások Isaac Sim 5.X-hez szólnak, amelyhez Python 3.11 szükséges. A forrásklón biztosítja a következő lépésekhez szükséges szkripteket.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Körülbelül tíz emberi demonstráció rögzítése

   Az Isaac Lab dokumentációja pontos: körülbelül 10 sikeres demonstráció szükséges a következő lépések sikeréhez. Tippjei szintén pontosak. Tartsa röviden a demonstrációkat, válasszon közvetlen utat a tetszőleges tengelyek mentén való mozgás helyett, és ne szüneteltesse, mert egy irányelv számára nem nyilvánvaló, hogy miért és mikor kell szüneteltetni.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Az alfeladatok határainak annotálása

   A Mimic felosztja a bemeneti demonstrációkat alfeladatokra, így újra időzítheti és újra célozhatja a szegmenseket. Az --auto flag ezt emberi beavatkozás nélkül teszi meg az automatikus annotációt definiáló feladatoknál; nélküle B-vel szüneteltet, N-nel folytat, és S-sel jelöl határt. Figyelje meg, hogy a feladat azonosítója -Mimic utótagot kap.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   A megsokszorozott adatkészlet generálása

   Ez az a lépés, amely 10-ből 1000-et csinál. A Mimic logikai sikerességi kritériumot alkalmaz minden jelöltre, és csak azokat tartja meg, amelyek teljesítették a feladatot, így a kimeneti szám alacsonyabb, mint a próbálkozások száma. A dokumentáció szerint a jelöltek sikerességi aránya egyszerű esetekben akár 70 százalék is lehet, nehéz feladatok és komplex robotok esetén pedig 1 százalék alatt van: körülbelül 50 százalék a Franka kockarakásnál, és 65-80 százalék a GR1T2 pick and place feladatnál, ahol 1000 demó 18-40 percet vesz igénybe (19 perc egy RTX ADA 6000-en 80 százalékon).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5 konvertálása LeRobot adatkészletté

   Minden fent említett robomimic-ízű HDF5-öt állít elő, és az Isaac Lab magja nem tartalmaz saját LeRobot konvertert: dokumentációja csak annyit mond, hogy a generált adatkészletet LeRobot formátumba konvertálhatja. Két projekt biztosítja a tényleges konvertert. Az IsaacLab-Arena egy GR00T-célzottat szállít, amelyet teljes egészében egy YAML konfiguráció vezérel, a LeIsaac pedig saját párost szállít az SO-101 útvonalhoz (lásd alább).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Miért hibáznak a generálási kísérletek, és mit kell változtatni

Az, hogy egy jelölt sikerességi aránya 70 százalék és 1 százalék alá ingadozik, nem rejtély, és az Isaac Lab dokumentálja a gyakori buktatókat ahelyett, hogy találgatásra hagyná. Mindegyik olyan dolog, amit a felvétel készítésekor Ön irányít, ezért érdemes elolvasni ezt a listát, mielőtt rögzítené a tíz kiinduló demonstrációt, nem pedig az első kiábrándító generálási futtatás után.

• A demonstrációk túl hosszúak. Egy hosszabb időhorizontot nehezebb megtanulnia egy irányelvnek. Kezdje közel az első tárgyhoz, és minimalizálja a mozgást.
• A demonstrációk nem simák. A szabálytalan mozgást nehéz megfejtenie egy irányelvnek, és a jobb távvezérlési hardver jobb adatokat szolgáltat: a dokumentáció egyértelműen kimondja, hogy egy SpaceMouse jobb, mint egy billentyűzet.
• Szünetek. A szüneteket nehéz megtanulni, mert egy irányelv számára nem nyilvánvaló, hogy miért és mikor kell szüneteltetni. Tartsa folyékonyan a mozgást.
• Túl sok alfeladat. Több alfeladat több illesztést jelent a trajektória szegmensek között, ami kevésbé sima mozgást és alacsonyabb generálási sikerességi arányt eredményez. Jelölje meg azokat a határokat, ahol a kar valószínűleg nem ütközik semmivel.
• Nincs akciózaj. Az akciózaj robusztusabbá teszi az ebből eredő irányelveket.
• Túl szűken vágott felvétel. Ha a felvétel pontosan azon a képkockán áll le, amikor a sikerfeltétel aktiválódik, akkor a visszajátszás során előfordulhat, hogy nem aktiválódik újra. Hagyjon egy puffert a végén.
• Nem determinisztikus visszajátszás. Az Isaac Lab fizikája nem determinisztikusan reprodukálható az env.reset hívások között, így néhány emberi demó meghiúsul a visszajátszás során. Gyűjtsön többet, mint amennyire szüksége van, és tartsa meg azokat, amelyek túlélik az annotációt. Minden, ami egy Mimic által generált HDF5 fájlba kerül, sikeres demó, és felhasználható képzésre, még akkor is, ha a visszajátszás később meghiúsul.

Az illesztett alfeladat-szegmensek közötti interpolációs lépésnek saját hangolási lehetősége van, és a szükséges interpolációs lépések száma attól függ, hogy milyen gyorsan mozog a robot, és milyen széles az objektum-visszaállítási eloszlás. Egy nagy visszaállítási eloszlású komplex feladat nagyobb hézagokat hagy a szegmensek között, ami több interpolációs lépést igényel ahhoz, hogy folyamatos mozgásként jelenjen meg. Ha a generált videói azt mutatják, hogy a kar fázisok között rángatózik, akkor ezt a paramétert kell megvizsgálni, mielőtt a kiinduló demókat hibáztatná.

Ugyanez a pipeline egy SO-101-en, a valódi vezető karral

Ez az érdekes rész mindazok számára, akik ezt az oldalt olvassák, mert ez az egyetlen nyílt pipeline, amely egy az Isaac Lab-be helyez, és lehetővé teszi, hogy a már meglévő fizikai vezető karral irányítsa. A LeIsaac, a cikk írásakor 0.4.0-s verzió, a hivatalos utánzásos tanulási szimulációs játszótér, amely a LeRobot EnvHub-jába van integrálva. Kompatibilitási táblázata három működő kombinációt sorol fel; a legújabb az Isaac Sim 5.1-et párosítja az Isaac Lab v2.3.0-val, CUDA 12.8-cal, PyTorch 2.7.0-val és Python 3.11-gyel, és a dokumentáció Isaac Sim 5.0-t vagy újabbat ajánl az 50-es sorozatú kártyákhoz.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Ennek beállításával a /dev/ttyACM0-n lévő vezető kar irányítja a szimulált követőt, és közvetlenül HDF5-be rögzít. A hurok ugyanaz, amit már ismer a valós felvételből, csak a követő egy merev test a PhysX-ben.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Ezen azonosítók többsége létezik -Direct-v0 változatként is, és python scripts/environments/list_envs.py kiírja az aktuális listát. Teljesen kihagyhatja a HDF5 kerülőutat, és LeRobot formátumban írhat teleoperáció közben, három flag hozzáadásával. Két figyelmeztetés magából a dokumentációból származik: a rögzítő automatikusan kihagyja az egyes epizódok első 5 képkockáját, hogy elkerülje a kezdeti állapotokból eredő instabilitást, és enyhe késéseket okozhat a teleoperációban, ami pontosan az a fajta dolog, ami csendesen megváltoztatja a demonstrációk jellegét. Emellett csak azokat az epizódokat üríti, amelyeket a feladat sikeresnek jelölt.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

A szorzási lépés ezután ezeken a felvételeken fut. A LeIsaac négy paranccsal burkolja az Isaac Lab Mimic-et, mert a Mimic az végtag-effektor és objektumpozíciókból általánosítja a trajektóriákat: alakítsa át az ízületi térbeli műveleteket IK-alapú műveletekké, annotálja, generálja, majd alakítsa vissza ízületi térbe.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Ezután konvertálja LeRobot formátumba. Ez az a lépés, ahol a platform formátumszabálya érvényesül, és a LeIsaac pontosan azt a két konvertert szállítja, amire szüksége van: isaaclab2lerobot.py írja a LeRobot v2-t, amit a GR00T betöltők használnak, és isaaclab2lerobotv3.py írja a v3-at a Pi0.5, SmolVLA és ACT. A két szkript azonos argumentumokat fogad el, de különböző lerobot verziókat rögzít, és csak a sikeres epizódok kerülnek konvertálásra.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Két út a betanított irányelvhez

Videó világmodellek: a legújabb réteg, és a legkevésbé mért

A DreamGen mögött az az elképzelés áll, hogy egy videó generatív modell, a célrobot megtestesüléséhez igazítva, hihető epizódokat tud elképzelni olyan jelenetekben, amelyeket soha nem látogattál meg. A pipeline négy szakaszból áll: a videó világmodell finomhangolása, fotorealisztikus szintetikus robotvideók generálása, pszeudo-akciósorozatok helyreállítása egy látens akciómodellel vagy egy inverz dinamikai modellel, majd a robot irányelv betanítása az eredmény alapján. Az NVIDIA GR00T-dreams tárolója pontosan ezt valósítja meg.

A fő eredmény valós és komolyan veendő: egyetlen pick-and-place feladat teleoperációs adatai egy környezetben 22 új viselkedést eredményeztek egy humanoidon, mind látott, mind nem látott környezetekben. A figyelmeztetés ugyanolyan valós, és a harmadik szakaszban található.

A ko-tréning az a recept, amely ténylegesen nyereséget mutat

Ha egyetlen működési tanulságot von le a szakirodalomból, akkor ezt vegye figyelembe. A szimulációs és valós adatokon alapuló közös képzési tanulmány (Maddukuri és munkatársai, 2025) egy egyszerű receptet keresett a szimulációs adatok felhasználására látásalapú robotmanipulációs feladatok megoldására, két területen – egy robotkar és egy humanoid esetében –, és arra a következtetésre jutott, hogy keveréken kell képezni. A szimulációs adatok átlagosan 38 százalékkal javították a valós feladatok teljesítményét, és a tanulmány kifejezetten megemlíti, hogy ez még akkor is érvényes volt, ha jelentős különbségek voltak a szimulációs és a valós adatok között.

Az utolsó mondat fontosabb, mint a 38 százalék. Ez azt jelenti, hogy a szimulációnak nem kell tökéletes digitális ikernek lennie ahhoz, hogy hasznos legyen, feltéve, hogy a valós adatok is szerepelnek a keverékben, hogy rögzítsék azt. A csak szimulációs átvitel a drága út: ugyanez a tanulmány kimondja, hogy egy irányelv kizárólag szimulációban történő képzése és a valós világba való átvitele gyakran jelentős emberi erőfeszítést igényel a valóság és a szimuláció közötti szakadék áthidalására. A közös képzés elkerüli ennek az erőfeszítésnek a nagy részét azáltal, hogy soha nem kéri az irányelvtől, hogy önállóan zárja be a szakadékot.

Gyakorlatilag ezen a platformon a közös képzés egy dolgot jelent: helyezze mindkét epizódkészletet ugyanabba a LeRobot adatkészlet konzisztens kamera kulcsokkal, konzisztens ízületsorrenddel és konzisztens egységekkel, majd futtasson egy normál finomhangolást. Nincs keverési súly beállító gomb a képzési űrlapon. Ha 3:1 arányú szimuláció-valóság arányt szeretne, azt azzal fejezi ki, hogy hány epizódot helyez el mindegyikből az adatkészletben.

A szimulációból származó legolcsóbb nyereség nem az edzési adat

Ez az értékelés. Több tucat valós próba futtatása feladatonként két összehasonlítására egy napnyi robotkar-idő, és a kar elmozdul a próbák között. A SIMPLER (Li és munkatársai, 2024) olyan szimulált környezeteket épített, amelyek célja a valós irányelvek pontozása, nem pedig az edzésük, majd megmérték, hogy a szimulációs rangsor mennyire jól jósolja meg a valósat. Egyetlen SIMPLER környezet 3500 szimulációs lépést renderel másodpercenként egy fogyasztói RTX 4090-en, 640x512 felbontásban, ami 500 Hz-es szimulációs frekvencia mellett 7x gyorsulást jelent a valós értékeléshez képest.

Ezek három Google Robot feladatcsoport átlagai hat gyakori nyílt forráskódú ellenőrzőpontra vonatkozóan: három RT-1 ellenőrzőpont különböző edzési szakaszokban, RT-1-X, RT-2-X és Octo-Base. A valós oldalon nem egységes a próbák száma, amit érdemes tudni, mielőtt idéznénk: 75 próba a kólásdoboz felvételéhez, 60 a közelbe mozgatáshoz, 54 a fiók nyitási és zárási feladataihoz, és 27 a hosszabb fiók- és almafeladathoz. A validációs MSE-vel való összehasonlítás a hasznos rész. A modellválasztás validációs veszteség alapján rosszul rangsorolja ezeket az ellenőrzőpontokat, és a 0.924-es Pearson r vizuális illesztés mellett azt jelenti, hogy ha egy ellenőrzőpont jobban teljesít a SIMPLER-ben, akkor nagyon valószínű, hogy a valóságban is jobban teljesít. Ez egy megismételhető, éjszakai eredménytábla, és nem követeli meg, hogy bármit is higgyünk a szimulációból a valóságba történő edzési átvitelről.

Ha szélesebb kontextust szeretne arról, hogy ezek a benchmark számok mit mondanak és mit nem mondanak el egy , azt külön írtuk le .

Amiben ez a platform nem segít

A határok tisztázása mindenki idejét megtakarítja. Az AY-Robots egy rögzítő, képző és kiszolgáló platform. Nincs benne szimulátor.

• Nincs Isaac Lab, nincs MimicGen, nincs világmodell, nincs jelenetkészítés. Ha generált adatokat szeretne, máshol generálja, és hozza el az eredményt.
• A trénerek LeRobot adatkészleteket fogyasztanak, és semmi mást. Egy szimulátor exportot át kell alakítani, mielőtt bemenetként szolgálna, és a megfelelő verziónak kell lennie: v2.0 vagy v2.1 a GR00T N1.5 és N1.7 esetén, v3.0 a Pi0.5, SmolVLA és ACT esetén.
• A GR00T finomhangolási belépési pontja egy tyro CLI, amely nem tesz közzé seed-et, így a GR00T futtatások nem bitről bitre reprodukálhatók. Ha gondos szimuláció-val-valóság összehasonlító ablációt futtat, ez komoly korlátozás. A lerobot saját alapértelmezett seed-je 1000, és az ACT, SmolVLA és Pi0.5 formák valóban felfednek egy seed mezőt.
• A gradiens akkumulációt valójában csak a két GR00T trénernél alkalmazzák. A Pi0.5 és SmolVLA esetében a mező létezik az űrlapon, de a lerobot 0.5.1-nek nincs ilyen flag-je, így nem csinál semmit.
• Az inferenciának a szervók mellett kell lennie a gyors feladatokhoz. A vezérlőhurok 20-485 ms akció lépésenként, modelltől függően, és a nyilvános internetes oda-vissza utak hozzáadása egy működő policy-t habozóvá tesz. A távoli inferencia lassú pick-and-place feladatokhoz életképes, de nem gyors reaktív mozgáshoz.

Egy költségvetés, amit meg tud védeni

Tegye egymás mellé a két utat azokkal a számokkal, amelyeket mindegyik ténylegesen közzétesz, és a döntés általában magától értetődővé válik egy egyfeladatos projektnél, alacsony költségű karon.

Egy SO-100-as első szabályzatához rögzítsen. A és a eljuttatja Önt egy kiszolgált ellenőrzőponthoz egy kávé áráért, és Ön rendelkezni fog bármely jövőbeli közös képzési keverék valós felével. Nyúljon a szimulátorhoz, ha van egy működő alapvonala és egy konkrét általánosítási hiba, amelyet meg tud nevezni, például egy olyan szabályzat, amely .

Egy recept, amely tiszteletben tartja a bizonyítékokat

1. 1
   Először rögzítse a valós alapvonalat

   30 epizód a SmolVLA számára, 50 az ACT, a GR00T N1.7 és a Pi0.5 számára. Képezze egyszer. Amiben az adott irányelv kudarcot vall, az lesz a szintetikus adatok specifikációja.

2. 2
   Nevezze meg az általánosítási hibát

   Objektum póza? Világítás? Asztal magassága? Zavaró tényezők? Az utasítás más megfogalmazása? A szintetikus adatok egyszerre pontosan egy ilyen dologban jók, és használhatatlanok, ha nem tudja megmondani, melyikben.

3. 3
   Válassza ki a legolcsóbb családot, amely lefedi

   Póz- és elrendezés-variáció: trajektória-szorzás. Világítás és textúra: először képaugmentáció, másodszor világmodell. Teljesen új jelenetek: fizikai szimulációk, és fogadja el a modellezés költségeit.

4. 4
   Generáljon, majd agresszíven dobja ki

   A generálási kísérletek kudarcot vallanak, és az Isaac Lab saját jelölt sikerességi aránya 70 százaléktól egészen 1 százalék alá esik, feladattól függően. Csak a sikeres, feladatot teljesítő trajektóriákat tartsa meg, és nézzen meg egy mintát videóként, mielőtt megbízik a tételben.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Képezze együtt, ne cserélje le

   Egyesítse a generált epizódokat a valósakkal egyetlen LeRobot adatkészletbe, azonos kamera kulcsokkal és ízület sorrenddel. A 38 százalékos adat egy közös képzési adat.

6. 6
   Értékelje ki a valós karon, és csak ott

   A szimulált kiértékelés jó rangsorolási jel (Pearson r 0.924 a SIMPLER vizuális illesztési beállításában), de nem az elfogadási teszt. Futtassa a mentett állapotot a tesztpadon, mielőtt hisz benne.

Ha inkább egy ellenőrzőlistából indulna ki magukhoz a valós felvételekhez, lefedi a kamera elhelyezését, következményeit és azokat a hibamódokat, amelyek egy adatkészletet használhatatlanná tesznek. A formátum részletei megtalálhatók , a hiperparaméterekkel kapcsolatos részletek pedig .