Syntetická data pro robotické politiky: Kde pomáhá simulace

Každých několik měsíců někdo zjistí, že nahrávání padesáti epizod ručně je pomalé, a ptá se, zda by je místo toho nemohl produkovat simulátor. Je to oprávněná otázka. Upřímná odpověď má tři části: generovaná data pomáhají, nenahrazují skutečné nahrávky a poměr mezi těmito dvěma fakty závisí zcela na tom, jaký druh syntetických dat máte na mysli.

Tato stránka podrobně popisuje, co skutečně změřily publikované práce, co můžete dnes spustit na nízkonákladovém rameni, jako je SO-100, a kde mezera mezi simulací a realitou (sim-to-real gap) pohlcuje zisky. Stručná verze, před detaily: systémy, které vykazují největší násobitele, násobí malou sadu skutečných lidských demonstrací. Neodstraňují potřebu těchto demonstrací.

Čtyři různé věci se nazývají syntetická data

Před porovnáváním čísel stojí za to rozdělit rodiny, protože článek uvádějící 100násobný násobek a článek uvádějící 5bodový nárůst úspěšnosti často popisují stejný pipeline z různých konců. Společným jmenovatelem je, že něco v datové sadě LeRobot bylo vytvořeno strojem, spíše než zaznamenáno z fyzické paže. Co se liší, je která část.

Pouze první tři jsou syntetická data ve smyslu, jaký má na mysli tento článek. Čtvrtá stojí za zmínku, protože se dostává do stejné konverzace a je zdaleka nejlevnější věcí na seznamu. Pokud jste ještě nezapnuli augmentace, se kterými váš tréninkový systém dodává, udělejte to před instalací simulátoru.

Co skutečně říkají publikovaná čísla

Zde je důkazní základna s čísly tak, jak je uvádějí zdroje, nikoli jak je shrnují tiskové zprávy. Každý řádek níže pochází z článku nebo projektové stránky přečtené 23. srpna 2026.

Vzor napříč každou poctivou ablací je stejný. Syntetická data levně rozšiřují pokrytí. Nevytvářejí informace o vašem chapadle, prohnutí serva, osvětlení nebo výšce stolu, které by nebyly někde v reálných demonstracích. Pokud vaše politika selže, protože se koncový efektor zavře o půl sekundy příliš pozdě, žádné množství simulovaných variací to neopraví. To je problém s časováním chapadla v reálných záznamech.

Jedno zjištění MimicGen stojí za to si vzít do vlastních nahrávacích sezení, protože jde proti obvyklým radám. Projekt vygeneroval dva datové soubory na Square D2, jeden s 10 ukázkami od kvalitnějšího lidského operátora a jeden s 10 ukázkami od méně kvalitního operátora, oba převzaté z vícelidského datového souboru robomimic Square. Politiky trénované na každém dosáhly srovnatelných výsledků, což autoři interpretovali jako znamení, že v režimu velkého objemu dat nemusí kvalita dat tolik záležet. Čtěte pozorně, to je prohlášení o deseti počátečních demonstracích, nikoli o vašich padesáti reálných epizodách. Znamená to, že mírně nedokonalá počáteční sada není to, co stojí mezi vámi a použitelným generovaným datovým souborem. Neznamená to, že reálné epizody, na kterých spoluvytváříte trénink, mohou být nedokonalé, protože právě ty nesou informace, které simulátor nemá.

Propast mezi simulací a realitou, konkrétně

Mezera je obvykle diskutována jako jediná veličina, což je nepraktické. Jedná se o nejméně pět samostatných neshod, a ty mají různé velikosti na hobby rameni za 110 až 150 EUR než na rameni Franka.

• Kontakt a tření. Isaac Lab jasně uvádí, že při stejném hardwaru a stejné verzi Isaac Sim a PhysX je simulace reprodukovatelná, ale výsledky se liší napříč různými hardwarovými konfiguracemi kvůli přesnosti plovoucí čárky a chybám zaokrouhlování, a že PhysX nezaručuje determinismus pro žádnou scénu s nemechanickými tělesy, jako jsou látky nebo měkká tělesa.
• Pohon. Sběrnicové servo Feetech STS3215 běžící na 7.4 V se pod zatížením prohýbá, má vůli a mění chování, jak se zahřívá. Model MJCF pro SO-101 si půjčuje parametry motoru z nesouvisejícího projektu, namísto aby je identifikoval na vašem rameni.
• Renderování. Šum kamery, rolovací závěrka, automatická expozice a přesný odstín vašeho stolu nejsou v renderu. Toto je polovina mezery, kterou byl Cosmos-Transfer1 postaven k uzavření: jeho pracovní postup robotické augmentace mapuje jeden robotický syntetický příklad na více realistických příkladů z segmentace, hloubky nebo okrajového podmínění.
• Časování. Simulátor krokuje pevnou rychlostí. Skutečná řídicí smyčka ne, a samotný model stojí 20 až 485 ms na akční krok v závislosti na tom, který jste si vybrali. Viz latence inference.
• Statistiky objektů. Simulované scény jsou vzorkovány z distribuce, kterou někdo zapsal. Váš kuchyňský stůl není.

Co simulovaný SO-100 skutečně ví o vašem rameni

Toto je část, která rozhoduje, zda cokoli z výše uvedeného stojí za váš víkend, a prvním překvapením je, že SO-100 a SO-101 nejsou obsluhovány stejně. Repozitář SO-ARM100 od TheRobotStudio uchovává svá simulační aktiva pod Simulation/. Složka SO100 obsahuje jediný soubor URDF a nic jiného. Složka SO101 obsahuje soubory URDF i MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, odpovídající URDF a joints_properties.xml. Pokud chcete fyzikální model spíše než kinematický řetězec, chcete soubory SO-101.

Byly vygenerovány pomocí pluginu onshape-to-robot z CAD modelu navrženého v Onshape, což znamená, že kinematika a vizuální sítě jsou stejně dobré jako CAD. Dynamika je jiný příběh a README samotného repozitáře otevřeně hovoří o třech věcech. Základní kolizní sítě byly odstraněny kvůli problematickému koliznímu chování během simulace a plánování. Vlastnosti motoru STS3215 jsou převzaty z projektu Open Duck Mini, spíše než měřeny na SO-101. A konvence uchopovače LeRobot, kde 0 je plně zavřeno a 100 je plně otevřeno, není explicitně zatím zohledněna v souborech URDF a MuJoCo. Každá z těchto věcí je místo, kde se politika trénovaná čistě v tomto modelu bude chovat jinak na vašem stole.

Randomizace domény a co neopravuje

Standardní odpovědí na tuto mezeru je přestat se snažit odpovídat realitě a místo toho trénovat napříč dostatečně širokou distribucí, aby realita do ní spadala. Tobin a kolegové ukázali silnou verzi tohoto v roce 2017: detektor objektů trénovaný pouze na simulovaných obrazech s nerealistickými náhodnými texturami, bez jakéhokoli předtrénování na reálných obrazech, lokalizoval reálné objekty s přesností 1.5 cm a zůstal robustní vůči rušivým elementům a částečným zakrytím.

Isaac Lab odhaluje stejnou myšlenku jako termíny událostí, které připojujete ke konfiguraci prostředí. Toto jsou ovládací prvky, podle jejich skutečných názvů funkcí v isaaclab.envs.mdp, takže si je můžete přečíst, místo abyste hádali.

Zde je limit, a je to ten, na který lidé narážejí. Randomizace rozšiřuje distribuci, kterou politika viděla uvnitř modelu, který jste vytvořili. Nemůže zavést fyzický efekt, který simulátor nereprezentuje. Pokud PhysX nemodeluje vůli a tepelný pokles vašich serv STS3215, randomizace jejich tuhosti nenaučí politiku nic o vůli. Proto rameno, které pod politikou trénovanou v simulaci není problémem rozpočtu randomizace. Je to problém modelování.

Manuální cesta: generování dat v Isaac Lab

Isaac Gym je zastaralý software. Vlastní stránka NVIDIA má nadpis „Isaac Gym – Nyní zastaralé“ a uvádí, že vývojáři si jej mohou stáhnout a nadále používat, ale že již není podporován, a místo toho odkazuje na Isaac Lab. Pokud chcete historii, pokryli jsme obojí: a . Pro novou práci v roce 2026 začněte s Isaac Lab.

1. 1
   Nainstalujte Isaac Sim a Isaac Lab

   Stránka s instalací pip uvádí, že pokyny jsou pro Isaac Sim 5.X, který vyžaduje Python 3.11. Klonování zdrojového kódu vám poskytne skripty, které jsou potřeba pro další kroky.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Zaznamenejte přibližně deset lidských demonstrací

   Dokumentace Isaac Lab je specifická: pro úspěšné provedení následujících kroků je potřeba přibližně 10 úspěšných demonstrací. Její tipy jsou stejně specifické. Udržujte demonstrace krátké, zvolte přímou cestu namísto pohybu podél libovolných os a nedělejte pauzy, protože pro politiku není zřejmé, proč a kdy se má zastavit.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anotujte hranice podúloh

   Mimic rozděluje vstupní demonstrace na podúlohy, aby mohl znovu načasovat a znovu zacílit segmenty. Příznak --auto to provádí bez lidského zásahu pro úlohy, které definují automatickou anotaci; bez něj se pozastavíte pomocí B, pokračujete pomocí N a označíte hranici pomocí S. Všimněte si, že ID úlohy získá příponu -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Vygenerujte znásobenou datovou sadu

   Toto je krok, který změní 10 na 1000. Mimic aplikuje booleovské kritérium úspěšnosti na každého kandidáta a ponechá pouze ty, kteří dokončili úlohu, takže počet výstupů je nižší než počet pokusů. Dokumentace uvádí, že úspěšnost kandidátů je až 70 procent v jednoduchých případech a pod 1 procento pro obtížné úlohy a složité roboty: přibližně 50 procent pro skládání kostek Franka a 65 až 80 procent pro GR1T2 pick and place, kde 1000 demonstrací trvá 18 až 40 minut (19 minut na RTX ADA 6000 při 80 procentech).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Převeďte HDF5 na datovou sadu LeRobot

   Vše výše uvedené produkuje HDF5 ve stylu robomimic, a jádro Isaac Lab neobsahuje vlastní konvertor LeRobot: jeho dokumentace pouze uvádí, že vygenerovanou datovou sadu můžete převést do formátu LeRobot. Dva projekty dodávají skutečný konvertor. IsaacLab-Arena dodává konvertor zaměřený na GR00T, který je zcela řízen konfigurací YAML, a LeIsaac dodává vlastní pár pro cestu SO-101 (viz níže).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Proč pokusy o generování selhávají a co změnit

Míra úspěšnosti kandidáta, která kolísá mezi 70 procenty a méně než 1 procentem, není záhadou a Isaac Lab dokumentuje běžné nástrahy, místo aby vás nechal hádat. Každá z nich je něco, co ovládáte v době nahrávání, a proto se vyplatí přečíst si tento seznam předtím, než nahrajete deset počátečních demonstrací, spíše než po prvním neuspokojivém spuštění generování.

• Demonstrace jsou příliš dlouhé. Delší časový horizont je pro politiku obtížnější se naučit. Začněte blízko prvního objektu a minimalizujte pohyb.
• Demonstrace nejsou plynulé. Nepravidelný pohyb je pro politiku obtížné rozluštit a lepší hardware pro teleoperaci poskytuje lepší data: dokumentace jasně uvádí, že SpaceMouse překonává klávesnici.
• Pauzy. Pauzy se obtížně učí, protože pro politiku není zřejmé, proč a kdy pauzovat. Udržujte pohyb plynulý.
• Příliš mnoho dílčích úkolů. Více dílčích úkolů znamená více spojování mezi segmenty trajektorie, což vede k méně plynulému pohybu a nižší míře úspěšnosti generování. Označte hranice, kde je nepravděpodobné, že by se rameno s něčím srazilo.
• Žádný akční šum. Akční šum činí výsledné politiky robustnějšími.
• Nahrávání oříznuto příliš těsně. Pokud se nahrávání zastaví přesně na snímku, kdy se spustí podmínka úspěchu, nemusí se při přehrávání znovu spustit. Na konci ponechte vyrovnávací paměť.
• Nedeterministické přehrávání. Fyzika v Isaac Lab není deterministicky reprodukovatelná napříč env.reset, takže některé lidské demonstrace selžou při přehrávání. Shromážděte více, než potřebujete, a ponechte ty, které přežijí anotaci. Vše, co se dostane do souboru HDF5 generovaného Mimic, je úspěšná demonstrace a může být použito pro trénink, i když přehrávání později selže.

Krok interpolace mezi spojenými segmenty dílčích úkolů má svůj vlastní ladicí prvek a počet interpolačních kroků, které potřebujete, se mění s rychlostí pohybu robota a šířkou distribučního rozsahu resetu objektu. Složitý úkol s velkým distribučním rozsahem resetu zanechává větší mezery mezi segmenty, což vyžaduje více interpolačních kroků, aby se dosáhlo plynulého pohybu. Pokud vaše generovaná videa ukazují, že se rameno mezi fázemi trhavě pohybuje, je to parametr, na který se máte podívat, než budete vinit počáteční demonstrace.

Stejný pipeline na SO-101, se skutečným vedoucím ramenem

Toto je zajímavé pro každého, kdo čte tuto stránku, protože je to jediný otevřený pipeline, který umisťuje SO-101 dovnitř Isaac Lab a umožňuje vám ho ovládat fyzickým ramenem leader, které již vlastníte. LeIsaac, verze 0.4.0 v době psaní, je oficiální simulační hřiště pro učení napodobováním integrované do EnvHub LeRobotu. Jeho tabulka kompatibility uvádí tři funkční kombinace; nejnovější páruje Isaac Sim 5.1 s Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 a Python 3.11, a dokumentace doporučuje Isaac Sim 5.0 nebo novější pro karty řady 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

S tímto nastavením rameno leader na /dev/ttyACM0 ovládá simulovaného follower a zaznamenává přímo do HDF5. Smyčka leader-follower je stejná, jakou již znáte ze skutečného nahrávání, pouze follower je tuhé těleso v PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Většina těchto ID existuje také jako -Direct-v0, a python scripts/environments/list_envs.py vypíše aktuální seznam. Můžete také zcela přeskočit objížďku HDF5 a zapisovat formát LeRobot během teleoperace přidáním tří příznaků. Dvě upozornění pocházejí ze samotné dokumentace: rekordér automaticky přeskočí prvních 5 snímků každé epizody, aby se zabránilo nestabilitě z počátečních stavů, a může způsobit mírné zpoždění při teleoperaci, což je přesně ten typ věci, která tiše mění charakter vašich demonstrací. Také ukládá pouze epizody, které úkol označil jako úspěšné.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Krok násobení se poté provádí na těchto nahrávkách. LeIsaac obaluje Isaac Lab Mimic do čtyř příkazů, protože Mimic zobecňuje trajektorie z pozic koncového efektoru a objektu: převede akce v kloubovém prostoru na akce založené na IK, anotuje, generuje a poté převede zpět do kloubového prostoru.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Poté převeďte na LeRobot. Toto je krok, kde se projevuje pravidlo formátu platformy, a LeIsaac náhodou dodává přesně dva konvertory, které potřebujete: isaaclab2lerobot.py, který zapisuje LeRobot v2, což je formát, který používají GR00T loadery, a isaaclab2lerobotv3.py zapisuje v3 pro Pi0.5, SmolVLA a ACT. Tyto dva skripty přijímají identické argumenty, ale používají různé verze lerobot a konvertovány jsou pouze úspěšné epizody.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dvě cesty k natrénované politice

Video modely světa: nejnovější vrstva a nejméně měřená

Myšlenka DreamGen spočívá v tom, že video generativní model, adaptovaný na cílové ztělesnění robota, si dokáže představit věrohodné epizody ve scénách, které jste nikdy nenavštívili. Pipeline má čtyři fáze: jemné doladění video světového modelu, generování fotorealistických syntetických robotických videí, obnovení sekvencí pseudo-akcí pomocí latentního akčního modelu nebo modelu inverzní dynamiky a poté trénování robotické politiky na výsledku. Repozitář GR00T-dreams od NVIDIA implementuje přesně to.

Hlavní výsledek je skutečný a stojí za to ho brát vážně: data z teleoperace z jediné úlohy pick-and-place v jednom prostředí vyprodukovala 22 nových chování na humanoidovi, a to jak ve známých, tak v neznámých prostředích. Stejně reálná je i výhrada, která se nachází ve třetí fázi.

Společný trénink je recept, který skutečně ukazuje zisky

Pokud si z literatury vezmete jedno provozní ponaučení, vezměte si toto. Studie ko-tréninku simulace a reality (Maddukuri a kolegové, 2025) si kladla za cíl najít jednoduchý recept na použití simulačních dat k řešení úloh robotické manipulace založených na vidění, napříč dvěma doménami, robotickým ramenem a humanoidem, a jejím závěrem je, že trénujete na směsi. Simulační data zlepšila výkon úloh v reálném světě v průměru o 38 procent a článek výslovně uvádí, že to platilo i při značných rozdílech mezi simulačními a reálnými daty.

Tato poslední klauzule je důležitější než 38 procent. Znamená to, že simulace nemusí být dokonalým digitálním dvojčetem, aby byla užitečná, za předpokladu, že reálná data jsou ve směsi, aby ji ukotvila. Přenos pouze ze simulace je nákladná cesta: stejný článek uvádí, že trénování politiky výhradně v simulaci a její přenos do reálného světa často vyžaduje značné lidské úsilí k překlenutí propasti mezi realitou. Ko-trénink většinu tohoto úsilí přeskočí tím, že nikdy nepožaduje, aby politika tuto propast překlenula sama.

Prakticky, na této platformě, ko-trénink znamená jednu věc: vložte obě sady epizod do stejné datové sady LeRobot s konzistentními klíči kamery, konzistentním pořadím kloubů a konzistentními jednotkami, a poté spusťte normální jemné doladění. Ve formuláři pro trénink není žádný ovladač pro váhu směsi. Pokud chcete poměr simulace k realitě 3:1, vyjádříte to počtem epizod každého typu, které vložíte do datové sady.

Nejlevnější výhra ze simulace nejsou tréninková data

Je to vyhodnocení. Spuštění desítek reálných pokusů na úkol pro porovnání dvou je den práce ramene a rameno se mezi pokusy posouvá. SIMPLER (Li a kolegové, 2024) vytvořil simulovaná prostředí, jejichž účelem je spíše hodnocení reálných politik než jejich trénování, a poté změřil, jak dobře simulované pořadí předpovídá to reálné. Jedno prostředí SIMPLER se vykresluje rychlostí 3 500 simulačních kroků za sekundu na spotřebitelské kartě RTX 4090 v rozlišení 640 x 512, což při simulační frekvenci 500 Hz představuje 7násobné zrychlení oproti reálnému vyhodnocení.

Jedná se o průměry napříč třemi skupinami úkolů Google Robot pro šest běžných open-source kontrolních bodů: tři kontrolní body RT-1 v různých fázích tréninku, RT-1-X, RT-2-X a Octo-Base. Reálná strana nemá jednotný počet pokusů, což je dobré vědět, než to budete citovat: 75 pokusů pro zvednutí plechovky koly, 60 pro přesun blízko, 54 pro úkoly otevření a zavření zásuvky a 27 pro delší úkol zásuvky a jablka. Porovnání s validačním MSE je užitečná část. Výběr modelu pomocí validační ztráty řadí tyto kontrolní body špatně, a Pearsonovo r 0.924 při vizuální shodě znamená, že pokud kontrolní bod dosáhne lepších výsledků v SIMPLER, s velkou pravděpodobností dosáhne lepších výsledků i na testovací lavici. To je opakovatelná noční výsledková tabule a nevyžaduje, abyste věřili čemukoli ohledně přenosu tréninku ze simulace do reality.

Pokud chcete širší kontext o tom, co vám tato čísla benchmarků říkají a neříkají o , sepsali jsme to samostatně v .

Kde vám tato platforma nepomůže

Jasné vymezení hranic šetří všem čas. AY-Robots je platforma pro nahrávání, trénování a obsluhu. Neobsahuje žádný simulátor.

• Žádný Isaac Lab, žádný MimicGen, žádný světový model, žádné vytváření scén. Pokud chcete generovaná data, vygenerujete je jinde a přinesete výsledek.
• Tréninkové modely spotřebovávají datové sady LeRobot a nic jiného. Export ze simulátoru musí být před vstupem převeden a musí mít správnou verzi: v2.0 nebo v2.1 pro GR00T N1.5 a N1.7, v3.0 pro Pi0.5, SmolVLA a ACT.
• Vstupní bod pro jemné doladění GR00T je tyro CLI, které neexponuje žádné seed, takže běhy GR00T nejsou bitově reprodukovatelné. Pokud provádíte pečlivou simulaci versus reálnou ablaci, je to skutečné omezení. Výchozí seed lerobot je 1000 a formuláře ACT, SmolVLA a Pi0.5 pole seed exponují.
• Akumulace gradientů je skutečně aplikována pouze pro dva tréninkové modely GR00T. Pro Pi0.5 a SmolVLA pole existuje ve formuláři, ale lerobot 0.5.1 takový příznak nemá, takže nic nedělá.
• Inference musí být umístěna vedle servomotorů pro rychlé úlohy. Řídicí smyčka je 20 to 485 ms na akční krok v závislosti na modelu, a přidání zpátečních cest přes veřejný internet změní funkční politiku v váhavou. Vzdálená inference je životaschopná pro pomalé úlohy pick-and-place, nikoli pro rychlý reaktivní pohyb.

Rozpočet, který můžete obhájit

Postavte obě cesty vedle sebe s čísly, která každá skutečně publikuje, a rozhodnutí se obvykle učiní samo pro projekt s jedním úkolem na nízkonákladovém rameni.

Pro první politiku na SO-100, nahrávejte. a vás dostanou k nasazenému kontrolnímu bodu za cenu kávy a budete mít reálnou polovinu jakékoli budoucí směsi pro společný trénink. Sáhněte po simulátoru, když máte funkční základ a konkrétní selhání generalizace, které můžete pojmenovat, například politiku, která .

Recept, který respektuje důkazy

1. 1
   Nejprve zaznamenejte skutečnou základní linii

   30 epizod pro SmolVLA, 50 pro ACT, GR00T N1.7 a Pi0.5. Trénujte jednou. Cokoli, v čem tato politika selže, je vaše specifikace pro syntetická data.

2. 2
   Pojmenujte selhání generalizace

   Pozice objektu? Osvětlení? Výška stolu? Rušivé elementy? Jiné znění instrukce? Syntetická data jsou dobrá přesně v jedné z těchto věcí najednou a jsou k ničemu, pokud nemůžete říct, ve které.

3. 3
   Vyberte nejlevnější rodinu, která to pokrývá

   Variace pozice a rozložení: násobení trajektorií. Osvětlení a textura: nejprve augmentace obrazu, poté model světa. Zcela nové scény: fyzikální simulace a přijměte náklady na modelování.

4. 4
   Generujte, pak agresivně vyhazujte

   Pokusy o generování selhávají a vlastní úspěšnost kandidátů Isaac Lab se pohybuje od 70 procent až po méně než 1 procento v závislosti na úloze. Ponechte pouze úspěšné trajektorie dokončující úlohu a předtím, než důvěřujete dávce, si prohlédněte vzorek jako video.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Společně trénujte, nenahrazujte

   Sloučte vygenerované epizody se skutečnými do jednoho datasetu LeRobot s identickými klíči kamer a pořadím kloubů. Údaj 38 procent je údaj o společném trénování.

6. 6
   Vyhodnoťte na skutečném rameni, a pouze tam

   Simulované vyhodnocení je dobrý signál pro řazení (Pearson r 0.924 v nastavení vizuálního porovnávání SIMPLER), ale není to akceptační test. Spusťte checkpoint na testovací lavici, než mu uvěříte.

Pokud byste raději začali kontrolním seznamem pro samotné skutečné nahrávky, pokrývá umístění kamery, důsledky a režimy selhání, které činí dataset nepoužitelným. Podrobnosti o samotném formátu naleznete v , a stranu hyperparametrů v .