Syntetiske Data til Robotpolitikker: Hvor Simulation Hjælper

Hver par måneder finder nogen ud af, at optagelse af halvtreds episoder manuelt er langsomt, og spørger om en simulator i stedet kunne producere dem. Det er et rimeligt spørgsmål. Det ærlige svar har tre dele: genererede data hjælper, det erstatter ikke de virkelige optagelser, og forholdet mellem disse to fakta afhænger udelukkende af, hvilken slags syntetiske data du mener.

Denne side gennemgår, hvad det publicerede arbejde faktisk målte, hvad du kan køre i dag på en billig arm som SO-100, og hvor sim-til-virkelighed-gabet æder gevinsterne. Den korte version, før detaljen: de systemer, der rapporterer de største multiplikatorer, multiplicerer et lille sæt af virkelige menneskelige demonstrationer. De fjerner ikke behovet for dem.

Fire forskellige ting kaldes syntetiske data

Før man sammenligner tal, er det værd at adskille familierne, for en artikel, der rapporterer en 100x multiplikator, og en artikel, der rapporterer en 5-punkts succesforbedring, beskriver ofte den samme pipeline fra forskellige ender. Den fælles tråd er, at noget i LeRobot datasættet blev produceret af en maskine snarere end optaget fra en fysisk arm. Hvad der adskiller sig, er hvilken del.

Kun de første tre er syntetiske data i den betydning, denne artikel mener. Den fjerde er værd at nævne, fordi den bliver samlet i den samme samtale og er langt den billigste ting på listen. Hvis du ikke allerede har slået de augmenteringer til, som din træner leveres med, så gør det, før du installerer en simulator.

Hvad de offentliggjorte tal faktisk siger

Her er evidensgrundlaget, med tallene som kilderne angiver dem, snarere end som pressemeddelelserne opsummerer dem. Hver række nedenfor stammer fra et papir eller en projektside læst den 23. august 2026.

Mønsteret på tværs af enhver ærlig ablation er det samme. Syntetiske data udvider dækningen billigt. Det skaber ikke information om din gribeklo, din servohængning, din belysning eller din bordhøjde, som ikke allerede var til stede i de virkelige demonstrationer et sted. Hvis din politik fejler, fordi endeffektoren lukker et halvt sekund for sent, kan ingen mængde simuleret variation rette op på det. Det er et gribetids-problem i de virkelige optagelser.

En MimicGen-opdagelse er værd at tage med ind i dine egne optagelsessessioner, fordi den går imod det sædvanlige råd. Projektet genererede to datasæt på Square D2, det ene baseret på 10 demoer fra en menneskelig operatør af bedre kvalitet og det andet på 10 demoer fra en operatør af dårligere kvalitet, begge taget fra robomimic multi-human Square datasættet. Politikker trænet på hver opnåede sammenlignelige resultater, hvilket forfatterne tolkede som et tegn på, at i et storskala dataregime er datakvalitet måske ikke så afgørende. Læs omhyggeligt, det er en udtalelse om de ti seed-demonstrationer, ikke om dine halvtreds virkelige episoder. Det betyder, at et lidt rodet seed-sæt ikke er det, der står mellem dig og et brugbart genereret datasæt. Det betyder ikke, at de virkelige episoder, du co-træner på, kan være rodede, for det er dem, der bærer den information, simulatoren ikke har.

Sim-til-virkeligheds-gabet, konkret

Gabet diskuteres normalt som en enkelt størrelse, hvilket er unyttigt. Det er mindst fem separate uoverensstemmelser, og de har forskellige størrelser på en 110 til 150 EUR hobbyarm, end de har på en Franka.

• Kontakt og friktion. Isaac Lab angiver klart, at givet den samme hardware og den samme Isaac Sim- og PhysX-version er simuleringen reproducerbar, men at resultaterne varierer på tværs af forskellige hardwarekonfigurationer på grund af flydende komma-præcision og afrundingsfejl, og at PhysX ikke garanterer determinisme for nogen scene med ikke-stive legemer som stof eller bløde legemer.
• Aktivering. En Feetech STS3215 bus-servo, der kører ved 7.4 V, synker under belastning, har slør og ændrer adfærd, når den opvarmes. MJCF-modellen for SO-101 låner sine motorparametre fra et urelateret projekt i stedet for at identificere dem på din arm.
• Rendering. Kamerastøj, rullende lukker, autoeksponering og den nøjagtige farvetone på dit bord er ikke med i renderen. Dette er den halvdel af gabet, som Cosmos-Transfer1 blev bygget til at lukke: dens robotik-augmenteringsworkflow mapper ét robotik-syntetisk eksempel til flere realistiske eksempler fra segmentering, dybde eller kantkonditionering.
• Timing. En simulator skrider frem med en fast hastighed. En reel kontrolsløjfe gør ikke, og selve modellen koster 20 til 485 ms pr. handlingstrin afhængigt af, hvilken du valgte. Se inferens latenstid.
• Objektstatistik. Simulerede scener er samplet fra en distribution, som nogen har nedskrevet. Dit køkkenbord er ikke.

Hvad en simuleret SO-100 faktisk ved om din arm

Dette er den del, der afgør, om noget af ovenstående er din weekend værd, og den første overraskelse er, at SO-100 og SO-101 ikke er lige godt dækket. TheRobotStudios SO-ARM100 repository opbevarer sine simuleringsaktiver under Simulation/. SO100-mappen indeholder en enkelt URDF-fil og intet andet. SO101-mappen indeholder både URDF- og MuJoCo-filer: scene.xml, so101_new_calib.xml, so101_old_calib.xml, de matchende URDF'er og en joints_properties.xml. Hvis du ønsker en fysikmodel frem for en kinematisk kæde, skal du bruge SO-101-filerne.

De blev genereret med onshape-to-robot-plugin'et fra en CAD-model designet i Onshape, hvilket betyder, at kinematikken og de visuelle meshes er lige så gode som CAD-modellen. Dynamikken er en anden historie, og repositoryets egen README er ærlig omkring tre ting. Kollisions-meshes for basen blev fjernet på grund af problematisk kollisionsadfærd under simulering og planlægning. STS3215-motoregenskaberne er tilpasset fra Open Duck Mini-projektet snarere end målt på en SO-101. Og LeRobot-gribekonventionen, hvor 0 er helt lukket og 100 er helt åben, er endnu ikke eksplicit afspejlet i URDF- og MuJoCo-filerne. Hver af disse er et sted, hvor en politik, der udelukkende er trænet i den model, vil opføre sig anderledes på dit skrivebord.

Domænerandomisering, og hvad den ikke løser

Standardsvaret på kløften er at stoppe med at forsøge at matche virkeligheden og i stedet træne på tværs af en distribution, der er bred nok til, at virkeligheden falder inden for den. Tobin og kolleger viste den stærke version af dette i 2017: en objektdetektor, der udelukkende var trænet på simulerede billeder med urealistiske tilfældige teksturer, uden nogen forudgående træning på virkelige billeder overhovedet, lokaliserede virkelige objekter med en nøjagtighed på 1,5 cm og forblev robust over for distraktioner og delvise okklusioner.

Isaac Lab præsenterer den samme idé som de hændelsesudtryk, du knytter til en miljøkonfiguration. Dette er knapperne, ved deres faktiske funktionsnavne i isaaclab.envs.mdp, så du kan læse dem i stedet for at gætte.

Her er grænsen, og det er den, folk snubler over. Randomisering udvider den fordeling, politikken har set inde i den model, du har bygget. Den kan ikke introducere en fysisk effekt, som simulatoren ikke repræsenterer. Hvis PhysX ikke modellerer slør og termisk nedgang i dine STS3215-servoer, lærer randomisering af deres stivhed politikken intet om slør. Derfor er en arm, der ryster og derefter synker under en sim-trænet politik, ikke et problem med randomiseringsbudgettet. Det er et modelleringsproblem.

Den manuelle vej: generering af data i Isaac Lab

Isaac Gym er forældet software. NVIDIAs egen side er overskrevet "Isaac Gym - Nu forældet" og siger, at udviklere kan downloade og fortsætte med at bruge det, men at det ikke længere understøttes, og henviser i stedet til Isaac Lab. Hvis du vil have historien, har vi dækket begge: og . For nyt arbejde i 2026, start med Isaac Lab.

1. 1
   Installer Isaac Sim og Isaac Lab

   Pip-installationssiden angiver, at instruktionerne er til Isaac Sim 5.X, som kræver Python 3.11. Kildeklonen giver dig de scripts, de næste trin kræver.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Optag omkring ti menneskelige demonstrationer

   Isaac Lab-dokumentationen er specifik: omkring 10 succesfulde demonstrationer er påkrævet for at de følgende trin lykkes. Dets tips er lige så specifikke. Hold demonstrationerne korte, tag en direkte vej i stedet for at bevæge dig langs vilkårlige akser, og hold ikke pause, da det ikke er indlysende for en politik, hvorfor og hvornår man skal holde pause.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Annoter delopgavegrænserne

   Mimic opdeler inputdemonstrationerne i delopgaver, så det kan om-tidsindstille og om-målrette segmenterne. Flaget --auto gør dette uden et menneske i løkken for opgaver, der definerer automatisk annotering; uden det holder du pause med B, fortsætter med N og markerer en grænse med S. Bemærk, at opgave-ID'et får et -Mimic suffiks.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Generer det multiplicerede datasæt

   Dette er trinnet, der forvandler 10 til 1000. Mimic anvender et boolsk succeskriterium på hver kandidat og beholder kun dem, der fuldførte opgaven, så outputantallet er lavere end forsøgsantallet. Dokumentationen angiver, at kandidatens succesrate er så høj som 70 procent i simple tilfælde og under 1 procent for svære opgaver og komplekse robotter: omkring 50 procent for Franka-terningstakken og 65 til 80 procent for GR1T2 pick and place, hvor 1000 demoer tager 18 til 40 minutter (19 minutter på en RTX ADA 6000 ved 80 procent).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Konverter HDF5 til et LeRobot-datasæt

   Alt ovenstående producerer robomimic-smagende HDF5, og Isaac Lab-kernen leverer ingen egen LeRobot-konverter: dens dokumentation siger kun, at du kan konvertere det genererede datasæt til LeRobot-format. To projekter leverer den faktiske konverter. IsaacLab-Arena leverer en GR00T-målrettet, der udelukkende drives af en YAML-konfiguration, og LeIsaac leverer sit eget par til SO-101-ruten (se nedenfor).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Hvorfor genereringsforsøg mislykkes, og hvad man skal ændre

En kandidatsuccesrate, der svinger mellem 70 procent og under 1 procent, er ikke et mysterium, og Isaac Lab dokumenterer de almindelige faldgruber i stedet for at lade dig gætte. Hver eneste af dem er noget, du kontrollerer under optagelsen, hvilket er grunden til, at det betaler sig at læse denne liste, før du optager de ti seed-demonstrationer, snarere end efter den første skuffende generationskørsel.

• Demonstrationer er for lange. En længere tidshorisont er sværere for en politik at lære. Start tæt på det første objekt og minimer bevægelsen.
• Demonstrationer er ikke flydende. Uregelmæssig bevægelse er svær for en politik at tyde, og bedre teleoperationshardware giver bedre data: dokumentationen siger klart, at en SpaceMouse slår et tastatur.
• Pauser. Pauser er svære at lære, fordi det ikke er indlysende for en politik, hvorfor og hvornår den skal holde pause. Hold bevægelsen flydende.
• For mange delopgaver. Flere delopgaver betyder mere sammensyning mellem bane-segmenter, hvilket resulterer i mindre flydende bevægelse og en lavere generationssuccesrate. Annoter grænser, hvor armen sandsynligvis ikke vil kollidere med noget.
• Ingen handlingsstøj. Handlingsstøj gør de resulterende politikker mere robuste.
• Optagelse beskåret for stramt. Hvis optagelsen stopper på den nøjagtige ramme, hvor succesudtrykket udløses, udløses det muligvis ikke igen under afspilning. Efterlad en buffer i slutningen.
• Ikke-deterministisk afspilning. Fysikken i Isaac Lab er ikke deterministisk reproducerbar på tværs af env.reset, så nogle menneskelige demoer fejler ved afspilning. Indsaml mere, end du har brug for, og behold dem, der overlever annotering. Alt, der lander i en Mimic-genereret HDF5-fil, er en succesfuld demo og kan bruges til træning, selvom afspilning senere fejler.

Interpolationstrinnet mellem sammensyede delopgave-segmenter har sin egen justeringsknap, og antallet af interpolationstrin, du har brug for, skalerer med, hvor hurtigt robotten bevæger sig, og hvor bred objektets nulstillingsfordeling er. En kompleks opgave med en stor nulstillingsfordeling efterlader større huller mellem segmenterne, hvilket kræver flere interpolationstrin for at fremstå som kontinuerlig bevægelse. Hvis dine genererede videoer viser armen rykke mellem faser, er det den parameter, du skal se på, før du giver seed-demoerne skylden.

Den samme pipeline på en SO-101, med den rigtige lederarm

Dette er den interessante for alle, der læser denne side, fordi det er den eneste åbne pipeline, der placerer en SO-101 inde i Isaac Lab og lader dig styre den med den fysiske lederarm, du allerede ejer. LeIsaac, version 0.4.0 på skrivetidspunktet, er den officielle simulationslegeplads for imitationslæring, der er integreret i LeRobots EnvHub. Dens kompatibilitetstabel viser tre fungerende kombinationer; den nyeste parrer Isaac Sim 5.1 med Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 og Python 3.11, og dokumentationen anbefaler Isaac Sim 5.0 eller nyere til 50-seriens kort.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Når det er på plads, styrer lederarmen på /dev/ttyACM0 den simulerede følger og optager direkte til HDF5. Den leder-følger loop er den samme, som du allerede kender fra ægte optagelse, kun følgeren er et stift legeme i PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

De fleste af disse ID'er findes også som en -Direct-v0 variant, og python scripts/environments/list_envs.py udskriver den aktuelle liste. Du kan også helt springe HDF5-omvejen over og skrive LeRobot-format under teleoperation ved at tilføje tre flag. To forbehold kommer fra selve dokumentationen: optageren springer automatisk de første 5 billeder af hver episode over for at undgå ustabilitet fra starttilstande, og det kan forårsage små forsinkelser i teleoperationen, hvilket er præcis den slags ting, der stille og roligt ændrer karakteren af dine demonstrationer. Den gemmer også kun episoder, som opgaven har markeret som succesfulde.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Multiplikationstrinnet kører derefter på disse optagelser. LeIsaac indkapsler Isaac Lab Mimic i fire kommandoer, fordi Mimic generaliserer trajektorier fra end-effektor- og objektpositioner: konverter ledrumshandlingerne til IK-baserede handlinger, annoter, generer, og konverter derefter tilbage til ledrum.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Konverter derefter til LeRobot. Dette er trinnet, hvor platformens formatregel slår til, og LeIsaac leverer tilfældigvis præcis de to konvertere, du har brug for: isaaclab2lerobot.py skriver LeRobot v2, som GR00T-loaderne bruger, og isaaclab2lerobotv3.py skriver v3 til Pi0.5, SmolVLA og ACT.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

To veje til en trænet politik

Video-verdensmodeller: det nyeste lag, og det mindst målte

Idéen bag DreamGen er, at en video-generativ model, tilpasset den målrettede robotudførelse, kan forestille sig plausible episoder i scener, du aldrig har besøgt. Pipeline'en har fire stadier: finjuster video-verdensmodellen, generer fotorealistiske syntetiske robotvideoer, genopret pseudo-handlingssekvenser med en latent handlingsmodel eller en invers dynamikmodel, og træn derefter robotpolitikken på resultatet. NVIDIAs GR00T-dreams repository implementerer netop dette.

Hovedresultatet er reelt og værd at tage alvorligt: teleoperationsdata fra kun én pick-and-place-opgave i ét miljø producerede 22 nye adfærdsmønstre på en humanoid, i både kendte og ukendte miljøer. Forbeholdet er lige så reelt og ligger i den tredje fase.

Co-træning er opskriften, der faktisk viser gevinster

Hvis du tager én operationel lektion fra litteraturen, så tag denne. Sim-og-virkeligheds co-træningsstudiet (Maddukuri og kolleger, 2025) havde til formål at finde en simpel opskrift på at bruge simulationsdata til at løse synsbaserede robotmanipulationsopgaver på tværs af to domæner, en robotarm og en humanoid, og dets konklusion er, at man træner på en blanding. Simulationsdata forbedrede den virkelige opgaveudførelse med et gennemsnit på 38 procent, og artiklen er eksplicit om, at dette holdt, selv med bemærkelsesværdige forskelle mellem simulations- og virkelighedsdataene.

Den sidste sætning betyder mere end de 38 procent. Det betyder, at simuleringen ikke behøver at være en perfekt digital tvilling for at være nyttig, forudsat at de virkelige data er i blandingen for at forankre den. Sim-kun overførsel er den dyre vej: den samme artikel angiver, at træning af en politik udelukkende i simulering og overførsel til den virkelige verden ofte kræver betydelig menneskelig indsats for at bygge bro over virkelighedsgabet. Co-træning springer det meste af den indsats over ved aldrig at bede politikken om at lukke gabet på egen hånd.

Praktisk talt, på denne platform, betyder co-træning én ting: læg begge sæt episoder i det samme LeRobot datasæt med konsistente kameranøgler, konsistent ledrækkefølge og konsistente enheder, og kør derefter en normal finjustering. Der er ingen knap til blandingsvægt i træningsformularen. Hvis du ønsker et 3:1 sim-til-virkelighedsforhold, udtrykker du det ved, hvor mange episoder af hver du lægger i datasættet.

Den billigste gevinst fra simulering er ikke træningsdata

Det er evaluering. At køre snesevis af virkelige forsøg pr. opgave for at sammenligne to er en dags armtid, og armen driver mellem forsøgene. SIMPLER (Li og kolleger, 2024) byggede simulerede miljøer, hvis formål er at score virkelige politikker snarere end at træne dem, og målte derefter, hvor godt simuleringsrangeringen forudsiger den virkelige. Et enkelt SIMPLER-miljø renderes med 3.500 simuleringstrin pr. sekund på et forbruger-RTX 4090 med en opløsning på 640 gange 512, hvilket under en simuleringsfrekvens på 500 Hz er en 7x hastighedsforøgelse i forhold til reel evaluering.

Dette er gennemsnit over tre Google Robot-opgavegrupper for seks almindelige open source-kontrolpunkter: tre RT-1-kontrolpunkter på forskellige træningsstadier, RT-1-X, RT-2-X og Octo-Base. Den virkelige side har ikke et ensartet antal forsøg, hvilket er værd at vide, før du citerer det: 75 forsøg for at samle en coladåse op, 60 for at flytte tæt på, 54 for opgaverne med at åbne og lukke skuffen og 27 for den længere skuffe-og-æble-opgave. Sammenligningen med validerings-MSE er den nyttige del. Modelvalg baseret på valideringstab rangerer disse kontrolpunkter dårligt, og en Pearson r på 0.924 under visuel matching betyder, at hvis et kontrolpunkt scorer bedre i SIMPLER, scorer det meget sandsynligt bedre på testbænken. Det er en gentagelig resultattavle over natten, og det kræver ikke, at du tror på noget om sim-til-real træningsoverførsel.

Hvis du ønsker den bredere kontekst om, hvad disse benchmarktal fortæller og ikke fortæller dig om en , har vi beskrevet det separat i .

Hvor denne platform ikke hjælper dig

At være tydelig omkring grænsen sparer alle tid. AY-Robots er en platform til optagelse, træning og servering. Den indeholder ingen simulator.

• Ingen Isaac Lab, ingen MimicGen, ingen verdensmodel, ingen scene-authoring. Hvis du ønsker genererede data, genererer du dem et andet sted og medbringer resultatet.
• Trænerne bruger LeRobot datasæt og intet andet. En simulator-eksport skal konverteres, før den kan bruges som input, og den skal være den rigtige version: v2.0 eller v2.1 for GR00T N1.5 og N1.7, v3.0 for Pi0.5, SmolVLA og ACT.
• GR00T's fine-tuning indgangspunkt er en tyro CLI, der ikke eksponerer et seed, så GR00T-kørsler er ikke bit-for-bit reproducerbare. Hvis du udfører en omhyggelig sim-versus-real ablation, er det en reel begrænsning. lerobot's egen standard seed er 1000, og ACT, SmolVLA og Pi0.5 formene eksponerer et seed-felt.
• Gradientakkumulering anvendes kun reelt for de to GR00T-trænere. For Pi0.5 og SmolVLA findes feltet i formen, men lerobot 0.5.1 har ikke et sådant flag, så det gør intet.
• Inference skal sidde tæt på servoerne for hurtige opgaver. Kontrolsløjfen er 20 til 485 ms per handlingstrin afhængigt af modellen, og tilføjelse af offentlige internet-round trips forvandler en fungerende politik til en tøvende. Fjern-inference er levedygtig for langsom pick-and-place, ikke for hurtig reaktiv bevægelse.

Et budget du kan forsvare

Sæt de to veje side om side med de tal, hver især faktisk offentliggør, og beslutningen tager sig normalt selv for et enkeltstående projekt på en billig arm.

For en første politik på en SO-100, optag. Den og får dig til et serveret checkpoint for prisen af en kop kaffe, og du vil have den virkelige halvdel af enhver fremtidig co-træningsblanding. Grib fat i simulatoren, når du har en fungerende baseline og en specifik generaliseringsfejl, du kan navngive, såsom en politik der .

En opskrift der respekterer evidensen

1. 1
   Optag den virkelige baseline først

   30 episoder for SmolVLA, 50 for ACT, GR00T N1.7 og Pi0.5. Træn én gang. Hvad end den politik fejler i, er din specifikation for de syntetiske data.

2. 2
   Navngiv generaliseringsfejlen

   Objektposition? Belysning? Bordhøjde? Distraktorer? En anderledes formulering af instruktionen? Syntetiske data er gode til præcis én af disse ad gangen og ubrugelige, hvis du ikke kan sige hvilken.

3. 3
   Vælg den billigste familie, der dækker det

   Pose- og layoutvariation: trajektoriemultiplikation. Belysning og tekstur: billedaugmentation først, verdensmodel sekundært. Helt nye scener: fysik-rollouts, og accepter modelleringsomkostningerne.

4. 4
   Generer, smid derefter aggressivt væk

   Genereringsforsøg mislykkes, og Isaac Labs egen kandidatsuccesrate spænder fra 70 procent ned til under 1 procent afhængigt af opgaven. Behold kun succesfulde, opgavekomplette trajektorier, og gennemgå en stikprøve som video, før du stoler på batchen.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Co-træn, udskift ikke

   Flet de genererede episoder med de virkelige ind i et enkelt LeRobot-datasæt med identiske kameranøgler og ledrækkefølge. Tallet på 38 procent er et co-træningstal.

6. 6
   Evaluer på den virkelige arm, og kun der

   Simuleret evaluering er et godt rangeringssignal (Pearson r 0.924 i SIMPLERs visuelle matchopsætning), men det er ikke accepttesten. Kør checkpointet på testbænken, før du tror på det.

Hvis du hellere vil starte med en tjekliste for selve de virkelige optagelser, dækker kameraplacering, implikationer og de fejltyper, der gør et datasæt ubrugeligt. Detaljer om selve formatet findes i , og hyperparametersiden i .