Sintetiese Data vir Robotbeleide: Waar Simulasie Help

Elke paar maande besef iemand dat die opname van vyftig episodes met die hand stadig is, en vra of 'n simulator dit eerder kan produseer. Dit is 'n billike vraag. Die eerlike antwoord het drie dele: gegenereerde data help wel, dit vervang nie die regte opnames nie, en die verhouding tussen daardie twee feite hang geheel en al af van watter soort sintetiese data jy bedoel.

Hierdie bladsy gaan deur wat die gepubliseerde werk werklik gemeet het, wat jy vandag op 'n laekoste-arm soos die SO-100, en waar die sim-na-werklikheid-gaping die winste opvreet. Die kort weergawe, voor die detail: die stelsels wat die grootste vermenigvuldigers rapporteer, vermenigvuldig 'n klein stel regte menslike demonstrasies. Hulle verwyder nie die behoefte daaraan nie.

Vier verskillende dinge word sintetiese data genoem

Voordat getalle vergelyk word, is dit die moeite werd om die families te skei, want 'n artikel wat 'n 100x vermenigvuldiger rapporteer en 'n artikel wat 'n 5-punt sukseswins rapporteer, beskryf dikwels dieselfde pyplyn vanuit verskillende hoeke. Die gemene deler is dat iets in die LeRobot datastel deur 'n masjien geproduseer is eerder as van 'n fisiese arm opgeneem. Wat verskil, is watter deel.

Slegs die eerste drie is sintetiese data in die sin wat hierdie artikel bedoel. Die vierde is die moeite werd om te noem omdat dit in dieselfde gesprek gebundel word en verreweg die goedkoopste ding op die lys is. As jy nog nie die augmentasies aangeskakel het waarmee jou opleier verskeep word nie, doen dit voordat jy 'n simulator installeer.

Wat die gepubliseerde syfers werklik sê

Hier is die bewysbasis, met die syfers soos die bronne dit stel eerder as hoe die persvrystellings dit opsom. Elke ry hieronder kom van 'n artikel of projekbladsy wat op 23 Augustus 2026 gelees is.

Die patroon oor elke eerlike ablasie is dieselfde. Sintetiese data verbreed dekking goedkoop. Dit skep nie inligting oor jou gryper, jou servo-versakking, jou beligting of jou tafelhoogte wat nie êrens in die regte demonstrasies was nie. As jou beleid misluk omdat die eindeffektor 'n halwe sekonde te laat sluit, sal geen hoeveelheid gesimuleerde variasie dit regmaak nie. Dit is 'n gryptydprobleem in die regte opnames.

Een MimicGen-bevinding is die moeite werd om in jou eie opnamesessies in te dra, want dit druis in teen die gewone advies. Die projek het twee datastelle op Square D2 gegenereer, een gesaai met 10 demonstrasies van 'n beter-gehalte menslike operateur en een met 10 demonstrasies van 'n swakker-gehalte operateur, albei geneem uit die robomimic multi-mens Square datastel. Beleide wat op elkeen opgelei is, het vergelykbare resultate behaal, wat die outeurs gelees het as 'n teken dat in die grootskaalse data-regime datakwaliteit dalk nie soveel saak maak nie. Lees versigtig, dit is 'n stelling oor die tien saad-demonstrasies, nie oor jou vyftig regte episodes nie. Dit beteken 'n effens onvolledige saadstel is nie die ding wat tussen jou en 'n bruikbare gegenereerde datastel staan nie. Dit beteken nie dat die regte episodes waarop jy saam-oplei onvolledig kan wees nie, want dit is dié wat die inligting dra wat die simulator nie het nie.

Die sim-na-werklikheid-gap, konkreet

Die gaping word gewoonlik as 'n enkele hoeveelheid bespreek, wat onbehulpsaam is. Dit is ten minste vyf afsonderlike wanpassings, en hulle het verskillende groottes op 'n 110 tot 150 EUR stokperdjie-arm as wat hulle op 'n Franka het.

• Kontak en wrywing. Isaac Lab stel dit duidelik dat gegewe dieselfde hardeware en dieselfde Isaac Sim en PhysX-weergawe die simulasie reproduseerbaar is, maar dat resultate verskil oor verskillende hardewarekonfigurasies as gevolg van dryfpuntpresisie en afrondingsfoute, en dat PhysX nie determinisme waarborg vir enige toneel met nie-rigiede liggame soos lap of sagte liggame nie.
• Aandrywing. 'n Feetech STS3215 bus-servo wat teen 7.4 V loop, sak onder las, het speling, en verander gedrag soos dit verhit. Die MJCF-model vir die SO-101 leen sy motorparameters van 'n onverwante projek eerder as om dit op jou arm te identifiseer.
• Weergawe. Kamerageraas, rollende sluiter, outo-blootstelling, en die presiese tint van jou tafel is nie in die weergawe nie. Dit is die helfte van die gaping wat Cosmos-Transfer1 gebou is om te sluit: sy robotika-augmentasie-werkvloei karteer een robotika-sintetiese voorbeeld na veelvuldige realistiese voorbeelde van segmentasie, diepte of randkondisionering.
• Tydsberekening. 'n Simulator stap teen 'n vaste tempo. 'n Regte beheerlus doen dit nie, en die model self kos 20 tot 485 ms per aksiestap, afhangende van watter een jy gekies het. Sien inference latency.
• Voorwerpstatistieke. Gesimuleerde tonele word uit 'n verspreiding geneem wat iemand neergeskryf het. Jou kombuistafel is nie.

Wat 'n gesimuleerde SO-100 werklik van jou arm weet

Dit is die deel wat besluit of enige van bogenoemde jou naweek werd is, en die eerste verrassing is dat die SO-100 en die SO-101 nie ewe goed bedien word nie. TheRobotStudio se SO-ARM100-bewaarplek hou sy simulasiebates onder Simulation/. Die SO100-lêergids bevat 'n enkele URDF-lêer en niks anders nie. Die SO101-lêergids bevat beide URDF- en MuJoCo-lêers: scene.xml, so101_new_calib.xml, so101_old_calib.xml, die ooreenstemmende URDF's en 'n joints_properties.xml. As jy 'n fisika-model eerder as 'n kinematiese ketting wil hê, wil jy die SO-101-lêers hê.

Hulle is gegenereer met die onshape-to-robot inprop vanaf 'n CAD-model wat in Onshape ontwerp is, wat beteken die kinematika en die visuele maaswerk is so goed soos die CAD. Die dinamika is 'n ander storie, en die bewaarplek se eie README is openhartig oor drie dinge. Basisbotsingsmaaswerk is verwyder as gevolg van problematiese botsingsgedrag tydens simulasie en beplanning. Die STS3215 motor eienskappe is aangepas vanaf die Open Duck Mini projek eerder as gemeet op 'n SO-101. En die LeRobot gryperkonvensie, waar 0 heeltemal toe is en 100 heeltemal oop is, word eksplisiet nog nie in die URDF en MuJoCo lêers weerspieël nie. Elkeen hiervan is 'n plek waar 'n beleid wat suiwer in daardie model opgelei is, anders op jou lessenaar sal optree.

Domeinrandomisering, en wat dit nie regmaak nie

Die standaardantwoord op die gaping is om op te hou probeer om die werklikheid te pas en eerder oor 'n verspreiding te oefen wat wyd genoeg is sodat die werklikheid daarin val. Tobin en kollegas het die sterk weergawe hiervan in 2017 getoon: 'n objekdetektor wat slegs op gesimuleerde beelde met onrealistiese ewekansige teksture opgelei is, sonder enige vooropleiding op regte beelde, het regte objekte tot 'n akkuraatheid van 1.5 cm gelokaliseer en robuust gebly teen afleiers en gedeeltelike okklusies.

Isaac Lab ontbloot dieselfde idee as gebeurtenisterme wat jy aan 'n omgewingskonfigurasie heg. Dit is die knoppe, volgens hul werklike funksiename in isaaclab.envs.mdp, sodat jy dit kan gaan lees eerder as om te raai.

Hier is die perk, en dit is die een waaroor mense struikel. Randomisering verbreed die verspreiding wat die beleid gesien het binne die model wat jy gebou het. Dit kan nie 'n fisiese effek bekendstel wat die simulator nie verteenwoordig nie. As PhysX nie die speling en termiese versakking van jou STS3215-servo's modelleer nie, leer die randomisering van hul styfheid die beleid niks oor speling nie. Dit is hoekom 'n arm wat onder 'n sim-opgeleide beleid nie 'n randomiseringsbegrotingsprobleem is nie. Dit is 'n modelleringsprobleem.

Die handmatige pad: genereer data in Isaac Lab

Isaac Gym is verouderde sagteware. NVIDIA se eie bladsy is getiteld "Isaac Gym - Nou Verouderd" en sê ontwikkelaars mag dit aflaai en aanhou gebruik, maar dat dit nie meer ondersteun word nie, en wys eerder na Isaac Lab. As jy die geskiedenis wil hê, het ons albei gedek: en . Vir nuwe werk in 2026, begin by Isaac Lab.

1. 1
   Installeer Isaac Sim en Isaac Lab

   Die pip-installasiebladsy meld dat die instruksies vir Isaac Sim 5.X is, wat Python 3.11 benodig. Die bronkloon gee jou die skrifte wat die volgende stappe benodig.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Neem ongeveer tien menslike demonstrasies op

   Die Isaac Lab-dokumentasie is spesifiek: ongeveer 10 suksesvolle demonstrasies word benodig vir die volgende stappe om te slaag. Die wenke is ewe spesifiek. Hou demonstrasies kort, neem 'n direkte pad eerder as om langs arbitrêre asse te beweeg, en moenie pouseer nie, want dit is nie vir 'n beleid duidelik waarom en wanneer om te pouseer nie.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Annoteer die subtakgrense

   Mimic verdeel die invoerdemonstrasies in subtake sodat dit die segmente kan her-tyd en her-teiken. Die --auto vlag doen dit sonder 'n mens in die lus vir take wat outomatiese annotasie definieer; sonder dit pouseer jy met B, gaan voort met N en merk 'n grens met S. Let op dat die taak-ID 'n -Mimic agtervoegsel kry.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Genereer die vermenigvuldigde datastel

   Dit is die stap wat 10 in 1000 verander. Mimic pas 'n Booleaanse suksesmaatstaf op elke kandidaat toe en behou slegs dié wat die taak voltooi het, so die uitsettelling is laer as die proeftelling. Die dokumente stel daardie kandidaat-sukseskoers so hoog as 70 persent in eenvoudige gevalle en onder 1 persent vir moeilike take en komplekse robotte: ongeveer 50 persent vir die Franka-kubusstapel, en 65 tot 80 persent vir die GR1T2 optel en plaas, waar 1000 demo's 18 tot 40 minute neem (19 minute op 'n RTX ADA 6000 teen 80 persent).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Skakel HDF5 om na 'n LeRobot-datastel

   Alles hierbo produseer robomimic-gegeurde HDF5, en Isaac Lab-kern verskaf geen eie LeRobot-omskakelaar nie: die dokumente sê net jy mag die gegenereerde datastel na LeRobot-formaat omskakel. Twee projekte verskaf die werklike omskakelaar. IsaacLab-Arena verskaf 'n GR00T-geteikende een wat geheel en al deur 'n YAML-konfigurasie gedryf word, en LeIsaac verskaf sy eie paar vir die SO-101 roete (sien hieronder).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Waarom generasiepogings misluk, en wat om te verander

'n Kandidaat-sukseskoers wat tussen 70 persent en minder as 1 persent swaai, is nie 'n raaisel nie, en Isaac Lab dokumenteer die algemene slaggate eerder as om jou te laat raai. Elkeen daarvan is iets wat jy beheer tydens opnametyd, en daarom is dit die moeite werd om hierdie lys te lees voordat jy die tien saad-demonstrasies opneem, eerder as ná die eerste teleurstellende generasie-lopie.

• Demonstrasies is te lank. 'n Langer tydshorison is moeiliker vir 'n beleid om te leer. Begin naby die eerste voorwerp en minimaliseer beweging.
• Demonstrasies is nie glad nie. Onreëlmatige beweging is moeilik vir 'n beleid om te ontsyfer, en beter tele-operasie hardeware lewer beter data: die dokumente sê duidelik dat 'n SpaceMouse 'n sleutelbord klop.
• Pouses. Pouses is moeilik om te leer, want dit is nie vir 'n beleid duidelik hoekom en wanneer om te pouseer nie. Hou die beweging vloeibaar.
• Te veel subtake. Meer subtake beteken meer aanmekaarstik tussen trajeksegmente, wat lei tot minder gladde beweging en 'n laer generasie-sukseskoers. Annoteer grense waar die arm onwaarskynlik met enigiets sal bots.
• Geen aksiegeraas nie. Aksiegeraas maak die gevolglike beleide meer robuust.
• Opname te styf gesny. As opname stop op die presiese raam wat die sukses-term aktiveer, mag dit nie weer aktiveer tydens herhaling nie. Laat 'n buffer aan die einde.
• Nie-deterministiese herhaling. Fisika in Isaac Lab is nie deterministies reproduseerbaar oor env.reset nie, so sommige menslike demonstrasies misluk tydens herhaling. Versamel meer as wat jy nodig het en hou die wat annotasie oorleef. Alles wat in 'n Mimic-gegenereerde HDF5-lêer beland, is 'n suksesvolle demo en kan vir opleiding gebruik word, selfs al misluk herhaling later.

Die interpolasie-stap tussen aanmekaargestikte subtaaksegmente het sy eie verstelknop, en die aantal interpolasie-stappe wat jy benodig, skaal met hoe vinnig die robot beweeg en hoe wyd die voorwerp-terugstelverspreiding is. 'n Komplekse taak met 'n groot terugstelverspreiding laat groter gapings tussen segmente, wat meer interpolasie-stappe benodig om as deurlopende beweging uit te kom. As jou gegenereerde video's wys hoe die arm tussen fases ruk, is dit die parameter om na te kyk voordat jy die saad-demonstrasies blameer.

Dieselfde pyplyn op 'n SO-101, met die regte leierarm

Hierdie is die interessante een vir enigiemand wat hierdie bladsy lees, want dit is die enigste oop pyplyn wat 'n binne Isaac Lab plaas en jou dit laat bestuur met die fisiese leierarm wat jy reeds besit. LeIsaac, weergawe 0.4.0 ten tyde van skryf, is die amptelike nabootsingsleer-simulasie speelplek geïntegreer in LeRobot se EnvHub. Sy versoenbaarheidstabel lys drie werkende kombinasies; die nuutste kombineer Isaac Sim 5.1 met Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 en Python 3.11, en die dokumentasie beveel Isaac Sim 5.0 of nuwer aan vir 50-reeks kaarte.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Met dit in plek, dryf die leierarm op /dev/ttyACM0 die gesimuleerde volger en neem direk op na HDF5. Die lus is dieselfde een wat jy reeds ken van regte opname, net die volger is 'n rigiede liggaam in PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Die meeste van daardie ID's bestaan ook as 'n -Direct-v0 variant, en python scripts/environments/list_envs.py druk die huidige lys. Jy kan ook die HDF5-omweg heeltemal oorslaan en LeRobot-formaat tydens teleoperasie skryf deur drie vlae by te voeg. Twee waarskuwings kom uit die dokumentasie self: die opnemer slaan outomaties die eerste 5 rame van elke episode oor om onstabiliteit van aanvanklike toestande te vermy, en dit kan geringe vertragings in teleoperasie veroorsaak, wat presies die soort ding is wat die karakter van jou demonstrasies stilweg verander. Dit spoel ook slegs episodes wat die taak as suksesvol gemerk het.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Die vermenigvuldigingstap loop dan op daardie opnames. LeIsaac omhul Isaac Lab Mimic in vier opdragte, omdat Mimic trajekte van eindeffektor- en objekposisies veralgemeen: skakel die gewrigruimte-aksies om na IK-gebaseerde aksies, annoteer, genereer, en skakel dan terug na gewrigruimte.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Skakel dan om na LeRobot. Dit is die stap waar die platform se formaatreël inkom, en LeIsaac lewer toevallig presies die twee omskakelaars wat jy benodig: isaaclab2lerobot.py skryf LeRobot v2, wat is wat die GR00T-laaiers gebruik, en isaaclab2lerobotv3.py skryf v3 vir Pi0.5, SmolVLA en ACT. Die twee skrifte neem identiese argumente, maar gebruik verskillende lerobot-weergawes, en slegs suksesvolle episodes word omgeskakel.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Twee roetes na 'n opgeleide beleid

Video-wêreldmodelle: die nuutste laag, en die minste gemeet

Die idee agter DreamGen is dat 'n video-generatiewe model, aangepas by die teikenrobot-inkarnasie, geloofwaardige episodes kan voorstel in tonele wat jy nooit besoek het nie. Die pyplyn het vier fases: fyninstelling van die video-wêreldmodel, generering van fotorealistiese sintetiese robotvideo's, herwinning van pseudo-aksie-reekse met 'n latente aksiemodel of 'n inverse dinamika-model, en dan die opleiding van die robotbeleid op die resultaat. NVIDIA se GR00T-dreams-bewaarplek implementeer presies dit.

Die hoofresultaat is werklik en die moeite werd om ernstig op te neem: teleoperasiedata van slegs 'n enkele optel-en-plaas-taak in een omgewing het 22 nuwe gedrag op 'n humanoïed geproduseer, in beide gesiene en ongesiene omgewings. Die voorbehoud is ewe werklik en lê in die derde fase.

Mede-opleiding is die resep wat werklik winste toon

As jy een operasionele les uit die literatuur neem, neem hierdie een. Die sim-en-regte mede-opleidingstudie (Maddukuri en kollegas, 2025) het probeer om 'n eenvoudige resep te vind vir die gebruik van simulasiedata om visie-gebaseerde robotmanipulasietake op te los, oor twee domeine, 'n robotarm en 'n humanoïed, en die gevolgtrekking is dat jy op 'n mengsel oplei. Simulasiedata het werklike taakprestasie met 'n gemiddeld van 38 persent verbeter, en die artikel is eksplisiet dat dit selfs gegeld het met noemenswaardige verskille tussen die simulasie- en die werklike data.

Daardie laaste klousule is belangriker as die 38 persent. Dit beteken die simulasie hoef nie 'n perfekte digitale tweeling te wees om nuttig te wees nie, mits die regte data in die mengsel is om dit te anker. Sim-alleen-oordrag is die duur pad: dieselfde artikel meld dat die opleiding van 'n beleid uitsluitlik in simulasie en die oordrag daarvan na die regte wêreld dikwels aansienlike menslike inspanning verg om die werklikheidsgaping te oorbrug. Mede-opleiding slaan die meeste van daardie inspanning oor deur nooit die beleid te vra om die gaping op sy eie te sluit nie.

Prakties, op hierdie platform, beteken mede-opleiding een ding: plaas beide stelle episodes in dieselfde LeRobot datastel met konsekwente kamerasleutels, konsekwente gewrigsorde en konsekwente eenhede, en voer dan 'n normale fyninstelling. Daar is geen mengsel-gewig knop in die opleidingsvorm nie. As jy 'n 3:1 sim-tot-werklik-verhouding wil hê, druk jy dit uit deur hoeveel episodes van elk jy in die datastel plaas.

Die goedkoopste wins uit simulasie is nie opleidingsdata nie

Dit is evaluering. Om dosyne regte proewe per taak uit te voer om twee is 'n dag se armtyd, en die arm dryf tussen proewe. SIMPLER (Li en kollegas, 2024) het gesimuleerde omgewings gebou waarvan die doel is om regte beleide te beoordeel eerder as om dit op te lei, en het toe gemeet hoe goed die sim-rangorde die regte een voorspel. 'n Enkele SIMPLER-omgewing lewer teen 3 500 simulasie-stappe per sekonde op 'n verbruikers-RTX 4090 teen 640 by 512 resolusie, wat onder 'n 500 Hz simulasiefrekwensie 'n 7x versnelling bo regte evaluering is.

Dit is gemiddeldes oor drie Google Robot-taakgroepe vir ses algemene oopbron-kontrolepunte: drie RT-1-kontrolepunte in verskillende opleidingsfases, RT-1-X, RT-2-X en Octo-Base. Die regte kant is nie 'n eenvormige proeftelling nie, wat die moeite werd is om te weet voordat jy dit aanhaal: 75 proewe vir die optel van 'n koeldrankblikkie, 60 vir die skuif naby, 54 vir die oop- en toemaaklaaitake en 27 vir die langer laai-en-appel-taak. Die vergelyking teen validasie MSE is die nuttige deel. Modelkeuse deur validasieverlies rangskik hierdie kontrolepunte swak, en 'n Pearson r van 0.924 onder visuele passing beteken dat as 'n kontrolepunt beter in SIMPLER presteer, dit baie waarskynlik beter op die bank presteer. Dit is 'n herhaalbare oornag-telbord, en dit vereis nie dat jy enigiets oor sim-na-regte opleidings-oordrag moet glo nie.

As jy die breër konteks wil hê oor wat hierdie maatstafgetalle jou wel en nie vertel oor 'n , het ons dit afsonderlik opgeskryf in .

Waar hierdie platform jou nie help nie

Om duidelik te wees oor die grens spaar almal tyd. AY-Robots is 'n opname-, opleidings- en bedieningsplatform. Dit het geen simulator daarin nie.

• Geen Isaac Lab, geen MimicGen, geen wêreldmodel, geen toneelskepping nie. As jy gegenereerde data wil hê, genereer jy dit elders en bring die resultaat.
• Die opleiers verbruik LeRobot datastelle en niks anders nie. 'n Simulator-uitvoer moet omgeskakel word voordat dit 'n invoer is, en dit moet die regte weergawe wees: v2.0 of v2.1 vir GR00T N1.5 en N1.7, v3.0 vir Pi0.5, SmolVLA en ACT.
• GR00T se fyninstelling-toegangspunt is 'n tyro CLI wat geen saad blootstel nie, so GR00T-lopies is nie bit-vir-bit reproduseerbaar nie. As jy 'n noukeurige sim-teenoor-werklike ablasie uitvoer, is dit 'n werklike beperking. lerobot se eie versteksaad is 1000, en die ACT, SmolVLA en Pi0.5 vorms stel wel 'n saadveld bloot.
• Gradiëntakkumulasie word slegs werklik toegepas vir die twee GR00T-opleiers. Vir Pi0.5 en SmolVLA bestaan die veld in die vorm, maar lerobot 0.5.1 het geen sodanige vlag nie, so dit doen niks.
• Afleiding moet langs die servos sit vir vinnige take. Die beheerslus is 20 tot 485 ms per aksiestap afhangende van die model, en die byvoeging van openbare-internet-rondritte verander 'n werkende beleid in 'n huiwerige een. Afgeleë afleiding is lewensvatbaar vir stadige optel-en-plaas, nie vir vinnige reaktiewe beweging nie.

'n Begroting wat jy kan verdedig

Plaas die twee paaie langs mekaar met die syfers wat elkeen werklik publiseer, en die besluit neem gewoonlik vanself vir 'n enkel-taakprojek op 'n laekoste-arm.

Vir 'n eerste beleid op 'n SO-100, neem op. Die opname-deurloop en eerste opleidingsessie bring jou na 'n bediende kontrolepunt vir die prys van 'n koffie, en jy sal die regte helfte van enige toekomstige mede-opleidingsmengsel hê. Gryp na die simulator wanneer jy 'n werkende basislyn en 'n spesifieke veralgemeningsfout het wat jy kan benoem, soos 'n beleid wat slegs in een opstelling werk.

'n Resep wat die bewyse respekteer

1. 1
   Teken eers die regte basislyn op

   30 episodes vir SmolVLA, 50 vir ACT, GR00T N1.7 en Pi0.5. Lei een keer op. Waar daardie beleid ook al misluk, is jou spesifikasie vir die sintetiese data.

2. 2
   Noem die veralgemeningsfout

   Objekposisie? Beligting? Tafelhoogte? Afleiers? 'n Ander bewoording van die instruksie? Sintetiese data is goed vir presies een hiervan op 'n slag, en nutteloos as jy nie kan sê watter nie.

3. 3
   Kies die goedkoopste familie wat dit dek

   Posisie- en uitlegvariasie: trajekvermenigvuldiging. Beligting en tekstuur: beeldvergroting eerste, wêreldmodel tweede. Heeltemal nuwe tonele: fisika-uitrol, en aanvaar die modelleringskoste.

4. 4
   Genereer, gooi dan aggressief weg

   Generasiepogings misluk, en Isaac Lab se eie kandidaat-sukseskoers wissel van 70 persent tot onder 1 persent, afhangende van die taak. Hou slegs suksesvolle, taakvoltooiende trajekte, en bekyk 'n monster as video voordat jy die bondel vertrou.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Lei saam op, moenie vervang nie

   Voeg die gegenereerde episodes met die regte episodes saam in 'n enkele LeRobot-datastel met identiese kameraleutels en gewrigsordening. Die 38 persent syfer is 'n mede-opleidingsyfer.

6. 6
   Evalueer op die regte arm, en slegs daar

   Gesimuleerde evaluering is 'n goeie rangordesein (Pearson r 0.924 in SIMPLER se visuele-passing-opstelling), maar dit is nie die aanvaardingstoets nie. Loop die kontrolepunt op die bank voordat jy dit glo.

As jy eerder wil begin met 'n kontrolelys vir die regte opnames self, die data-insamelingsgids, dek kamera-plasing, aksie-segmentering implikasies en die mislukkingsmodusse wat 'n nabootsingsleer datastel onbruikbaar maak. Besonderhede oor die formaat self is te vinde in die datastel-dokumente, en die hiperparameter-kant in die opleidingsdokumente.