Gervigögn fyrir vélmennastefnur: Hvar hermun hjálpar

Nokkra mánaða fresti kemst einhver að því að það er hægt að taka upp fimmtíu þætti handvirkt er hægt, og spyr hvort hermir gæti framleitt þá í staðinn. Það er sanngjörn spurning. Heiðarlegt svarið hefur þrjá hluta: framleidd gögn hjálpa, þau koma ekki í stað raunverulegra upptaka, og hlutfallið milli þessara tveggja staðreynda fer algjörlega eftir því hvers konar gervigögn þú átt við.

Þessi síða fer yfir það sem birt verk mældu í raun, hvað þú getur keyrt í dag á ódýrum armi eins og SO-100, og hvar bilið milli hermis og raunveruleika étur upp ávinninginn. Stutta útgáfan, áður en farið er í smáatriði: kerfin sem tilkynna stærstu margfaldarana margfalda lítið safn af raunverulegum mannlegum sýnikennslum. Þau fjarlægja ekki þörfina fyrir þau.

Fjórir mismunandi hlutir eru kallaðir gervigögn

Áður en tölur eru bornar saman er vert að aðgreina fjölskyldurnar, því ritgerð sem greinir frá 100x margfaldara og ritgerð sem greinir frá 5 punkta árangursaukningu lýsa oft sömu ferlinu frá mismunandi sjónarhornum. Sameiginlegi þráðurinn er að eitthvað í LeRobot gagnasafninu var framleitt af vél frekar en skráð af líkamlegum armi. Það sem er mismunandi er hvaða hluti.

Aðeins fyrstu þrjár eru gervigögn í þeim skilningi sem þessi grein á við. Sú fjórða er vert að nefna því hún er oft tekin inn í sömu umræðu og er langódýrasti hluturinn á listanum. Ef þú hefur ekki þegar kveikt á aukningunum sem þjálfarinn þinn kemur með, gerðu það áður en þú setur upp hermi.

Hvað birtar tölur segja í raun

Hér er sönnunargrunnurinn, með tölunum eins og heimildirnar gefa þær upp frekar en eins og fréttatilkynningar draga þær saman. Hver röð hér að neðan kemur frá grein eða verkefnasíðu sem lesin var 23. ágúst 2026.

Mynstrið í öllum heiðarlegum rannsóknum er það sama. Gervigögn auka umfang á ódýran hátt. Þau skapa ekki upplýsingar um griparann þinn, servó-slaka, lýsingu eða borðhæð sem ekki var að finna í raunverulegum sýnikennslum einhvers staðar. Ef stefnu mistekst vegna þess að endaverkfærið lokar hálfri sekúndu of seint, þá lagar engin upphæð af hermdri breytileika það. Það er vandamál með tímasetningu gripans í raunverulegum upptökum.

Ein niðurstaða MimicGen er þess virði að taka með í eigin upptökulotur, því hún gengur gegn venjulegum ráðleggingum. Verkefnið bjó til tvö gagnasöfn á Square D2, annað byggt á 10 sýnikennslum frá betri gæða mannlegum stjórnanda og hitt á 10 sýnikennslum frá verri gæða stjórnanda, bæði tekin úr robomimic fjölmanna Square gagnasafninu. Stefnum sem þjálfaðar voru á hvoru um sig náðu sambærilegum árangri, sem höfundar túlkuðu sem merki um að í stórum gagnasöfnum skipti gæði gagna kannski ekki eins miklu máli. Lesið vandlega, þetta er yfirlýsing um tíu upphafs sýnikennslurnar, ekki um fimmtíu raunverulegu þættina þína. Það þýðir að örlítið ófullkomið upphafsgagnasafn er ekki það sem stendur á milli þín og nothæfs myndaðs gagnasafns. Það þýðir ekki að raunverulegu þættirnir sem þú þjálfar með geti verið ófullkomnir, því þeir bera upplýsingarnar sem hermirinn hefur ekki.

Bilið milli hermunar og raunveruleika, í reynd

Bilið er venjulega rætt sem ein stærð, sem er ónothæft. Það eru að minnsta kosti fimm aðskildar ósamræmi, og þau hafa mismunandi stærðir á 110 til 150 EUR áhugamannaarmi en á Franka.

• Snerting og núningur. Isaac Lab segir skýrt að gefinn sami vélbúnaður og sama Isaac Sim og PhysX útgáfa sé hermunin endurgeranleg, en að niðurstöður séu mismunandi eftir mismunandi vélbúnaðarstillingum vegna nákvæmni fljótandi kommutala og námundunarvillna, og að PhysX tryggi ekki ákvarðanleika fyrir neina senu með óstífum líkömum eins og klút eða mjúkum líkömum.
• Stýring. Feetech STS3215 strætisservo sem keyrir á 7.4 V sígur undir álagi, hefur bakslag, og breytir hegðun sinni eftir því sem það hitnar. MJCF líkanið fyrir SO-101 fær mótorbreytur sínar úr óskyldu verkefni frekar en að bera kennsl á þær á arminum þínum.
• Myndbirting. Myndavélarhávaði, rolling shutter, sjálfvirk lýsing, og nákvæmur litur borðsins þíns eru ekki í myndbirtingunni. Þetta er helmingur bilsins sem Cosmos-Transfer1 var byggt til að brúa: vinnuflæði þess fyrir vélfærafræðilega aukningu kortleggur eitt vélfærafræðilegt gervidæmi yfir í mörg raunhæf dæmi frá skiptingu, dýpt eða brúnaskilyrðingu.
• Tímasetning. Hermir stígur á föstum hraða. Raunveruleg stjórnlykkja gerir það ekki, og líkanið sjálft kostar 20 til 485 ms á hverju aðgerðarskrefi eftir því hvaða þú valdir. Sjá töf á ályktun.
• Hlutatölfræði. Hermdar senur eru teknar úr dreifingu sem einhver skrifaði niður. Eldhúsborðið þitt er það ekki.

Hvað hermdur SO-100 veit í raun um arminn þinn

Þetta er sá hluti sem ræður því hvort eitthvað af ofangreindu sé virði helgarinnar þinnar, og fyrsta óvæntingin er sú að SO-100 og SO-101 eru ekki jafn vel þjónað. SO-ARM100 geymsla TheRobotStudio geymir hermunareignir sínar undir Simulation/. SO100 mappan inniheldur eina URDF skrá og ekkert annað. SO101 mappan inniheldur bæði URDF og MuJoCo skrár: scene.xml, so101_new_calib.xml, so101_old_calib.xml, samsvarandi URDF skrár og joints_properties.xml. Ef þú vilt eðlisfræðilíkan frekar en hreyfifræðilega keðju, þá viltu SO-101 skrárnar.

Þau voru búin til með onshape-to-robot viðbótinni úr CAD líkani hannað í Onshape, sem þýðir að hreyfifræðin og sjónrænu möskvarnir eru jafn góðir og CAD líkanið. Hreyfiorka er önnur saga, og README skrá geymslunnar er hreinskilin um þrjú atriði. Grunnárekstursmöskvar voru fjarlægðir vegna vandamála í árekstrarhegðun við hermun og skipulagningu. Eiginleikar STS3215 mótorsins eru aðlagaðir frá Open Duck Mini verkefninu frekar en mældir á SO-101. Og LeRobot griphefðin, þar sem 0 er alveg lokað og 100 er alveg opið, er enn ekki endurspegluð í URDF og MuJoCo skrám. Hvert og eitt af þessu er staður þar sem stefna sem er þjálfuð eingöngu í því líkani mun hegða sér öðruvísi á skrifborðinu þínu.

Lénsröðun, og hvað hún lagar ekki

Hefðbundið svar við bilinu er að hætta að reyna að passa við raunveruleikann og þjálfa í staðinn yfir dreifingu sem er nógu víð til að raunveruleikinn falli innan hennar. Tobin og samstarfsmenn sýndu sterka útgáfu af þessu árið 2017: hlutgreinir þjálfaður eingöngu á hermdum myndum með óraunhæfum slembitextúrum, án nokkurrar forþjálfunar á raunverulegum myndum, staðsetti raunverulega hluti með 1,5 cm nákvæmni og var áfram sterkur gegn truflunum og hlutaskuggunum.

Isaac Lab sýnir sömu hugmynd og atburðarskilmálar sem þú tengir við umhverfisstillingar. Þetta eru stillingarnar, með raunverulegum fallnöfnum þeirra í isaaclab.envs.mdp, svo þú getir lesið þau í stað þess að giska.

Hér er takmörkin, og það er sú sem fólk hrasar yfir. Slembiröðun víkkar dreifinguna sem stefnan hefur séð innan líkansins sem þú byggðir. Það getur ekki kynnt líkamleg áhrif sem hermirinn táknar ekki. Ef PhysX er ekki að líkja eftir bakslagi og hitafalli STS3215 servóanna þinna, þá kennir slembiröðun stífleika þeirra stefnunni ekkert um bakslag. Þess vegna er armur sem undir hermiþjálfaðri stefnu ekki vandamál varðandi slembiröðunarfjárhagsáætlun. Það er líkanagerðarvandamál.

Handvirka leiðin: að búa til gögn í Isaac Lab

Isaac Gym er eldri hugbúnaður. Eigin síða NVIDIA er merkt „Isaac Gym - Nú úrelt“ og segir að forritarar megi hlaða niður og halda áfram að nota hann en að hann sé ekki lengur studdur, og vísar í staðinn á Isaac Lab. Ef þú vilt söguna, þá fjölluðum við um báða: og . Fyrir nýja vinnu árið 2026, byrjaðu á Isaac Lab.

1. 1
   Setja upp Isaac Sim og Isaac Lab

   Uppsetningarsíða pip segir að leiðbeiningarnar séu fyrir Isaac Sim 5.X, sem krefst Python 3.11. Frumkóðaklonunin gefur þér skriftur sem næstu skref þurfa.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Taka upp um tíu mannlegar sýnikennslur

   Skjöl Isaac Lab eru nákvæm: um 10 árangursríkar sýnikennslur eru nauðsynlegar til að eftirfarandi skref takist. Ráðin eru jafn nákvæm. Haldið sýnikennslum stuttum, farið beina leið frekar en að hreyfa sig eftir handahófskenndum ásum, og ekki gera hlé, því það er ekki augljóst fyrir stefnu hvers vegna og hvenær á að gera hlé.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Skýra mörk undirverkefna

   Mimic skiptir inntakssýnikennslunum í undirverkefni svo það getur endurtímasett og endurmiðað hluta. --auto fáninn gerir þetta án mannlegrar íhlutunar fyrir verkefni sem skilgreina sjálfvirka athugasemd; án hans gerirðu hlé með B, heldur áfram með N og merkir mörk með S. Athugaðu að verkefnisauðkennið fær -Mimic viðskeyti.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Búa til margfaldaða gagnasafnið

   Þetta er skrefið sem breytir 10 í 1000. Mimic beitir rökfræðilegu árangursviðmiði á hvern frambjóðanda og heldur aðeins þeim sem kláruðu verkefnið, svo úttakstalan er lægri en fjöldi tilrauna. Skjölin setja árangurshlutfall frambjóðenda allt að 70 prósent í einföldum tilfellum og undir 1 prósent fyrir erfið verkefni og flókna vélmenni: um 50 prósent fyrir Franka kubbastakkann, og 65 til 80 prósent fyrir GR1T2 pick and place, þar sem 1000 sýnikennslur taka 18 til 40 mínútur (19 mínútur á RTX ADA 6000 við 80 prósent).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Umbreyta HDF5 í LeRobot gagnasafn

   Allt ofangreint framleiðir robomimic-líkt HDF5, og Isaac Lab kjarninn sendir ekki með eigin LeRobot breytir: skjöl þess segja aðeins að þú megir breyta mynduðu gagnasafni í LeRobot snið. Tvö verkefni útvega raunverulegan breyti. IsaacLab-Arena sendir með GR00T-miðaðan sem er alfarið stýrður af YAML stillingarskrá, og LeIsaac sendir með sitt eigið par fyrir SO-101 leiðina (sjá hér að neðan).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Hvers vegna tilraunir til myndunar mistakast, og hvað á að breyta

Árangurshlutfall sem sveiflast milli 70 prósenta og undir 1 prósenti er ekki ráðgáta, og Isaac Lab skjalfestir algengar gildrur í stað þess að láta þig giska. Hver og ein þeirra er eitthvað sem þú stjórnar við upptöku, þess vegna borgar sig að lesa þennan lista áður en þú tekur upp tíu frumkynningar í stað þess að gera það eftir fyrstu vonbrigðin við kynslóðaraksturinn.

• Kynningar eru of langar. Lengri tímahorf er erfiðara fyrir stefnu að læra. Byrjaðu nálægt fyrsta hlutnum og lágmarkaðu hreyfingu.
• Kynningar eru ekki sléttar. Óregluleg hreyfing er erfið fyrir stefnu að ráða í, og betri fjarstýringarbúnaður gefur betri gögn: skjölun segir skýrt að SpaceMouse sé betri en lyklaborð.
• Hlé. Hlé eru erfið að læra, því það er ekki augljóst fyrir stefnu hvers vegna og hvenær á að gera hlé. Haltu hreyfingunni fljótandi.
• Of mörg undirverkefni. Fleiri undirverkefni þýða meiri samsetningu milli ferilhluta, sem leiðir til minna sléttrar hreyfingar og lægra árangurshlutfalls við kynslóð. Merktu mörk þar sem ólíklegt er að armurinn rekist á neitt.
• Enginn aðgerðarhávaði. Aðgerðarhávaði gerir stefnurnar sem myndast sterkari.
• Upptaka of þröngt skorin. Ef upptaka stöðvast á nákvæmlega þeim ramma sem árangursskilyrðið kveikir á, gæti það ekki kveikt aftur við endurspilun. Skildu eftir biðminni í lokin.
• Óákveðin endurspilun. Eðlisfræði í Isaac Lab er ekki ákvarðanlega endurgeranleg yfir env.reset, svo sumar mannlegar kynningar mistakast við endurspilun. Safnaðu fleiri en þú þarft og haltu þeim sem lifa af athugasemdir. Allt sem lendir í Mimic-myndaðri HDF5 skrá er árangursrík kynning og hægt að nota til þjálfunar jafnvel þótt endurspilun mistakist síðar.

Innskotsþrepið milli samsettra undirverkefnahluta hefur sína eigin stilliskrúfu, og fjöldi innskotsþrepa sem þú þarft fer eftir því hversu hratt vélmennið hreyfist og hversu víð dreifing endurstillingar hlutarins er. Flókið verkefni með stóra endurstillingardreifingu skilur eftir stærri bil milli hluta, sem þarf fleiri innskotsþrep til að verða samfelld hreyfing. Ef myndböndin sem þú býrð til sýna arminn rykkjast milli fasa, þá er það breytan sem þarf að skoða áður en þú kennir frumkynningunum um.

Sama ferli á SO-101, með raunverulegum leiðararmi

Þetta er sá áhugaverði fyrir alla sem lesa þessa síðu, því þetta er eina opna leiðslan sem setur inn í Isaac Lab og leyfir þér að stýra honum með þeim líkamlega leiðararmi sem þú átt nú þegar. LeIsaac, útgáfa 0.4.0 þegar þetta er skrifað, er opinber eftirlíkingarnámshermileikvöllur samþættur í EnvHub LeRobot. Samhæfðistöflan þess listar þrjár virkar samsetningar; sú nýjasta parar Isaac Sim 5.1 við Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 og Python 3.11, og skjölun mælir með Isaac Sim 5.0 eða nýrri fyrir 50-seríu kort.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Þegar þetta er komið á sinn stað, stýrir leiðararmurinn á /dev/ttyACM0 hermda fylgjandanum og tekur upp beint á HDF5. hringrásin er sú sama og þú þekkir nú þegar frá raunverulegri upptöku, aðeins fylgjandinn er stífur líkami í PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Flest þessara auðkenna eru einnig til sem -Direct-v0, og python scripts/environments/list_envs.py prentar núverandi lista. Þú getur líka sleppt HDF5 krókaleiðinni alveg og skrifað LeRobot snið meðan á fjarstýringu stendur með því að bæta við þremur flöggum. Tvær athugasemdir koma úr skjölunum sjálfum: upptökutækið sleppir sjálfkrafa fyrstu 5 ramma hvers þáttar til að forðast óstöðugleika frá upphafsstöðum, og það getur valdið smá töfum í fjarstýringu, sem er einmitt það sem breytir eðli sýnikennslu þinnar hljóðlega. Það skolar einnig aðeins þáttum sem verkefnið merkti sem árangursríka.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Margföldunarþrepið keyrir síðan á þessum upptökum. LeIsaac umlykur Isaac Lab Mimic í fjórum skipunum, vegna þess að Mimic alhæfir ferla frá enda-áhrifara og hlutastöðum: umbreyta liðrýmisaðgerðum í IK-byggðar aðgerðir, skrifa athugasemdir, búa til, og síðan umbreyta aftur í liðrými.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Umbreyttu síðan í LeRobot. Þetta er skrefið þar sem sniðregla vettvangsins bítur, og LeIsaac sendir einmitt þá tvo umbreyta sem þú þarft: isaaclab2lerobot.py skrifar LeRobot v2, sem er það sem GR00T hleðslutækin taka, og isaaclab2lerobotv3.py skrifar v3 fyrir Pi0.5, SmolVLA og ACT.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Tvær leiðir að þjálfaðri stefnu

Vídeó heimslíkön: nýjasta lagið, og það minnst mælda

Hugmyndin á bak við DreamGen er sú að vídeómyndandi líkan, aðlagað að vélmennisútfærslu markmiðsins, getur ímyndað sér trúverðuga þætti í sviðsmyndum sem þú hefur aldrei heimsótt. Ferlið hefur fjögur stig: fínstilla vídeó heimslíkanið, búa til ljósmyndaraunsæjar gervivélmennamyndbönd, endurheimta gervi-aðgerðaraðir með duldu aðgerðalíkani eða öfugri kraftfræðilíkani, og síðan þjálfa vélmennisstefnuna á niðurstöðunni. GR00T-dreams geymsla NVIDIA innleiðir nákvæmlega það.

Aðalniðurstaðan er raunveruleg og þess virði að taka hana alvarlega: fjarstýringargögn frá aðeins einu „pick-and-place“ verkefni í einu umhverfi framleiddu 22 nýja hegðun á manngerðum vélmenni, í bæði séðum og óséðum umhverfum. Fyrirvarinn er jafn raunverulegur og liggur í þriðja stiginu.

Samþjálfun er uppskriftin sem raunverulega sýnir ávinning

Ef þú tekur einn rekstrarlegan lærdóm úr fræðiritum, taktu þennan. Samþjálfunarrannsóknin á hermi- og raunveruleika (Maddukuri og samstarfsmenn, 2025) ætlaði að finna einfalda uppskrift til að nota hermigögn til að leysa sjónrænar vélmennastýringarverkefni, á tveimur sviðum, vélmennaarm og manngerðum vélmenni, og niðurstaða hennar er að þú þjálfar á blöndu. Hermigögn bættu frammistöðu í raunheimaverkefnum um að meðaltali 38 prósent, og greinin er skýr um að þetta gilti jafnvel með merkjanlegum mun á hermun og raunheima gögnum.

Þessi síðasta setning skiptir meira máli en 38 prósentin. Hún þýðir að hermun þarf ekki að vera fullkominn stafrænn tvíburi til að vera gagnleg, að því gefnu að raungögn séu í blöndunni til að festa hana. Flutningur eingöngu með hermun er dýr leið: sama grein segir að þjálfun stefnu eingöngu í hermun og flutningur hennar yfir í raunheiminn krefjist oft umtalsverðs mannlegs átaks til að brúa raunveruleikabilið. Samþjálfun sleppir mestu af því átaki með því að biðja stefnuna aldrei um að loka bilinu sjálf.

Í reynd, á þessum vettvangi, þýðir samþjálfun eitt: settu bæði sett af þáttum í sama LeRobot gagnasafn með samræmdum myndavélalyklum, samræmdri liðröð og samræmdum einingum, keyrðu síðan venjulega fínstillingu. Það er enginn hnappur fyrir blöndunarþyngd í þjálfunarforminu. Ef þú vilt 3:1 hlutfall hermunar og raunveruleika, tjáir þú það með því hversu marga þætti af hvoru þú setur í gagnasafnið.

Ódýrasti sigurinn úr hermun er ekki þjálfunargögn

Það er mat. Að keyra tugi raunverulegra tilrauna á verkefni til að bera saman tvö er dagsverk í handleggstíma, og handleggurinn rekur á milli tilrauna. SIMPLER (Li og samstarfsmenn, 2024) byggði hermuð umhverfi sem ætlað er að meta raunverulegar stefnur frekar en að þjálfa þær, og mældi síðan hversu vel hermunarröðunin spáir fyrir um þá raunverulegu. Eitt SIMPLER umhverfi birtist á 3.500 hermunarskrefum á sekúndu á neytenda RTX 4090 í 640 sinnum 512 upplausn, sem undir 500 Hz hermunartíðni er 7x hraðaupphlaup yfir raunverulegt mat.

Þetta eru meðaltöl yfir þrjá Google Robot verkefnahópa fyrir sex algengar opinn-uppspretta eftirlitsstöðvar: þrjár RT-1 eftirlitsstöðvar á mismunandi þjálfunarstigum, RT-1-X, RT-2-X og Octo-Base. Raunverulega hliðin er ekki með jafnan fjölda tilrauna, sem er vert að vita áður en þú vitnar í það: 75 tilraunir fyrir að taka kókdós, 60 fyrir að færa nær, 54 fyrir opnunar- og lokunarverkefni skúffu og 27 fyrir lengra skúffu- og eplaverkefnið. Samanburðurinn við staðfestingar MSE er gagnlegi hlutinn. Val á líkani með staðfestingartapi raðar þessum eftirlitsstöðvum illa, og Pearson r upp á 0.924 undir sjónrænni samsvörun þýðir að ef eftirlitsstöð skorar betur í SIMPLER þá skorar hún mjög líklega betur á prófunarbekknum. Þetta er endurtekin næturstigatafla, og það krefst þess ekki að þú trúir neinu um flutning frá hermun til raunverulegrar þjálfunar.

Ef þú vilt víðara samhengi um hvað þessar viðmiðunartölur segja og segja ekki um sjón-mál-aðgerðarlíkan, skrifuðum við það sérstaklega í VLA yfirlitinu.

Hvar þessi vettvangur hjálpar þér ekki

Að vera skýr um mörkin sparar öllum tíma. AY-Robots er upptöku-, þjálfunar- og þjónustuvettvangur. Hann inniheldur engan hermi.

• Enginn Isaac Lab, enginn MimicGen, ekkert heimsmynd, engin sviðshöfundun. Ef þú vilt búa til gögn, býrðu þau til annars staðar og kemur með niðurstöðuna.
• Þjálfararnir nota LeRobot gagnasöfn og ekkert annað. Útflutningur úr hermi þarf að vera umbreyttur áður en hann er inntak, og hann þarf að vera rétt útgáfa: v2.0 eða v2.1 fyrir GR00T N1.5 og N1.7, v3.0 fyrir Pi0.5, SmolVLA og ACT.
• Fínstillingarinnar inngangspunktur GR00T er tyro CLI sem sýnir ekkert fræ, svo GR00T keyrslur eru ekki nákvæmlega endurgeranlegar. Ef þú ert að keyra nákvæma upplausn á milli hermis og raunveruleika, er það raunveruleg takmörkun. Sjálfgefið fræ lerobot er 1000, og ACT, SmolVLA og Pi0.5 formin sýna fræreit.
• Hallastofnun er aðeins í raun beitt fyrir GR00T þjálfarana tvo. Fyrir Pi0.5 og SmolVLA er reiturinn til í forminu en lerobot 0.5.1 hefur engan slíkan fána, svo það gerir ekkert.
• Ályktun þarf að vera við hliðina á servóunum fyrir hraðar verkefni. Stýringarlykkjan er 20 til 485 ms á hverju aðgerðarskrefi eftir líkaninu, og að bæta við hringferðum um almennt internet breytir virkri stefnu í hikandi. Fjarlæg ályktun er möguleg fyrir hæga val-og-setningu, ekki fyrir hraða viðbragðshreyfingu.

Fjárhagsáætlun sem þú getur varið

Settu leiðirnar tvær hlið við hlið með tölunum sem hvor um sig birtir, og ákvörðunin tekur sig venjulega sjálf fyrir verkefni með einni aðgerð á ódýrum armi.

Fyrir fyrstu stefnu á SO-100, taktu upp. og koma þér að þjónuðum gátpunkti fyrir verð á kaffi, og þú munt hafa raunverulega helminginn af allri framtíðar samþjálfunarblöndu. Gríptu til hermisins þegar þú hefur virka grunnlínu og sérstaka alhæfingarbilun sem þú getur nefnt, svo sem stefnu sem .

Uppskrift sem virðir sönnunargögnin

1. 1
   Skráðu raunverulega grunnlínu fyrst

   30 þættir fyrir SmolVLA, 50 fyrir ACT, GR00T N1.7 og Pi0.5. Þjálfaðu einu sinni. Það sem sú stefna mistekst í er forskrift þín fyrir gervigögnin.

2. 2
   Nefndu mistök í alhæfingu

   Staða hlutar? Lýsing? Borðhæð? Truflanir? Önnur orðalag leiðbeiningarinnar? Gervigögn eru góð í nákvæmlega einu af þessu í einu, og gagnslaus ef þú getur ekki sagt hvað.

3. 3
   Veldu ódýrustu fjölskylduna sem nær yfir það

   Afbrigði í stöðu og skipulagi: margföldun ferla. Lýsing og áferð: myndauka fyrst, heimsmynd síðan. Algerlega nýjar senur: eðlisfræðilegar útfærslur, og samþykktu líkanakostnaðinn.

4. 4
   Búðu til, hentu síðan árásargjarnlega

   Tilraunir til að búa til mistakast, og eigin árangurshlutfall Isaac Lab er á bilinu 70 prósent niður í undir 1 prósent eftir verkefninu. Haltu aðeins árangursríkum ferlum sem ljúka verkefninu, og skoðaðu sýnishorn sem myndband áður en þú treystir lotunni.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Samþjálfaðu, ekki skipta út

   Sameinaðu myndaða þætti við raunverulega í eitt LeRobot gagnasafn með eins myndavélalyklum og liðröðun. Talan 38 prósent er samþjálfunartala.

6. 6
   Metið á raunverulegum armi, og aðeins þar

   Hermet mat er gott raðunarmerki (Pearson r 0.924 í sjónrænu samsvörunaruppsetningu SIMPLER) en það er ekki samþykkisprófið. Keyrðu geymslupunktinn á prófunarbekknum áður en þú trúir honum.

Ef þú vilt frekar byrja á gátlista fyrir raunverulegar upptökur sjálfar, fjallar um staðsetningu myndavéla, afleiðingar og bilunarmáta sem gera gagnasafn ónothæft. Upplýsingar um sniðið sjálft er að finna í , og ofurbreytuhliðin í .