Të Dhëna Sintetike për Politikat e Robotëve: Ku Ndihmon Simulimi

Çdo disa muaj dikush kupton se regjistrimi i pesëdhjetë epizode me dorë është i ngadaltë, dhe pyet nëse një simulator mund t'i prodhojë ato në vend të tyre. Është një pyetje e drejtë. Përgjigja e sinqertë ka tre pjesë: të dhënat e gjeneruara ndihmojnë, ato nuk zëvendësojnë regjistrimet reale, dhe raporti midis këtyre dy fakteve varet tërësisht nga lloji i të dhënave sintetike që keni parasysh.

Kjo faqe shpjegon se çfarë matën në të vërtetë punimet e publikuara, çfarë mund të ekzekutoni sot në një krah me kosto të ulët si SO-100, dhe ku hendeku sim-në-real gërryen fitimet. Versioni i shkurtër, para detajeve: sistemet që raportojnë shumëzuesit më të mëdhenj shumëzojnë një grup të vogël demonstrimesh reale njerëzore. Ato nuk e heqin nevojën për to.

Katër gjëra të ndryshme quhen të dhëna sintetike

Para se të krahasojmë numrat, vlen të ndajmë familjet, sepse një punim që raporton një shumëzues 100x dhe një punim që raporton një fitim suksesi prej 5 pikësh shpesh përshkruajnë të njëjtin proces nga kënde të ndryshme. Fili i përbashkët është se diçka në grupin e të dhënave LeRobot u prodhua nga një makinë dhe jo u regjistrua nga një krah fizik. Ajo që ndryshon është cila pjesë.

Vetëm tre të parat janë të dhëna sintetike në kuptimin që ka ky artikull. E katërta vlen të përmendet sepse përfshihet në të njëjtën bisedë dhe është deri tani gjëja më e lirë në listë. Nëse nuk i keni aktivizuar ende zgjerimet me të cilat vjen trajneri juaj, bëjeni këtë para se të instaloni një simulator.

Çfarë thonë në të vërtetë numrat e publikuar

Këtu është baza e provave, me numrat siç i deklarojnë burimet dhe jo siç i përmbledhin njoftimet për shtyp. Çdo rresht më poshtë vjen nga një punim ose faqe projekti e lexuar më 23 gusht 2026.

Modeli në çdo ablacion të ndershëm është i njëjtë. Të dhënat sintetike zgjerojnë mbulimin me kosto të ulët. Ato nuk krijojnë informacion rreth kapëses tuaj, rënies së servos, ndriçimit ose lartësisë së tavolinës që nuk ishte diku në demonstrimet reale. Nëse politika dështon sepse efektori fundor mbyllet gjysmë sekonde me vonesë, asnjë sasi variacioni i simuluar nuk e rregullon atë. Ky është një problem me kohën e kapëses në regjistrimet reale.

Një gjetje e MimicGen vlen të merret parasysh në sesionet tuaja të regjistrimit, sepse bie ndesh me këshillat e zakonshme. Projekti gjeneroi dy grupe të dhënash në Square D2, njëri i mbjellë me 10 demonstrime nga një operator njerëzor me cilësi më të mirë dhe njëri me 10 demonstrime nga një operator me cilësi më të dobët, të dyja të marra nga grupi i të dhënave robomimic multi-human Square. Politikat e trajnuara në secilën arritën rezultate të krahasueshme, të cilat autorët i lexuan si një shenjë se në regjimin e të dhënave në shkallë të gjerë cilësia e të dhënave mund të mos ketë aq shumë rëndësi. Lexoni me kujdes, kjo është një deklaratë rreth dhjetë demonstrimeve fillestare, jo rreth pesëdhjetë episodeve tuaja reale. Kjo do të thotë se një grup fillestar pak i çrregullt nuk është pengesa midis jush dhe një grupi të dhënash të gjeneruara të përdorshme. Kjo nuk do të thotë se episodet reale në të cilat bashkë-trajnoni mund të jenë të çrregullta, sepse ato janë ato që mbartin informacionin që simuluesi nuk e ka.

Hapësira sim-në-real, konkretisht

Hapësira zakonisht diskutohet si një sasi e vetme, gjë që nuk është e dobishme. Ajo përbëhet nga të paktën pesë mospërputhje të ndryshme, dhe ato kanë madhësi të ndryshme në një krah hobi prej 110 deri në 150 EUR sesa në një Franka.

• Kontakti dhe fërkimi. Isaac Lab thekson qartë se duke pasur të njëjtin harduer dhe të njëjtin version të Isaac Sim dhe PhysX, simulimi është i riprodhueshëm, por që rezultatet ndryshojnë në konfigurime të ndryshme harduerike për shkak të saktësisë së pikës lundruese dhe gabimeve të rrumbullakimit, dhe se PhysX nuk garanton determinizëm për asnjë skenë me trupa jo-rigjidë si pëlhura ose trupa të butë.
• Aktivizimi. Një servo autobusi Feetech STS3215 që funksionon në 7.4 V lëshohet nën ngarkesë, ka lojë të lirë, dhe ndryshon sjelljen ndërsa nxehet. Modeli MJCF për SO-101 merr parametrat e motorit nga një projekt i palidhur në vend që t'i identifikojë ato në krahun tuaj.
• Renderimi. Zhurma e kamerës, shkrepja rrotulluese, auto-ekspozimi dhe nuanca e saktë e tavolinës suaj nuk janë në render. Kjo është gjysma e hendekut që Cosmos-Transfer1 u ndërtua për të mbyllur: fluksi i punës së saj për zgjerimin e robotikës harton një shembull sintetik robotik në shembuj të shumtë realistë nga segmentimi, thellësia ose kushtëzimi i skajeve.
• Kohëzgjatja. Një simulator ecën me një shpejtësi fikse. Një cikël kontrolli real nuk e bën këtë, dhe vetë modeli kushton 20 deri në 485 ms për hap veprimi në varësi të atij që keni zgjedhur. Shih vonesa e inferencës.
• Statistikat e objekteve. Skenat e simuluara merren nga një shpërndarje që dikush e ka shkruar. Tavolina juaj e kuzhinës nuk është.

Çfarë di në të vërtetë një SO-100 i simuluar për krahun tuaj

Kjo është pjesa që vendos nëse ndonjë nga sa më sipër vlen fundjavën tuaj, dhe surpriza e parë është se SO-100 dhe SO-101 nuk shërbehen në mënyrë të barabartë. Depoja SO-ARM100 e TheRobotStudio i mban asetet e saj të simulimit nën Simulation/. Dosja SO100 përmban një skedar të vetëm URDF dhe asgjë tjetër. Dosja SO101 përmban të dy skedarët URDF dhe MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, URDF-të përkatëse dhe një joints_properties.xml. Nëse dëshironi një model fizik në vend të një zinxhiri kinematik, ju duhen skedarët SO-101.

Ato u gjeneruan me shtojcën onshape-to-robot nga një model CAD i projektuar në Onshape, që do të thotë se kinematika dhe rrjetat vizuale janë po aq të mira sa CAD-i. Dinamika është një histori tjetër, dhe README i vetë depozitës është i sinqertë për tre gjëra. Rrjetat e përplasjes së bazës u hoqën për shkak të sjelljes problematike të përplasjes gjatë simulimit dhe planifikimit. Vetitë e motorit STS3215 janë përshtatur nga projekti Open Duck Mini dhe jo të matura në një SO-101. Dhe konventa e kapëses LeRobot, ku 0 është plotësisht e mbyllur dhe 100 është plotësisht e hapur, nuk është ende e pasqyruar shprehimisht në skedarët URDF dhe MuJoCo. Çdo njëra prej tyre është një pikë ku një politikë e trajnuar thjesht në atë model do të sillet ndryshe në tavolinën tuaj.

Randomizimi i domenit, dhe çfarë nuk rregullon

Përgjigja standarde ndaj boshllëkut është të ndalosh së përpjekuri të përputhesh me realitetin dhe në vend të kësaj të trajnosh nëpër një shpërndarje mjaft të gjerë saqë realiteti të bjerë brenda saj. Tobin dhe kolegët treguan versionin e fortë të kësaj në vitin 2017: një detektor objektesh i trajnuar vetëm në imazhe të simuluara me tekstura të rastësishme jo-realiste, pa asnjë para-trajnim në imazhe reale, lokalizoi objekte reale me një saktësi prej 1.5 cm dhe mbeti i qëndrueshëm ndaj shpërqendruesve dhe pengesave të pjesshme.

Isaac Lab ekspozon të njëjtën ide si termat e ngjarjeve që i bashkëngjitni një konfigurimi të mjedisit. Këto janë çelësat, sipas emrave të tyre aktualë të funksioneve në isaaclab.envs.mdp, kështu që mund t'i lexoni ato në vend që të hamendësoni.

Këtu është kufiri, dhe është ai mbi të cilin njerëzit pengohen. Randomizimi zgjeron shpërndarjen që politika ka parë brenda modelit që keni ndërtuar. Ai nuk mund të prezantojë një efekt fizik që simuluesi nuk e përfaqëson. Nëse PhysX nuk modelon boshllëkun dhe rënien termike të servove tuaja STS3215, randomizimi i ngurtësisë së tyre nuk i mëson politikës asgjë rreth boshllëkut. Kjo është arsyeja pse një krah që nën një politikë të trajnuar në simulim nuk është një problem i buxhetit të randomizimit. Është një problem modelimi.

Rruga manuale: gjenerimi i të dhënave në Isaac Lab

Isaac Gym është softuer i vjetëruar. Faqja e vetë NVIDIA-s titullohet "Isaac Gym - Tani i vjetëruar" dhe thotë se zhvilluesit mund ta shkarkojnë dhe vazhdojnë ta përdorin, por se nuk mbështetet më, duke treguar në vend të tij Isaac Lab. Nëse doni historinë, ne i kemi mbuluar të dy: dhe . Për punë të reja në vitin 2026, filloni me Isaac Lab.

1. 1
   Instaloni Isaac Sim dhe Isaac Lab

   Faqja e instalimit pip thekson se udhëzimet janë për Isaac Sim 5.X, i cili kërkon Python 3.11. Kloni i burimit ju jep skriptet që nevojiten për hapat e ardhshëm.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Regjistroni rreth dhjetë demonstrime njerëzore

   Dokumentacioni i Isaac Lab është specifik: rreth 10 demonstrime të suksesshme kërkohen që hapat e mëposhtëm të kenë sukses. Këshillat e tij janë po aq specifike. Mbani demonstrimet të shkurtra, merrni një rrugë të drejtpërdrejtë në vend që të lëvizni përgjatë akseve arbitrare, dhe mos ndaloni, sepse nuk është e qartë për një politikë pse dhe kur të ndalojë.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Shënoni kufijtë e nën-detyrave

   Mimic ndan demonstrimet hyrëse në nën-detyra në mënyrë që të mund të ri-kohëzojë dhe ri-targetojë segmentet. Flaga --auto e bën këtë pa një njeri në qark për detyrat që përcaktojnë shënimin automatik; pa të ju ndaloni me B, vazhdoni me N dhe shënoni një kufi me S. Vini re se ID-ja e detyrës merr një prapashtesë -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Gjeneroni grupin e të dhënave të shumëfishuar

   Ky është hapi që kthen 10 në 1000. Mimic aplikon një kriter suksesi boolean për çdo kandidat dhe mban vetëm ata që e kanë përfunduar detyrën, kështu që numri i daljes është më i ulët se numri i provave. Dokumentet e vendosin atë normë suksesi të kandidatëve deri në 70 për qind në raste të thjeshta dhe nën 1 për qind për detyra të vështira dhe robotë kompleksë: rreth 50 për qind për grumbullimin e kubeve Franka, dhe 65 deri në 80 për qind për marrjen dhe vendosjen GR1T2, ku 1000 demonstrime zgjasin 18 deri në 40 minuta (19 minuta në një RTX ADA 6000 me 80 për qind).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Konvertoni HDF5 në një grup të dhënash LeRobot

   Gjithçka më sipër prodhon HDF5 me shije robomimic, dhe thelbi i Isaac Lab nuk ofron konvertuesin e vet LeRobot: dokumentet e tij thjesht thonë se mund ta konvertoni grupin e të dhënave të gjeneruara në formatin LeRobot. Dy projekte ofrojnë konvertuesin aktual. IsaacLab-Arena ofron një të targetuar për GR00T, i drejtuar tërësisht nga një konfigurim YAML, dhe LeIsaac ofron palën e vet për rrugën SO-101 (shih më poshtë).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Pse dështojnë tentativat e gjenerimit, dhe çfarë të ndryshoni

Një shkallë suksesi kandidate që luhatet midis 70 përqind dhe nën 1 përqind nuk është mister, dhe Isaac Lab dokumenton gabimet e zakonshme në vend që t'ju lërë të hamendësoni. Secila prej tyre është diçka që ju kontrolloni në kohën e regjistrimit, prandaj ia vlen të lexoni këtë listë përpara se të regjistroni dhjetë demonstratat fillestare, në vend që pas ekzekutimit të parë zhgënjyes të gjenerimit.

• Demonstratat janë shumë të gjata. Një horizont kohor më i gjatë është më i vështirë për t'u mësuar nga një politikë. Filloni afër objektit të parë dhe minimizoni lëvizjen.
• Demonstratat nuk janë të qeta. Lëvizja e çrregullt është e vështirë për t'u deshifruar nga një politikë, dhe hardueri më i mirë i teleoperacionit jep të dhëna më të mira: dokumentet thonë qartë se një SpaceMouse është më i mirë se një tastierë.
• Pauzat. Pauzat janë të vështira për t'u mësuar, sepse nuk është e qartë për një politikë pse dhe kur duhet të ndalojë. Mbajeni lëvizjen të rrjedhshme.
• Shumë nën-detyra. Më shumë nën-detyra nënkuptojnë më shumë bashkim midis segmenteve të trajektores, gjë që rezulton në lëvizje më pak të qetë dhe një shkallë më të ulët suksesi të gjenerimit. Shënoni kufijtë ku krahu nuk ka gjasa të përplaset me asgjë.
• Pa zhurmë veprimi. Zhurma e veprimit i bën politikat rezultuese më të qëndrueshme.
• Regjistrimi i prerë shumë ngushtë. Nëse regjistrimi ndalon në kornizën e saktë kur aktivizohet termi i suksesit, mund të mos ri-aktivizohet gjatë riprodhimit. Lini një tampon në fund.
• Riprodhim jo-deterministik. Fizika në Isaac Lab nuk është e riprodhueshme në mënyrë deterministike nëpër env.reset, kështu që disa demo njerëzore dështojnë në riprodhim. Mblidhni më shumë sesa ju nevojitet dhe mbani ato që i mbijetojnë shënimit. Çdo gjë që përfundon në një skedar HDF5 të gjeneruar nga Mimic është një demo e suksesshme dhe mund të përdoret për trajnim edhe nëse riprodhimi dështon më vonë.

Hapi i interpolimit midis segmenteve të nën-detyrave të bashkuara ka rregulluesin e vet, dhe numri i hapave të interpolimit që ju nevojiten shkallëzohet me shpejtësinë e lëvizjes së robotit dhe gjerësinë e shpërndarjes së rivendosjes së objektit. Një detyrë komplekse me një shpërndarje të madhe rivendosjeje lë boshllëqe më të mëdha midis segmenteve, gjë që kërkon më shumë hapa interpolimi për të dalë si lëvizje e vazhdueshme. Nëse videot tuaja të gjeneruara tregojnë krahun duke u lëkundur midis fazave, ky është parametri që duhet parë përpara se të fajësoni demonstratat fillestare.

I njëjti pipeline në një SO-101, me krahun real udhëheqës

Ky është ai interesanti për këdo që lexon këtë faqe, sepse është i vetmi tubacion i hapur që vendos një brenda Isaac Lab dhe ju lejon ta drejtoni me krahun fizik udhëheqës që tashmë zotëroni. LeIsaac, versioni 0.4.0 në momentin e shkrimit, është fusha zyrtare e simulimit për mësimin imitues e integruar në EnvHub të LeRobot. Tabela e tij e përputhshmërisë liston tre kombinime funksionale; më i riu çiftëzon Isaac Sim 5.1 me Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 dhe Python 3.11, dhe dokumentacioni rekomandon Isaac Sim 5.0 ose më të ri për kartat e serisë 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Me këtë të vendosur, krahu udhëheqës në /dev/ttyACM0 drejton ndjekësin e simuluar dhe regjistron direkt në HDF5. Cikli është i njëjti që tashmë e njihni nga regjistrimi real, vetëm se ndjekësi është një trup i ngurtë në PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Shumica e këtyre ID-ve ekzistojnë gjithashtu si një variant -Direct-v0, dhe python scripts/environments/list_envs.py printon listën aktuale. Ju gjithashtu mund të anashkaloni tërësisht devijimin HDF5 dhe të shkruani formatin LeRobot gjatë teleoperacionit duke shtuar tre flamuj. Dy paralajmërime vijnë nga vetë dokumentacioni: regjistruesi automatikisht anashkalon 5 kornizat e para të çdo episodi për të shmangur paqëndrueshmërinë nga gjendjet fillestare, dhe mund të shkaktojë vonesa të lehta në teleoperacion, gjë që është pikërisht lloji i gjësë që ndryshon në heshtje karakterin e demonstrimeve tuaja. Ai gjithashtu shkruan vetëm episodet që detyra i ka shënuar si të suksesshme.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Hapi i shumëzimit më pas ekzekutohet në ato regjistrime. LeIsaac mbështjell Isaac Lab Mimic në katër komanda, sepse Mimic përgjithëson trajektoret nga pozat e fund-efektorit dhe objektit: konvertoni veprimet e hapësirës së nyjeve në veprime të bazuara në IK, shënoni, gjeneroni, pastaj konvertoni përsëri në hapësirën e nyjeve.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Më pas konvertoni në LeRobot. Ky është hapi ku rregulli i formatit të platformës bëhet problem, dhe LeIsaac ndodh të ofrojë pikërisht dy konvertuesit që ju nevojiten: isaaclab2lerobot.py shkruan LeRobot v2, i cili është ai që marrin ngarkuesit GR00T, dhe isaaclab2lerobotv3.py shkruan v3 për Pi0.5, SmolVLA dhe ACT.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dy rrugë drejt një politike të trajnuar

Modelet e botës me video: shtresa më e re, dhe më pak e matur

Ideja pas DreamGen është se një model gjenerues videoje, i përshtatur me mishërimin e robotit të synuar, mund të imagjinojë episode të besueshme në skena që nuk i keni vizituar kurrë. Pipeline-i ka katër faza: fine-tune modelin e botës me video, gjeneroni video robotike sintetike fotorealiste, rikuperoni sekuenca pseudo-veprimesh me një model veprimi latent ose një model dinamike inverse, pastaj trajnoni politikën e robotit mbi rezultatin. Repozitori GR00T-dreams i NVIDIA-s implementon pikërisht këtë.

Rezultati kryesor është real dhe ia vlen të merret seriozisht: të dhënat e teleoperacionit nga vetëm një detyrë 'pick-and-place' në një mjedis prodhuan 22 sjellje të reja në një humanoid, si në mjedise të parë ashtu edhe në ato të paparë. Paralajmërimi është po aq real dhe ndodhet në fazën e tretë.

Bashkë-trajnimi është receta që tregon vërtet fitime

Nëse merrni një mësim operacional nga literatura, merrni këtë. Studimi i bashkë-trajnimit sim-dhe-real (Maddukuri dhe kolegët, 2025) synoi të gjente një recetë të thjeshtë për përdorimin e të dhënave të simulimit për të zgjidhur detyrat e manipulimit robotik të bazuar në vizion, në dy fusha, një krah roboti dhe një humanoid, dhe përfundimi i tij është se ju trajnoheni në një përzierje. Të dhënat e simulimit përmirësuan performancën e detyrave në botën reale me një mesatare prej 38 për qind, dhe punimi është i qartë se kjo vlejti edhe me dallime të dukshme midis simulimit dhe të dhënave të botës reale.

Ajo klauzolë e fundit ka më shumë rëndësi sesa 38 për qind. Kjo do të thotë se simulimi nuk duhet të jetë një binjak dixhital perfekt për të qenë i dobishëm, me kusht që të dhënat reale të jenë në përzierje për ta ankoruar atë. Transferimi vetëm me simulim është rruga e shtrenjtë: i njëjti punim thekson se trajnimi i një politike vetëm në simulim dhe transferimi i saj në botën reale shpesh kërkon përpjekje të konsiderueshme njerëzore për të kapërcyer hendekun e realitetit. Bashkë-trajnimi anashkalon pjesën më të madhe të kësaj përpjekjeje duke mos i kërkuar kurrë politikës të mbyllë hendekun vetë.

Praktikisht, në këtë platformë, bashkë-trajnimi do të thotë një gjë: vendosni të dy grupet e episodeve në të njëjtin grupi i të dhënave LeRobot me çelësa kamerash konsistentë, rend të përbashkët konsistent dhe njësi konsistente, pastaj ekzekutoni një akordim të imët. Nuk ka asnjë çelës për peshën e përzierjes në formularin e trajnimit. Nëse dëshironi një raport 3:1 sim-ndaj-real, ju e shprehni këtë me numrin e episodeve të secilit që vendosni në grupin e të dhënave.

Fitorja më e lirë nga simulimi nuk është të dhënat e trajnimit

Është vlerësimi. Kryerja e dhjetëra provave reale për detyrë për të krahasuar dy është një ditë pune me krahun, dhe krahu lëviz midis provave. SIMPLER (Li dhe kolegët, 2024) ndërtuan mjedise të simuluara, qëllimi i të cilave është vlerësimi i politikave reale dhe jo trajnimi i tyre, dhe më pas matën se sa mirë renditja e simulimit parashikon atë reale. Një mjedis i vetëm SIMPLER renditet me 3,500 hapa simulimi për sekondë në një RTX 4090 konsumator me rezolucion 640 me 512, gjë që nën një frekuencë simulimi prej 500 Hz është një shpejtësi 7x më e madhe se vlerësimi real.

Këto janë mesatare mbi tre grupe detyrash të Google Robot për gjashtë pika kontrolli të zakonshme me burim të hapur: tre pika kontrolli RT-1 në faza të ndryshme trajnimi, RT-1-X, RT-2-X dhe Octo-Base. Ana reale nuk ka një numër uniform provash, gjë që vlen të dihet para se ta citoni: 75 prova për marrjen e kanaçes së kokës, 60 për lëvizjen afër, 54 për detyrat e hapjes dhe mbylljes së sirtarit dhe 27 për detyrën më të gjatë të sirtarit dhe mollës. Krahasimi me MSE të vlerësimit është pjesa e dobishme. Përzgjedhja e modelit nga humbja e vlerësimit i rendit keq këto pika kontrolli, dhe një Pearson r prej 0.924 nën përputhjen vizuale do të thotë se nëse një pikë kontrolli shënon më mirë në SIMPLER, ajo shumë mundësisht shënon më mirë në bankë. Ky është një tabelë rezultatesh e përsëritshme brenda natës, dhe nuk kërkon të besoni asgjë rreth transferimit të trajnimit sim-në-real.

Nëse dëshironi kontekstin më të gjerë se çfarë ju tregojnë dhe nuk ju tregojnë këto numra krahasues rreth një , ne e shkruam këtë veçmas në .

Ku kjo platformë nuk ju ndihmon

Të qenit i qartë për kufirin i kursen kohë të gjithëve. AY-Robots është një platformë regjistrimi, trajnimi dhe shërbimi. Ajo nuk ka simulator në të.

• Pa Isaac Lab, pa MimicGen, pa model bote, pa autorizim skene. Nëse dëshironi të dhëna të gjeneruara, i gjeneroni ato diku tjetër dhe sillni rezultatin.
• Trajnuesit konsumojnë grupe të dhënash LeRobot dhe asgjë tjetër. Një eksport i simulatorit duhet të konvertohet përpara se të jetë një hyrje, dhe duhet të jetë versioni i duhur: v2.0 ose v2.1 për GR00T N1.5 dhe N1.7, v3.0 për Pi0.5, SmolVLA dhe ACT.
• Pika hyrëse e fine-tuning-ut të GR00T është një tyro CLI që nuk ekspozon asnjë seed, kështu që ekzekutimet e GR00T nuk janë të riprodhueshme bit-për-bit. Nëse po kryeni një ablacion të kujdesshëm sim-kundër-real, ky është një kufizim i vërtetë. Seed-i i paracaktuar i lerobot është 1000, dhe format ACT, SmolVLA dhe Pi0.5 ekspozojnë një fushë seed.
• Akumulimi i gradientit aplikohet vetëm për dy trajnuesit GR00T. Për Pi0.5 dhe SmolVLA fusha ekziston në formë, por lerobot 0.5.1 nuk ka një flamur të tillë, kështu që nuk bën asgjë.
• Inferenca duhet të jetë pranë servove për detyra të shpejta. Cikli i kontrollit është 20 deri në 485 ms për hap veprimi në varësi të modelit, dhe shtimi i udhëtimeve vajtje-ardhje në internetin publik e kthen një politikë funksionale në një hezituese. Inferenca në distancë është e realizueshme për pick-and-place të ngadaltë, jo për lëvizje të shpejta reaktive.

Një buxhet që mund ta mbroni

Vendosni dy rrugët krah për krah me numrat që secila prej tyre publikon, dhe vendimi zakonisht merret vetë për një projekt me një detyrë në një krah me kosto të ulët.

Për një politikë të parë në një SO-100, regjistroni. dhe ju çojnë në një pikë kontrolli të shërbyer për çmimin e një kafeje, dhe do të keni gjysmën reale të çdo përzierjeje të ardhshme bashkë-trajnimi. Përdorni simulatorin kur keni një bazë pune dhe një dështim specifik të përgjithësimit që mund ta emërtoni, si p.sh. një politikë që .

Një recetë që respekton provat

1. 1
   Regjistroni fillimisht bazën reale

   30 episode për SmolVLA, 50 për ACT, GR00T N1.7 dhe Pi0.5. Trajnoni një herë. Çfarëdo që ajo politikë dështon është specifikimi juaj për të dhënat sintetike.

2. 2
   Emërtoni dështimin e përgjithësimit

   Pozicioni i objektit? Ndriçimi? Lartësia e tavolinës? Shpërqendruesit? Një formulim tjetër i udhëzimit? Të dhënat sintetike janë të mira saktësisht në një nga këto në të njëjtën kohë, dhe të padobishme nëse nuk mund të thoni se cilën.

3. 3
   Zgjidhni familjen më të lirë që e mbulon atë

   Variacioni i pozës dhe paraqitjes: shumëzimi i trajektores. Ndriçimi dhe tekstura: augmentimi i imazhit së pari, modeli i botës së dyti. Skena krejtësisht të reja: simulime fizike, dhe pranoni koston e modelimit.

4. 4
   Gjeneroni, pastaj hidhni poshtë në mënyrë agresive

   Tentativat e gjenerimit dështojnë, dhe shkalla e suksesit të kandidatëve të Isaac Lab varion nga 70 për qind deri në më pak se 1 për qind në varësi të detyrës. Mbani vetëm trajektoret e suksesshme, që përfundojnë detyrën, dhe shikoni një mostër si video para se t'i besoni grupit.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Bashkë-trajnoni, mos zëvendësoni

   Bashkoni episodet e gjeneruara me ato reale në një dataset të vetëm LeRobot me çelësa identikë të kamerës dhe renditje të nyjeve. Shifra 38 për qind është një shifër bashkë-trajnimi.

6. 6
   Vlerësoni në krahun real, dhe vetëm aty

   Vlerësimi i simuluar është një sinjal i mirë renditjeje (Pearson r 0.924 në konfigurimin e përputhjes vizuale të SIMPLER) por nuk është testi i pranimit. Ekzekutoni pikën e kontrollit në bankë para se t'i besoni.

Nëse preferoni të filloni nga një listë kontrolli për vetë regjistrimet reale, udhëzuesi i mbledhjes së të dhënave mbulon vendosjen e kamerës, ndarjen e veprimeve implikimet dhe mënyrat e dështimit që e bëjnë një mësimin imitues dataset të papërdorshëm. Detajet mbi vetë formatin gjenden në dokumentet e datasetit, dhe ana e hiperparametrave në dokumentet e trajnimit.