Sintetikong Data para sa mga Patakaran ng Robot: Kung Saan Nakakatulong ang Simulation

Bawat ilang buwan, may nakakaalam na ang pagre-record ng limampung episode nang mano-mano ay mabagal, at nagtatanong kung ang isang simulator ay maaaring gumawa nito sa halip. Ito ay isang makatarungang tanong. Ang tapat na sagot ay may tatlong bahagi: nakakatulong ang nabuong data, hindi nito pinapalitan ang mga tunay na recording, at ang ratio sa pagitan ng dalawang katotohanang iyon ay ganap na nakasalalay sa kung anong uri ng synthetic data ang ibig mong sabihin.

Ang pahinang ito ay tumatalakay sa kung ano ang aktwal na sinukat ng nailathalang gawa, kung ano ang maaari mong patakbuhin ngayon sa isang murang robotic arm tulad ng SO-100, at kung saan kinakain ng sim-to-real gap ang mga benepisyo. Ang maikling bersyon, bago ang detalye: ang mga sistema na nag-uulat ng pinakamalaking multiplier ay nagpaparami ng maliit na hanay ng mga tunay na demonstrasyon ng tao. Hindi nila inaalis ang pangangailangan para sa mga ito.

Apat na magkakaibang bagay ang tinatawag na synthetic data

Bago ihambing ang mga numero, mahalagang paghiwalayin ang mga pamilya, dahil ang isang papel na nag-uulat ng 100x multiplier at isang papel na nag-uulat ng 5 puntos na pagtaas sa tagumpay ay madalas na naglalarawan ng parehong pipeline mula sa magkaibang dulo. Ang karaniwang tema ay mayroong isang bagay sa LeRobot dataset ay ginawa ng isang makina sa halip na naitala mula sa isang pisikal na braso. Ang pagkakaiba ay kung aling bahagi.

Tanging ang unang tatlo lamang ang synthetic data sa kahulugan na ibig sabihin ng artikulong ito. Ang ikaapat ay nararapat banggitin dahil ito ay kasama sa parehong usapan at ito ang pinakamura sa listahan. Kung hindi mo pa na-on ang mga augmentation na kasama ng iyong trainer, gawin iyon bago ka mag-install ng simulator.

Ano ang tunay na sinasabi ng mga nailathalang numero

Narito ang batayan ng ebidensya, kasama ang mga numero ayon sa pagkakasabi ng mga pinagmulan sa halip na ang pagbubuod ng mga press release. Ang bawat hilera sa ibaba ay nagmula sa isang papel o pahina ng proyekto na nabasa noong 23 Agosto 2026.

Ang pattern sa bawat tapat na ablation ay pareho. Ang synthetic data ay nagpapalawak ng saklaw nang mura. Hindi ito lumilikha ng impormasyon tungkol sa iyong gripper, servo sag, ilaw, o taas ng mesa na wala sa mga totoong demonstrasyon sa kung saan. Kung ang iyong patakaran ay nabigo dahil ang end effector ay sumasara nang kalahating segundo nang huli, walang anumang dami ng simulated variation ang makakapag-ayos nito. Iyan ay isang problema sa timing ng gripper sa mga totoong recording.

Isang natuklasan ng MimicGen ang nararapat dalhin sa iyong sariling mga recording session, dahil ito ay salungat sa karaniwang payo. Ang proyekto ay bumuo ng dalawang dataset sa Square D2, ang isa ay sinimulan ng 10 demo mula sa isang mas mahusay na kalidad na human operator at ang isa ay may 10 demo mula sa isang mas mababang kalidad na operator, parehong kinuha mula sa robomimic multi-human Square dataset. Ang mga patakaran na sinanay sa bawat isa ay nakamit ang maihahambing na resulta, na binasa ng mga may-akda bilang isang senyales na sa malakihang data regime, ang kalidad ng data ay maaaring hindi gaanong mahalaga. Basahing mabuti, iyan ay isang pahayag tungkol sa sampung seed demonstration, hindi tungkol sa iyong limampung totoong episode. Nangangahulugan ito na ang isang medyo hindi maayos na seed set ay hindi ang hadlang sa pagitan mo at ng isang magagamit na nabuong dataset. Hindi ito nangangahulugan na ang mga totoong episode na iyong sinasanay ay maaaring hindi maayos, dahil ang mga iyon ang nagdadala ng impormasyon na wala ang simulator.

Ang sim-to-real gap, sa konkreto

Ang agwat ay karaniwang tinatalakay bilang isang dami lamang, na hindi nakakatulong. Ito ay hindi bababa sa limang magkahiwalay na pagkakaiba, at mayroon silang iba't ibang laki sa isang 110 hanggang 150 EUR na hobby arm kumpara sa isang Franka.

• Kontak at pagkiskis. Malinaw na sinasaad ng Isaac Lab na sa parehong hardware at parehong bersyon ng Isaac Sim at PhysX, ang simulasyon ay maaaring kopyahin, ngunit ang mga resulta ay nag-iiba sa iba't ibang konfigurasyon ng hardware dahil sa floating point precision at rounding errors, at hindi ginagarantiya ng PhysX ang determinismo para sa anumang eksena na may non-rigid bodies tulad ng tela o soft bodies.
• Aktwasyon. Ang isang Feetech STS3215 bus servo na tumatakbo sa 7.4 V ay bumababa ang lakas sa ilalim ng karga, may backlash, at nagbabago ang pag-uugali habang umiinit. Ang MJCF model para sa SO-101 ay humiram ng mga parameter ng motor nito mula sa isang hindi kaugnay na proyekto sa halip na tukuyin ang mga ito sa iyong arm.
• Pag-render. Ang ingay ng camera, rolling shutter, auto-exposure, at ang eksaktong kulay ng iyong mesa ay wala sa render. Ito ang kalahati ng agwat na nilayon ng Cosmos-Transfer1 na isara: ang workflow nito sa robotics augmentation ay nagmamapa ng isang robotics synthetic na halimbawa sa maraming makatotohanang halimbawa mula sa segmentation, depth o edge conditioning.
• Pag-tiyempo. Ang isang simulator ay gumagalaw sa isang nakapirming rate. Ang isang tunay na control loop ay hindi, at ang modelo mismo ay nagkakahalaga ng 20 hanggang 485 ms bawat action step depende sa pinili mo. Tingnan ang inference latency.
• Istatistika ng bagay. Ang mga simulated na eksena ay kinukuha mula sa isang distribusyon na isinulat ng isang tao. Ang iyong mesa sa kusina ay hindi.

Ano ang tunay na nalalaman ng isang simulated na SO-100 tungkol sa iyong arm

Ito ang bahagi na nagpapasya kung ang alinman sa mga nabanggit ay sulit sa iyong weekend, at ang unang sorpresa ay hindi pantay ang serbisyo sa SO-100 at SO-101. Ang repositoryo ng SO-ARM100 ng TheRobotStudio ay nagtatago ng mga simulation asset nito sa ilalim ng Simulation/. Ang folder ng SO100 ay naglalaman ng isang URDF file lamang at wala nang iba. Ang folder ng SO101 ay naglalaman ng parehong URDF at MuJoCo files: scene.xml, so101_new_calib.xml, so101_old_calib.xml, ang katugmang mga URDF at isang joints_properties.xml. Kung gusto mo ng physics model sa halip na kinematic chain, ang mga SO-101 file ang kailangan mo.

Ang mga ito ay nabuo gamit ang onshape-to-robot plugin mula sa isang CAD model na dinisenyo sa Onshape, na nangangahulugang ang kinematics at ang visual meshes ay kasinghusay ng CAD. Iba ang usapan pagdating sa dynamics, at ang README ng repository ay prangka tungkol sa tatlong bagay. Ang base collision meshes ay tinanggal dahil sa problematikong pag-uugali ng banggaan sa panahon ng simulation at pagpaplano. Ang mga katangian ng STS3215 motor ay inangkop mula sa Open Duck Mini project sa halip na sinukat sa isang SO-101. At ang LeRobot gripper convention, kung saan ang 0 ay ganap na sarado at ang 100 ay ganap na bukas, ay tahasang hindi pa nasasalamin sa mga URDF at MuJoCo file. Bawat isa sa mga ito ay isang lugar kung saan ang isang policy na sinanay nang puro sa modelong iyon ay magkakaroon ng ibang pag-uugali sa iyong desk.

Domain randomization, at kung ano ang hindi nito nalulutas

Ang karaniwang sagot sa agwat ay ang pagtigil sa pagsubok na itugma ang realidad at sa halip ay magsanay sa isang distribusyon na sapat ang lawak upang ang realidad ay mapasama rito. Ipinakita ni Tobin at ng kanyang mga kasamahan ang matibay na bersyon nito noong 2017: isang object detector na sinanay lamang sa simulated images na may non-realistic random textures, nang walang pre-training sa real images, ay naglokalisa ng mga real object sa isang katumpakan na 1.5 cm at nanatiling matatag laban sa mga distractor at partial occlusions.

Ipinapakita ng Isaac Lab ang parehong ideya tulad ng mga termino ng kaganapan na ikinakabit mo sa isang config ng kapaligiran. Ito ang mga kontrol, sa pamamagitan ng kanilang aktwal na pangalan ng function sa isaaclab.envs.mdp, upang mabasa mo ang mga ito sa halip na hulaan.

Narito ang limitasyon, at ito ang madalas na kinakatisuran ng mga tao. Pinapalawak ng randomization ang distribusyon na nakita ng patakaran sa loob ng modelong iyong binuo. Hindi ito makapagpapakilala ng pisikal na epekto na hindi kinakatawan ng simulator. Kung hindi minomodelo ng PhysX ang backlash at thermal droop ng iyong mga STS3215 servo, ang pag-randomize ng kanilang stiffness ay walang maituturo sa patakaran tungkol sa backlash. Kaya naman ang isang braso na sa ilalim ng isang patakarang sinanay sa sim ay hindi problema sa randomization-budget. Ito ay problema sa pagmomodelo.

Ang manu-manong landas: pagbuo ng data sa Isaac Lab

Isaac Gym ay legacy software. Ang sariling pahina ng NVIDIA ay may pamagat na "Isaac Gym - Ngayon ay Deprecated" at sinasabi na maaaring i-download at patuloy na gamitin ito ng mga developer ngunit hindi na ito sinusuportahan, itinuturo ang Isaac Lab bilang kapalit. Kung gusto mo ang kasaysayan, sinakop namin ang pareho: at . Para sa bagong trabaho sa 2026, magsimula sa Isaac Lab.

1. 1
   I-install ang Isaac Sim at Isaac Lab

   Nakasaad sa pahina ng pag-install ng pip na ang mga tagubilin ay para sa Isaac Sim 5.X, na nangangailangan ng Python 3.11. Ang source clone ay nagbibigay sa iyo ng mga script na kailangan ng mga susunod na hakbang.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Mag-record ng humigit-kumulang sampung demonstrasyon ng tao

   Ang dokumentasyon ng Isaac Lab ay partikular: humigit-kumulang 10 matagumpay na demonstrasyon ang kinakailangan upang magtagumpay ang mga sumusunod na hakbang. Ang mga tip nito ay pantay na partikular. Panatilihing maikli ang mga demonstrasyon, kumuha ng direktang landas sa halip na gumalaw sa arbitraryong axes, at huwag huminto, dahil hindi malinaw sa isang patakaran kung bakit at kailan hihinto.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   I-annotate ang mga hangganan ng subtask

   Hinahati ng Mimic ang mga input na demonstrasyon sa mga subtask upang muling ma-time at ma-target ang mga segment. Ginagawa ito ng --auto flag nang walang tao sa loop para sa mga task na nagtatakda ng awtomatikong anotasyon; kung wala ito, humihinto ka sa B, nagpapatuloy sa N at nagmamarka ng hangganan sa S. Tandaan na ang task id ay nagkakaroon ng -Mimic suffix.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Bumuo ng pinaraming dataset

   Ito ang hakbang na nagiging 1000 ang 10. Naglalapat ang Mimic ng boolean success criterion sa bawat kandidato at pinapanatili lamang ang mga nakatapos ng task, kaya mas mababa ang bilang ng output kaysa sa bilang ng trial. Ayon sa mga docs, ang success rate ng kandidato ay umaabot sa 70 porsyento sa mga simpleng kaso at mas mababa sa 1 porsyento para sa mahihirap na task at kumplikadong robot: humigit-kumulang 50 porsyento para sa Franka cube stack, at 65 hanggang 80 porsyento para sa GR1T2 pick and place, kung saan ang 1000 demo ay tumatagal ng 18 hanggang 40 minuto (19 minuto sa isang RTX ADA 6000 sa 80 porsyento).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   I-convert ang HDF5 sa isang LeRobot dataset

   Ang lahat ng nasa itaas ay gumagawa ng robomimic-flavoured HDF5, at ang Isaac Lab core ay walang sariling LeRobot converter: sinasabi lamang ng mga docs nito na maaari mong i-convert ang nabuong dataset sa LeRobot format. Dalawang proyekto ang nagbibigay ng aktwal na converter. Ang IsaacLab-Arena ay nagpapadala ng GR00T-targeted na ganap na pinapatakbo ng isang YAML config, at ang LeIsaac ay nagpapadala ng sarili nitong pares para sa SO-101 route (tingnan sa ibaba).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Bakit nabibigo ang mga pagtatangka sa pagbuo, at ano ang dapat baguhin

Ang success rate ng kandidato na nagbabago sa pagitan ng 70 porsiyento at mas mababa sa 1 porsiyento ay hindi misteryo, at idinodokumento ng Isaac Lab ang mga karaniwang pagkakamali sa halip na hayaan kang manghula. Bawat isa sa mga ito ay isang bagay na kontrolado mo sa oras ng pagre-record, kaya naman mahalagang basahin ang listahang ito bago mo i-record ang sampung seed demonstration sa halip na pagkatapos ng unang nakakadismayang generation run.

• Masyadong mahaba ang mga demonstrasyon. Mas mahirap matutunan ng isang policy ang mas mahabang time horizon. Magsimula malapit sa unang object at bawasan ang galaw.
• Hindi makinis ang mga demonstrasyon. Mahirap intindihin ng isang policy ang iregular na galaw, at ang mas mahusay na teleoperation hardware ay nagbibigay ng mas mahusay na data: malinaw na sinasabi ng mga docs na mas mahusay ang SpaceMouse kaysa sa keyboard.
• Mga Paghinto. Mahirap matutunan ang mga paghinto, dahil hindi malinaw sa isang policy kung bakit at kailan hihinto. Panatilihing tuloy-tuloy ang galaw.
• Masyadong maraming subtask. Mas maraming subtask ang nangangahulugang mas maraming pagdudugtong sa pagitan ng mga trajectory segment, na nagreresulta sa hindi gaanong makinis na galaw at mas mababang generation success rate. Lagyan ng anotasyon ang mga hangganan kung saan hindi malamang na bumangga ang braso sa anumang bagay.
• Walang action noise. Ginagawang mas matatag ng action noise ang mga nagreresultang policy.
• Masyadong masikip ang pagka-crop ng recording. Kung huminto ang recording sa eksaktong frame kung saan nag-trigger ang success term, maaaring hindi ito muling mag-trigger sa panahon ng replay. Mag-iwan ng buffer sa dulo.
• Non-deterministic na replay. Ang physics sa Isaac Lab ay hindi deterministically reproducible sa buong env.reset, kaya ang ilang human demo ay nabibigo sa replay. Mangolekta ng higit sa kailangan mo at panatilihin ang mga nakaligtas sa anotasyon. Lahat ng napupunta sa isang Mimic-generated HDF5 file ay isang matagumpay na demo at maaaring gamitin para sa pagsasanay kahit na mabigo ang replay sa huli.

Ang interpolation step sa pagitan ng mga pinagdugtong na subtask segment ay may sariling tuning knob, at ang bilang ng interpolation step na kailangan mo ay nakadepende sa bilis ng paggalaw ng robot at sa lawak ng object reset distribution. Ang isang kumplikadong gawain na may malaking reset distribution ay nag-iiwan ng mas malalaking puwang sa pagitan ng mga segment, na nangangailangan ng mas maraming interpolation step upang maging tuloy-tuloy na galaw. Kung ang iyong mga nabuong video ay nagpapakita ng pag-indayog ng braso sa pagitan ng mga phase, iyon ang parameter na dapat tingnan bago mo sisihin ang mga seed demo.

Ang parehong pipeline sa isang SO-101, kasama ang tunay na leader arm

Ito ang kawili-wiling bahagi para sa sinumang nagbabasa ng pahinang ito, dahil ito lamang ang bukas na pipeline na naglalagay ng sa loob ng Isaac Lab at hinahayaan kang paandarin ito gamit ang pisikal na leader arm na pagmamay-ari mo na. Ang LeIsaac, bersyon 0.4.0 sa oras ng pagsusulat, ay ang opisyal na imitation-learning simulation playground na isinama sa EnvHub ng LeRobot. Ang compatibility table nito ay naglilista ng tatlong gumaganang kombinasyon; ang pinakabago ay pinagsasama ang Isaac Sim 5.1 sa Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 at Python 3.11, at inirerekomenda ng mga docs ang Isaac Sim 5.0 o mas bago para sa mga 50-series card.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Kapag nakalagay na iyon, ang leader arm sa /dev/ttyACM0 ay nagpapaandar sa simulated follower at direktang nagre-record sa HDF5. Ang loop ay pareho sa alam mo na mula sa totoong recording, tanging ang follower lamang ang isang rigid body sa PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Karamihan sa mga ID na iyon ay umiiral din bilang isang -Direct-v0 variant, at python scripts/environments/list_envs.py ipiniprint ang kasalukuyang listahan. Maaari mo ring laktawan nang buo ang HDF5 detour at isulat ang LeRobot format sa panahon ng teleoperation sa pamamagitan ng pagdaragdag ng tatlong flag. Dalawang babala ang nagmumula sa dokumentasyon mismo: awtomatikong nilalaktawan ng recorder ang unang 5 frame ng bawat episode upang maiwasan ang kawalang-tatag mula sa mga paunang estado, at maaari itong magdulot ng bahagyang pagkaantala sa teleoperation, na eksaktong uri ng bagay na tahimik na nagbabago sa katangian ng iyong mga demonstrasyon. Ini-flush din nito ang mga episode na minarkahan ng gawain bilang matagumpay.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Ang hakbang ng pagpaparami ay tumatakbo pagkatapos sa mga recording na iyon. Binabalot ng LeIsaac ang Isaac Lab Mimic sa apat na command, dahil ginagawang pangkalahatan ng Mimic ang mga trajectory mula sa end-effector at object poses: i-convert ang mga joint-space action sa mga IK-based action, i-annotate, i-generate, pagkatapos ay i-convert pabalik sa joint space.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Pagkatapos, i-convert sa LeRobot. Ito ang hakbang kung saan nagiging kritikal ang panuntunan sa format ng platform, at nagkataon na ang LeIsaac ay nagbibigay ng eksaktong dalawang converter na kailangan mo: isaaclab2lerobot.py ay sumusulat ng LeRobot v2, na siyang ginagamit ng mga GR00T loader, at isaaclab2lerobotv3.py ay sumusulat ng v3 para sa Pi0.5, SmolVLA at ACT.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dalawang paraan para sa isang sinanay na patakaran

Mga modelo ng video world: ang pinakabagong layer, at ang pinakamababang nasusukat

Ang ideya sa likod ng DreamGen ay ang isang video generative model, na inangkop sa target na robot embodiment, ay maaaring mag-imagine ng mga posibleng episode sa mga eksena na hindi mo pa napuntahan. Ang pipeline ay may apat na yugto: fine-tune ang video world model, bumuo ng photorealistic synthetic robot videos, bawiin ang mga pseudo-action sequence gamit ang isang latent action model o isang inverse dynamics model, pagkatapos ay sanayin ang robot policy sa resulta. Eksaktong ipinapatupad iyan ng GR00T-dreams repository ng NVIDIA.

Ang pangunahing resulta ay totoo at nararapat seryosohin: ang data ng teleoperasyon mula sa isang pick-and-place na gawain lamang sa isang kapaligiran ay nakagawa ng 22 bagong pag-uugali sa isang humanoid, sa parehong nakita at hindi nakitang kapaligiran. Ang babala ay totoo rin at matatagpuan sa ikatlong yugto.

Ang co-training ang recipe na talagang nagpapakita ng mga pakinabang

Kung may isang aral sa operasyon na makukuha mula sa literatura, ito iyon. Ang pag-aaral ng sim-and-real co-training (Maddukuri at mga kasamahan, 2025) ay naglayong makahanap ng simpleng paraan para magamit ang data ng simulation upang malutas ang mga gawain ng robotic manipulation na batay sa paningin, sa dalawang domain, isang robot arm at isang humanoid, at ang konklusyon nito ay nagsasanay ka sa isang pinaghalong. Pinahusay ng data ng simulation ang pagganap ng gawain sa totoong mundo ng average na 38 porsiyento, at malinaw sa papel na ito ay nanatili kahit na may kapansin-pansing pagkakaiba sa pagitan ng simulation at ng data sa totoong mundo.

Ang huling sugnay na iyon ay mas mahalaga kaysa sa 38 porsiyento. Nangangahulugan ito na hindi kailangang maging perpektong digital twin ang simulation upang maging kapaki-pakinabang, basta't ang tunay na data ay nasa pinaghalong upang maging batayan nito. Ang sim-only transfer ay ang mamahaling landas: sinasaad ng parehong papel na ang pagsasanay ng isang patakaran sa simulation lamang at paglilipat nito sa totoong mundo ay madalas na nangangailangan ng malaking pagsisikap ng tao upang tulay ang agwat ng realidad. Nilalaktawan ng co-training ang karamihan sa pagsisikap na iyon sa pamamagitan ng hindi paghingi sa patakaran na isara ang agwat nang mag-isa.

Sa praktikal na paraan, sa platform na ito, ang co-training ay nangangahulugang isang bagay: ilagay ang parehong set ng mga episode sa parehong LeRobot dataset na may pare-parehong camera keys, pare-parehong joint order at pare-parehong units, pagkatapos ay patakbuhin ang isang normal na fine-tune. Walang mixture-weight knob sa training form. Kung gusto mo ng 3:1 sim-to-real ratio, ipinapahayag mo iyon sa dami ng mga episode ng bawat isa na inilalagay mo sa dataset.

Ang pinakamurang panalo mula sa simulation ay hindi training data

Ito ay ebalwasyon. Ang pagpapatakbo ng dose-dosenang tunay na pagsubok bawat gawain upang ihambing ang dalawang ay isang araw ng oras ng braso, at ang braso ay gumagalaw sa pagitan ng mga pagsubok. Ang SIMPLER (Li at mga kasamahan, 2024) ay bumuo ng mga simulated environment na ang layunin ay suriin ang mga tunay na polisiya sa halip na sanayin ang mga ito, at pagkatapos ay sinukat kung gaano kahusay ang hula ng sim ranking sa tunay na isa. Ang isang solong SIMPLER environment ay nagre-render sa 3,500 simulation steps bawat segundo sa isang consumer RTX 4090 sa 640 by 512 resolution, na sa ilalim ng 500 Hz simulation frequency ay isang 7x speedup kumpara sa tunay na ebalwasyon.

Ang mga ito ay average sa tatlong grupo ng gawain ng Google Robot para sa anim na karaniwang open-source na mga checkpoint: tatlong RT-1 na mga checkpoint sa iba't ibang yugto ng pagsasanay, RT-1-X, RT-2-X at Octo-Base. Ang tunay na bahagi ay hindi isang pare-parehong bilang ng pagsubok, na mahalagang malaman bago mo ito banggitin: 75 pagsubok para sa pagkuha ng lata ng coke, 60 para sa paglipat malapit, 54 para sa mga gawain ng pagbukas at pagsara ng drawer at 27 para sa mas mahabang gawain ng drawer-at-mansanas. Ang paghahambing laban sa validation MSE ay ang kapaki-pakinabang na bahagi. Ang pagpili ng modelo sa pamamagitan ng validation loss ay nagra-rank ng mga checkpoint na ito nang masama, at ang Pearson r na 0.924 sa ilalim ng visual matching ay nangangahulugan na kung ang isang checkpoint ay nakakuha ng mas mahusay sa SIMPLER, malamang na mas mahusay din ito sa bench. Iyan ay isang paulit-ulit na overnight scoreboard, at hindi nito hinihingi na maniwala ka sa anumang bagay tungkol sa sim-to-real training transfer.

Kung nais mo ang mas malawak na konteksto sa kung ano ang sinasabi at hindi sinasabi ng mga numerong ito ng benchmark tungkol sa isang , isinulat namin iyon nang hiwalay sa .

Kung saan hindi ka matutulungan ng platform na ito

Ang pagiging malinaw tungkol sa hangganan ay nakakatipid ng oras ng lahat. Ang AY-Robots ay isang platform para sa pagre-record, pagsasanay at paghahatid. Wala itong simulator.

• Walang Isaac Lab, walang MimicGen, walang world model, walang scene authoring. Kung gusto mo ng generated data, i-generate mo ito sa ibang lugar at dalhin ang resulta.
• Ang mga trainer ay kumokonsumo ng LeRobot datasets at wala nang iba. Ang isang simulator export ay kailangang i-convert bago ito maging input, at kailangan itong tamang bersyon: v2.0 o v2.1 para sa GR00T N1.5 at N1.7, v3.0 para sa Pi0.5, SmolVLA at ACT.
• Ang fine-tuning entry point ng GR00T ay isang tyro CLI na walang inilalabas na seed, kaya ang mga GR00T run ay hindi bit-for-bit reproducible. Kung nagpapatakbo ka ng maingat na sim-versus-real ablation, iyan ay isang tunay na limitasyon. Ang sariling default seed ng lerobot ay 1000, at ang mga form ng ACT, SmolVLA at Pi0.5 ay naglalabas ng seed field.
• Ang gradient accumulation ay aktwal na inilalapat lamang para sa dalawang GR00T trainer. Para sa Pi0.5 at SmolVLA, umiiral ang field sa form ngunit ang lerobot 0.5.1 ay walang ganoong flag, kaya wala itong ginagawa.
• Ang inference ay kailangang nasa tabi ng mga servo para sa mabilis na gawain. Ang control loop ay 20 hanggang 485 ms bawat action step depende sa modelo, at ang pagdaragdag ng public-internet round trips ay nagiging sanhi upang ang isang gumaganang policy ay maging nag-aalangan. Ang remote inference ay posible para sa mabagal na pick-and-place, hindi para sa mabilis na reactive motion.

Isang badyet na kaya mong ipagtanggol

Ilagay ang dalawang landas nang magkatabi kasama ang mga numerong aktwal na inilalathala ng bawat isa, at ang desisyon ay karaniwang nagagawa mismo para sa isang single-task project sa isang low-cost arm.

Para sa unang patakaran sa isang SO-100, mag-record. Ang walkthrough sa pagre-record at unang pagpapatakbo ng pagsasanay ay magdadala sa iyo sa isang served checkpoint sa halaga ng isang kape, at magkakaroon ka ng totoong kalahati ng anumang future co-training mixture. Gamitin ang simulator kapag mayroon kang gumaganang baseline at isang partikular na pagkabigo sa generalisasyon na maaari mong pangalanan, tulad ng isang patakaran na gumagana lamang sa isang setup.

Isang recipe na gumagalang sa ebidensya

1. 1
   I-record muna ang tunay na baseline

   30 episode para sa SmolVLA, 50 para sa ACT, GR00T N1.7 at Pi0.5. Sanayin nang isang beses. Anuman ang mabigo sa patakarang iyon ang iyong pagtutukoy para sa sintetikong data.

2. 2
   Pangalanan ang pagkabigo sa heneralisasyon

   Pose ng bagay? Pag-iilaw? Taas ng mesa? Mga nakakagambala? Ibang pagkakabuo ng instruksyon? Ang sintetikong data ay mahusay sa isa lamang sa mga ito sa isang pagkakataon, at walang silbi kung hindi mo masabi kung alin.

3. 3
   Piliin ang pinakamurang pamilya na sumasaklaw dito

   Pagkakaiba-iba ng pose at layout: pagpaparami ng trajectory. Pag-iilaw at texture: pagpapahusay ng imahe muna, world model pangalawa. Buong bagong eksena: physics rollouts, at tanggapin ang gastos sa pagmomodelo.

4. 4
   Bumuo, pagkatapos ay itapon nang agresibo

   Nabibigo ang mga pagtatangka sa pagbuo, at ang sariling rate ng tagumpay ng kandidato ng Isaac Lab ay mula 70 porsiyento pababa sa wala pang 1 porsiyento depende sa gawain. Panatilihin lamang ang matagumpay, nakakumpleto ng gawain na mga trajectory, at tingnan ang isang sample bilang video bago mo pagkatiwalaan ang batch.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Co-train, huwag palitan

   Pagsamahin ang nabuong mga episode sa mga tunay sa isang solong LeRobot dataset na may magkaparehong camera keys at joint ordering. Ang 38 porsiyentong pigura ay isang pigura ng co-training.

6. 6
   Suriin sa tunay na braso, at doon lamang

   Ang simulated evaluation ay isang magandang signal ng pagraranggo (Pearson r 0.924 sa visual-matching setup ng SIMPLER) ngunit hindi ito ang acceptance test. Patakbuhin ang checkpoint sa bench bago mo ito paniwalaan.

Kung mas gusto mong magsimula sa isang checklist para sa mga tunay na recording mismo, ang gabay sa pagkolekta ng data sumasaklaw sa paglalagay ng camera, action chunking mga implikasyon at ang mga mode ng pagkabigo na nagpapahirap sa isang imitation learning dataset na hindi magamit. Ang mga detalye sa format mismo ay matatagpuan sa mga docs ng dataset, at ang panig ng hyperparameter sa mga docs ng training.