Data Bandia kwa Sera za Roboti: Ambapo Uigaji Husaidia

Kila baada ya miezi michache, mtu hugundua kuwa kurekodi hamsini vipindi kwa mkono ni polepole, na huuliza kama simulator inaweza kuzalisha badala yake. Ni swali la haki. Jibu la kweli lina sehemu tatu: data iliyozalishwa inasaidia, haibadilishi rekodi halisi, na uwiano kati ya ukweli huo mbili unategemea kabisa aina gani ya data bandia unayomaanisha.

Ukurasa huu unapitia kile ambacho kazi iliyochapishwa ilipima, kile unachoweza kuendesha leo kwenye mkono wa gharama nafuu kama vile SO-100, na ambapo pengo la sim-to-real hupunguza faida. Toleo fupi, kabla ya undani: mifumo inayoripoti vizidishi vikubwa huzidisha seti ndogo ya maonyesho halisi ya binadamu. Haziondoi hitaji lao.

Mambo manne tofauti yanaitwa data bandia

Kabla ya kulinganisha namba, inafaa kutenganisha familia, kwa sababu karatasi inayoripoti kizidishi cha 100x na karatasi inayoripoti ongezeko la pointi 5 za mafanikio mara nyingi huelezea mchakato uleule kutoka pande tofauti. Jambo la kawaida ni kwamba kitu katika LeRobot dataset ilitengenezwa na mashine badala ya kurekodiwa kutoka kwa mkono halisi. Kinachotofautiana ni sehemu gani.

Ni tatu za kwanza tu ndizo data bandia kwa maana ya makala haya. Ya nne inafaa kutajwa kwa sababu inajumuishwa katika mazungumzo yale yale na ndiyo kitu cha bei rahisi zaidi kwenye orodha. Ikiwa bado hujawasha nyongeza ambazo mkufunzi wako anazo, fanya hivyo kabla ya kusakinisha simulator.

Nini namba zilizochapishwa zinasema kweli

Hapa kuna msingi wa ushahidi, na namba kama vyanzo vinavyozieleza badala ya jinsi taarifa za habari zinavyozifupisha. Kila safu hapa chini inatokana na karatasi au ukurasa wa mradi ulisomwa mnamo Agosti 23, 2026.

Mchoro katika kila upunguzaji wa kweli ni uleule. Data bandia huongeza ufikiaji kwa gharama nafuu. Haileti habari kuhusu kishika chako, mlegezo wa servo yako, mwangaza wako au urefu wa meza yako ambayo haikuwepo katika maonyesho halisi mahali fulani. Ikiwa sera yako inashindwa kwa sababu kiambato cha mwisho kinafunga nusu sekunde kuchelewa sana, hakuna kiasi cha tofauti bandia kinachoweza kurekebisha hilo. Huo ni tatizo la muda wa kishika katika rekodi halisi.

Ugunduzi mmoja wa MimicGen unastahili kuzingatiwa katika vipindi vyako vya kurekodi, kwa sababu unapingana na ushauri wa kawaida. Mradi huo ulizalisha seti mbili za data kwenye Square D2, moja ikiwa na demos 10 kutoka kwa opereta binadamu mwenye ubora bora na nyingine ikiwa na demos 10 kutoka kwa opereta mwenye ubora duni, zote zikichukuliwa kutoka kwenye seti ya data ya robomimic multi-human Square. Sera zilizofunzwa kwa kila moja zilipata matokeo yanayofanana, ambayo waandishi walisoma kama ishara kwamba katika utawala wa data kubwa ubora wa data huenda usiwe muhimu sana. Soma kwa makini, hiyo ni taarifa kuhusu maonyesho kumi ya mbegu, si kuhusu vipindi vyako hamsini halisi. Inamaanisha kuwa seti ya mbegu iliyo na kasoro kidogo si kizuizi kati yako na seti ya data inayoweza kutumika iliyozalishwa. Haimaanishi kuwa vipindi halisi unavyofunza pamoja vinaweza kuwa na kasoro, kwa sababu hivyo ndivyo vinavyobeba habari ambayo simulator haina.

Pengo la sim-kwa-halisi, kwa uwazi

Pengo hili kwa kawaida hujadiliwa kama kiasi kimoja, jambo ambalo halisaidii. Kuna angalau tofauti tano tofauti, na zina ukubwa tofauti kwenye mkono wa hobby wa EUR 110 hadi 150 kuliko zilivyo kwenye Franka.

• Mguso na msuguano. Isaac Lab inasema wazi kwamba kutokana na maunzi yale yale na toleo lile lile la Isaac Sim na PhysX, uigaji unaweza kurudiwa, lakini matokeo hutofautiana katika usanidi tofauti wa maunzi kutokana na usahihi wa nambari za desimali na makosa ya kuzungusha, na kwamba PhysX haihakikishi uthabiti kwa eneo lolote lenye miili isiyo ngumu kama vile nguo au miili laini.
• Uendeshaji. Servo ya basi ya Feetech STS3215 inayoendeshwa kwa 7.4 V inalegea chini ya mzigo, ina ulegevu, na hubadilisha tabia inapopata joto. Mfumo wa MJCF wa SO-101 unachukua vigezo vyake vya motor kutoka kwa mradi usiohusiana badala ya kuvitambua kwenye mkono wako.
• Utoaji Picha. Kelele za kamera, rolling shutter, mwangaza wa kiotomatiki, na rangi halisi ya meza yako hazipo kwenye utoaji picha. Huu ndio nusu ya pengo ambalo Cosmos-Transfer1 ilijengwa kufunga: mtiririko wake wa kazi wa uboreshaji wa robotiki huweka ramani ya mfano mmoja wa robotiki bandia kwa mifano mingi halisi kutoka kwa ugawaji, kina au hali ya ukingo.
• Muda. Kisimulizi hupiga hatua kwa kasi isiyobadilika. Kitanzi halisi cha udhibiti hakifanyi hivyo, na mfumo wenyewe hugharimu 20 hadi 485 ms kwa kila hatua ya kitendo kulingana na ulichochagua. Tazama kuchelewa kwa utambuzi.
• Takwimu za vitu. Matukio yaliyoigwa huchukuliwa kutoka kwa usambazaji ambao mtu aliandika. Meza yako ya jikoni si hivyo.

Kile ambacho SO-100 iliyoigwa inajua kuhusu mkono wako

Hii ndiyo sehemu inayobainisha kama yoyote kati ya yaliyotajwa hapo juu inafaa wikendi yako, na mshangao wa kwanza ni kwamba SO-100 na SO-101 hazihudumiwi sawa. Hifadhi ya TheRobotStudio ya SO-ARM100 huweka mali zake za uigaji chini ya Simulation/. Folda ya SO100 ina faili moja ya URDF na hakuna kingine. Folda ya SO101 ina faili za URDF na MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, URDF zinazolingana na joints_properties.xml. Ikiwa unataka mfumo wa fizikia badala ya mnyororo wa kinematiki, unataka faili za SO-101.

Zilitengenezwa kwa kutumia programu-jalizi ya onshape-to-robot kutoka kwa modeli ya CAD iliyoundwa katika Onshape, ambayo inamaanisha kuwa kinematiki na nyavu za kuona ni nzuri kama CAD. Mienendo ni hadithi tofauti, na README ya hazina yenyewe inazungumza waziwazi kuhusu mambo matatu. Nyavu za mgongano za msingi ziliondolewa kutokana na tabia mbaya ya mgongano wakati wa uigaji na upangaji. Sifa za motor ya STS3215 zimechukuliwa kutoka mradi wa Open Duck Mini badala ya kupimwa kwenye SO-101. Na makubaliano ya LeRobot gripper, ambapo 0 imefungwa kabisa na 100 imefunguliwa kabisa, bado hayajaonyeshwa waziwazi katika faili za URDF na MuJoCo. Kila moja ya hayo ni mahali ambapo sera iliyefunzwa kikamilifu katika modeli hiyo itatenda tofauti kwenye dawati lako.

Ubadilishaji wa Kikoa, na Kile Ambacho Haurekebishi

Jibu la kawaida kwa pengo hilo ni kuacha kujaribu kulinganisha uhalisia na badala yake kufanya mafunzo katika usambazaji mpana wa kutosha ili uhalisia uingie ndani yake. Tobin na wenzake walionyesha toleo kali la hili mnamo 2017: kigunduzi cha vitu kilichofunzwa tu kwenye picha zilizoundwa na maumbo ya nasibu yasiyo halisi, bila mafunzo ya awali kwenye picha halisi kabisa, kilipata vitu halisi kwa usahihi wa sentimita 1.5 na kubaki imara dhidi ya vikengeushi na vizuizi vya sehemu.

Isaac Lab inatoa wazo lile lile kama masharti ya matukio unayoyaambatanisha na usanidi wa mazingira. Hizi ndizo 'knobs', kwa majina yao halisi ya kazi katika isaaclab.envs.mdp, ili uweze kwenda kuyasoma badala ya kukisia.

Hapa ndipo kikomo, na ndicho watu hukwama. Uwekaji nasibu hupanua usambazaji ambao sera imeona ndani ya modeli uliyojenga. Haiwezi kuanzisha athari ya kimwili ambayo simulator haiwakilishi. Ikiwa PhysX haifanyi modeli ya 'backlash' na 'thermal droop' ya serva zako za STS3215, kuweka ugumu wao nasibu hakufundishi sera chochote kuhusu 'backlash'. Ndiyo maana mkono ambao unatetemeka kisha kulegea chini ya sera iliyefunzwa kwa sim si tatizo la bajeti ya uwekaji nasibu. Ni tatizo la uundaji modeli.

Njia ya mwongozo: kuzalisha data katika Isaac Lab

Isaac Gym ni programu ya zamani. Ukurasa wa NVIDIA wenyewe una kichwa "Isaac Gym - Sasa Imepitwa na Wakati" na unasema watengenezaji wanaweza kuipakua na kuendelea kuitumia lakini haitumiki tena, ikielekeza kwenye Isaac Lab badala yake. Kama unataka historia, tulizungumzia zote mbili: na . Kwa kazi mpya mwaka 2026, anza na Isaac Lab.

1. 1
   Sakinisha Isaac Sim na Isaac Lab

   Ukurasa wa usakinishaji wa pip unasema maelekezo ni kwa ajili ya Isaac Sim 5.X, ambayo inahitaji Python 3.11. Kloning ya chanzo inakupa skripti zinazohitajika kwa hatua zinazofuata.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Rekodi takriban maonyesho kumi ya kibinadamu

   Nyaraka za Isaac Lab ni maalum: takriban maonyesho 10 yaliyofanikiwa yanahitajika ili hatua zinazofuata zifanikiwe. Vidokezo vyake pia ni maalum. Weka maonyesho mafupi, chukua njia ya moja kwa moja badala ya kusonga kwenye shoka zisizo za kawaida, na usisitishie, kwa sababu si wazi kwa sera kwanini na lini kusitisha.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Fafanua mipaka ya kazi ndogo

   Mimic hugawanya maonyesho ya pembejeo katika kazi ndogo ili iweze kurekebisha muda na kulenga upya sehemu hizo. Bendera ya --auto inafanya hivi bila mwanadamu kuhusika kwa kazi zinazofafanua ufafanuzi otomatiki; bila hiyo unasitisha kwa B, unaendelea na N na kuweka alama ya mpaka kwa S. Kumbuka kitambulisho cha kazi kinapata kiambishi tamati cha -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Tengeneza seti ya data iliyozidishwa

   Hii ndiyo hatua inayobadilisha 10 kuwa 1000. Mimic inatumia kigezo cha mafanikio cha boolean kwa kila mgombea na huweka tu wale waliomaliza kazi, hivyo idadi ya matokeo ni chini kuliko idadi ya majaribio. Nyaraka zinaweka kiwango hicho cha mafanikio ya mgombea kuwa juu kama asilimia 70 katika kesi rahisi na chini ya asilimia 1 kwa kazi ngumu na roboti changamano: takriban asilimia 50 kwa mrundiko wa Franka cube, na asilimia 65 hadi 80 kwa GR1T2 pick and place, ambapo demos 1000 huchukua dakika 18 hadi 40 (dakika 19 kwenye RTX ADA 6000 kwa asilimia 80).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Badilisha HDF5 kuwa seti ya data ya LeRobot

   Kila kitu hapo juu kinazalisha HDF5 yenye ladha ya robomimic, na Isaac Lab core haina kibadilishaji chake cha LeRobot: nyaraka zake zinasema tu unaweza kubadilisha seti ya data iliyozalishwa kuwa umbizo la LeRobot. Miradi miwili inatoa kibadilishaji halisi. IsaacLab-Arena inatoa kile kinacholenga GR00T kinachoendeshwa kabisa na usanidi wa YAML, na LeIsaac inatoa jozi yake kwa njia ya SO-101 (tazama hapa chini).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Kwanini majaribio ya uzalishaji hushindwa, na nini cha kubadilisha

Kiwango cha mafanikio kinachobadilika kati ya asilimia 70 na chini ya asilimia 1 si siri, na Isaac Lab inaandika mitego ya kawaida badala ya kukuacha ukisia. Kila mmoja wao ni kitu unachodhibiti wakati wa kurekodi, ndiyo maana inafaa kusoma orodha hii kabla ya kurekodi maonyesho kumi ya awali badala ya baada ya jaribio la kwanza la kuzalisha lisiloridhisha.

• Maonyesho ni marefu sana. Muda mrefu zaidi ni mgumu kwa sera kujifunza. Anza karibu na kitu cha kwanza na punguza mwendo.
• Maonyesho si laini. Mwendo usio wa kawaida ni mgumu kwa sera kufumbua, na vifaa bora vya teleoperation hutoa data bora: nyaraka zinasema wazi kwamba SpaceMouse inashinda kibodi.
• Sitisho. Sitisho ni vigumu kujifunza, kwa sababu si dhahiri kwa sera kwa nini na lini kusitisha. Weka mwendo uwe laini.
• Kazi ndogo nyingi sana. Kazi ndogo nyingi zaidi zinamaanisha kuunganisha zaidi kati ya sehemu za mwelekeo, jambo linalosababisha mwendo usio laini na kiwango cha chini cha mafanikio ya uzalishaji. Weka alama kwenye mipaka ambapo mkono hauwezekani kugongana na chochote.
• Hakuna kelele ya hatua. Kelele ya hatua hufanya sera zinazotokana kuwa imara zaidi.
• Kurekodi kumepunguzwa sana. Ikiwa kurekodi kunasimama kwenye fremu halisi ambayo neno la mafanikio linasababisha, huenda lisichochee tena wakati wa kucheza tena. Acha bafa mwishoni.
• Uchezaji usio wa uhakika. Fizikia katika Isaac Lab hazirudishiwi kwa uhakika katika env.reset, kwa hivyo baadhi ya maonyesho ya binadamu hushindwa wakati wa kucheza tena. Kusanya zaidi ya unavyohitaji na uhifadhi yale yanayopona uhakiki. Kila kitu kinachoingia kwenye faili ya HDF5 iliyozalishwa na Mimic ni onyesho lililofanikiwa na linaweza kutumika kwa mafunzo hata kama uchezaji wa baadaye utashindwa.

Hatua ya uingizaji kati ya sehemu za kazi ndogo zilizounganishwa ina kifundo chake cha kurekebisha, na idadi ya hatua za uingizaji unazohitaji inalingana na jinsi roboti inavyosonga haraka na jinsi usambazaji wa kuweka upya kitu ulivyo mpana. Kazi ngumu yenye usambazaji mkubwa wa kuweka upya huacha mapengo makubwa kati ya sehemu, ambayo inahitaji hatua zaidi za uingizaji ili kuonekana kama mwendo endelevu. Ikiwa video zako zilizozalishwa zinaonyesha mkono ukisitasita kati ya awamu, hiyo ndiyo kigezo cha kuangalia kabla ya kulaumu maonyesho ya awali.

Mchakato huo huo kwenye SO-101, ukiwa na mkono halisi wa kiongozi

Huu ndio wa kuvutia kwa yeyote anayesoma ukurasa huu, kwa sababu ndio bomba pekee lililo wazi linaloweka ndani ya Isaac Lab na kukuwezesha kuiendesha kwa mkono halisi wa kiongozi uliyonayo tayari. LeIsaac, toleo la 0.4.0 wakati wa kuandika, ni uwanja rasmi wa majaribio ya uigaji wa kujifunza kwa kuiga uliounganishwa kwenye EnvHub ya LeRobot. Jedwali lake la utangamano linaorodhesha mchanganyiko tatu zinazofanya kazi; mpya zaidi inaunganisha Isaac Sim 5.1 na Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 na Python 3.11, na nyaraka zinapendekeza Isaac Sim 5.0 au mpya zaidi kwa kadi za mfululizo wa 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Huku kukiwa kumewekwa, mkono wa kiongozi kwenye /dev/ttyACM0 unaendesha mfuasi aliyeigwa na kurekodi moja kwa moja kwenye HDF5. kitanzi ni kile kile unachokijua tayari kutoka kwa kurekodi halisi, isipokuwa mfuasi ni mwili mgumu katika PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Vitambulisho vingi kati ya hivyo pia vipo kama -Direct-v0 tofauti, na python scripts/environments/list_envs.py huchapisha orodha ya sasa. Unaweza pia kuruka kabisa njia ya HDF5 na kuandika umbizo la LeRobot wakati wa uendeshaji wa mbali kwa kuongeza bendera tatu. Tahadhari mbili zinatokana na nyaraka zenyewe: kinasa sauti huruka kiotomatiki fremu 5 za kwanza za kila kipindi ili kuepuka kutokuwa thabiti kutokana na hali za awali, na inaweza kusababisha ucheleweshaji kidogo katika uendeshaji wa mbali, jambo ambalo ndilo hasa hubadilisha kimya kimya tabia ya maonyesho yako. Pia huondoa vipindi tu ambavyo kazi iliwekwa alama kuwa imefanikiwa.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Hatua ya kuzidisha kisha huendeshwa kwenye rekodi hizo. LeIsaac hufunga Isaac Lab Mimic katika amri nne, kwa sababu Mimic huweka jumla ya mienendo kutoka kwa viishio vya mkono na pozi za vitu: badilisha vitendo vya nafasi ya viungo kuwa vitendo vinavyotegemea IK, fafanua, tengeneza, kisha urudishe kwenye nafasi ya viungo.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Kisha badilisha kuwa LeRobot. Huu ndio hatua ambapo sheria ya umbizo la jukwaa inatumika, na LeIsaac inasambaza viambishi viwili unavyohitaji: isaaclab2lerobot.py huandika LeRobot v2, ambayo ndiyo inayotumiwa na vipakiaji vya GR00T, na isaaclab2lerobotv3.py huandika v3 kwa ajili ya Pi0.5, SmolVLA na ACT. Skripti hizi mbili hutumia hoja zinazofanana lakini huweka matoleo tofauti ya lerobot, na ni vipindi vilivyofanikiwa pekee ndivyo vinavyobadilishwa.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Njia mbili za kufikia sera iliyefunzwa

Mifano ya ulimwengu wa video: safu mpya zaidi, na iliyopimwa kidogo zaidi

Wazo nyuma ya DreamGen ni kwamba mfano wa kuzalisha video, uliorekebishwa kwa umbo la roboti lengwa, unaweza kuwazia matukio yanayowezekana katika matukio ambayo hujawahi kutembelea. Mfumo una hatua nne: rekebisha mfano wa ulimwengu wa video, zalisha video za roboti bandia zenye uhalisia wa picha, pata mfuatano wa vitendo bandia kwa kutumia mfano wa vitendo fiche au mfano wa mienendo ya kinyume, kisha funza sera ya roboti kwa matokeo. Hifadhi ya GR00T-dreams ya NVIDIA inatekeleza hilo haswa.

Matokeo makuu ni halisi na yanastahili kuzingatiwa kwa umakini: data ya uendeshaji wa mbali kutoka kwa kazi moja tu ya kuchukua na kuweka katika mazingira moja ilizalisha tabia mpya 22 kwenye roboti yenye umbo la binadamu, katika mazingira yaliyoonekana na yasiyoonekana. Tahadhari ni halisi vile vile na inapatikana katika hatua ya tatu.

Mafunzo ya pamoja ndiyo njia inayoonyesha faida halisi

Kama utachukua somo moja la kiutendaji kutoka kwenye machapisho, chukua hili. Utafiti wa mafunzo shirikishi ya uigaji na uhalisia (Maddukuri na wenzake, 2025) ulijikita kutafuta njia rahisi ya kutumia data ya uigaji kutatua kazi za udhibiti wa roboti zinazotegemea maono, katika nyanja mbili, mkono wa roboti na humanoid, na hitimisho lake ni kwamba unafanya mafunzo kwenye mchanganyiko. Data ya uigaji iliboresha utendaji wa kazi halisi kwa wastani wa asilimia 38, na karatasi hiyo inaeleza wazi kwamba hili liliendelea hata kwa tofauti kubwa kati ya data ya uigaji na data halisi.

Kifungu hicho cha mwisho kina umuhimu zaidi kuliko asilimia 38. Inamaanisha kuwa uigaji hauhitaji kuwa nakala kamili ya kidijitali ili uwe na manufaa, mradi data halisi ipo kwenye mchanganyiko ili kuipa msingi. Uhamishaji wa uigaji pekee ni njia ghali: karatasi hiyo hiyo inasema kwamba kufundisha sera pekee katika uigaji na kuihamisha kwenye ulimwengu halisi mara nyingi huhitaji juhudi kubwa za kibinadamu kuziba pengo la uhalisia. Mafunzo shirikishi huruka sehemu kubwa ya juhudi hizo kwa kutowahi kuiomba sera kuziba pengo hilo peke yake.

Kwa vitendo, kwenye jukwaa hili, mafunzo shirikishi yanamaanisha jambo moja: weka seti zote mbili za vipindi kwenye seti ya data ya LeRobot moja na funguo za kamera zinazofanana, mpangilio wa viungo unaofanana na vitengo vinavyofanana, kisha endesha fine-tune ya kawaida. Hakuna kitufe cha uzito wa mchanganyiko katika fomu ya mafunzo. Ikiwa unataka uwiano wa 3:1 wa uigaji-kwa-uhalisia, unaeleza hilo kwa idadi ya vipindi vya kila aina unavyoweka kwenye seti ya data.

Ushindi rahisi zaidi kutoka kwa uigaji si data ya mafunzo

Ni tathmini. Kuendesha majaribio halisi kadhaa kwa kila kazi ili kulinganisha ni siku ya muda wa mkono, na mkono hucheza kati ya majaribio. SIMPLER (Li na wenzake, 2024) walijenga mazingira yaliyoigizwa ambayo madhumuni yake ni kufunga sera halisi badala ya kuzifundisha, na kisha wakapima jinsi viwango vya uigaji vinavyotabiri vizuri viwango halisi. Mazingira moja ya SIMPLER huonyeshwa kwa hatua 3,500 za uigaji kwa sekunde kwenye RTX 4090 ya watumiaji kwa azimio la 640 kwa 512, ambayo chini ya masafa ya uigaji ya 500 Hz ni kasi ya 7x zaidi ya tathmini halisi.

Hizo ni wastani wa vikundi vitatu vya kazi vya Google Robot kwa vituo sita vya ukaguzi vya kawaida vya chanzo huria: vituo vitatu vya ukaguzi vya RT-1 katika hatua tofauti za mafunzo, RT-1-X, RT-2-X na Octo-Base. Upande halisi si hesabu sare ya majaribio, ambayo inafaa kujua kabla ya kuitaja: majaribio 75 ya kuchukua kopo la koka, 60 ya kusogeza karibu, 54 ya kazi za kufungua na kufunga droo na 27 ya kazi ndefu zaidi ya droo na tufaha. Ulinganisho dhidi ya MSE ya uthibitishaji ndio sehemu muhimu. Uchaguzi wa modeli kwa hasara ya uthibitishaji huweka vituo hivi vya ukaguzi vibaya, na Pearson r ya 0.924 chini ya ulinganishaji wa kuona inamaanisha kuwa ikiwa kituo cha ukaguzi kinafunga vizuri zaidi katika SIMPLER, basi kuna uwezekano mkubwa kitafunga vizuri zaidi kwenye benchi. Hiyo ni ubao wa matokeo unaoweza kurudiwa usiku kucha, na hauhitaji wewe kuamini chochote kuhusu uhamishaji wa mafunzo kutoka sim-to-real.

Ikiwa unataka muktadha mpana zaidi kuhusu nini namba hizi za vigezo vya utendaji zinakuambia na hazikwambii kuhusu , tuliandika hayo kando katika .

Ambapo jukwaa hili halikusaidii

Kuwa wazi kuhusu mipaka kunaokoa muda wa kila mtu. AY-Robots ni jukwaa la kurekodi, kufundisha na kutoa huduma. Halina kiigaji ndani yake.

• Hakuna Isaac Lab, hakuna MimicGen, hakuna modeli ya ulimwengu, hakuna uundaji wa mandhari. Ikiwa unataka data iliyotengenezwa, unaitengeneza mahali pengine na kuleta matokeo.
• Wakufunzi hutumia hifadhidata za LeRobot na hakuna kingine. Usafirishaji wa simulator lazima ubadilishwe kabla haujawa pembejeo, na lazima iwe toleo sahihi: v2.0 au v2.1 kwa GR00T N1.5 na N1.7, v3.0 kwa Pi0.5, SmolVLA na ACT.
• Sehemu ya kuingilia ya GR00T ya kurekebisha vizuri ni tyro CLI ambayo haionyeshi mbegu yoyote, kwa hivyo GR00T haziwezi kuzalishwa tena kwa usahihi wa biti. Ikiwa unafanya upunguzaji makini wa sim-dhidi-halisi, hiyo ni kikwazo halisi. Mbegu chaguomsingi ya lerobot ni 1000, na fomu za ACT, SmolVLA na Pi0.5 zinaonyesha sehemu ya mbegu.
• Mkusanyiko wa gradient hutumika tu kwa wakufunzi wawili wa GR00T. Kwa Pi0.5 na SmolVLA sehemu hiyo ipo katika fomu lakini lerobot 0.5.1 haina bendera kama hiyo, kwa hivyo haifanyi chochote.
• Utabiri lazima ukae karibu na servos kwa kazi za haraka. Kitanzi cha udhibiti ni 20 hadi 485 ms kwa hatua ya kitendo kulingana na modeli, na kuongeza safari za kwenda na kurudi za mtandao wa umma hubadilisha sera inayofanya kazi kuwa isiyo na uhakika. Utabiri wa mbali unawezekana kwa kazi za polepole za kuchukua na kuweka, sio kwa mwendo wa haraka wa kuitikia.

Bajeti unayoweza kuitetea

Weka njia hizo mbili kando kando na namba ambazo kila moja huchapisha, na uamuzi kawaida hujitokeza wenyewe kwa mradi wa kazi moja kwenye mkono wa gharama nafuu.

Kwa sera ya kwanza kwenye SO-100, rekodi. na zitakuwezesha kufikia hatua muhimu iliyohudumiwa kwa bei ya kahawa, na utakuwa na nusu halisi ya mchanganyiko wowote wa mafunzo ya pamoja ya baadaye. Tumia kiigaji unapokuwa na msingi unaofanya kazi na kushindwa maalum kwa ujumlishaji unachoweza kutaja, kama vile sera ambayo .

Mbinu inayoheshimu ushahidi

1. 1
   Rekodi msingi halisi kwanza

   Vipindi 30 kwa SmolVLA, 50 kwa ACT, GR00T N1.7 na Pi0.5. Funza mara moja. Chochote ambacho sera hiyo inashindwa ndio maelezo yako kwa data bandia.

2. 2
   Taja kushindwa kwa ujumlishaji

   Mkao wa kitu? Mwangaza? Urefu wa meza? Vizuizi? Maneno tofauti ya maelekezo? Data bandia ni nzuri kwa moja tu ya haya kwa wakati mmoja, na haina maana ikiwa huwezi kusema ni ipi.

3. 3
   Chagua familia ya bei nafuu zaidi inayoifunika

   Tofauti ya mkao na mpangilio: kuzidisha kwa mwelekeo. Mwangaza na umbile: uboreshaji wa picha kwanza, mfumo wa dunia pili. Mandhari mpya kabisa: uendeshaji wa fizikia, na kukubali gharama ya uundaji.

4. 4
   Tengeneza, kisha tupa kwa ukali

   Majiribio ya uzalishaji hushindwa, na kiwango cha mafanikio cha wagombea wa Isaac Lab huanzia asilimia 70 hadi chini ya asilimia 1 kulingana na kazi. Weka tu mwelekeo uliofanikiwa, unaokamilisha kazi, na chunguza sampuli kama video kabla ya kuamini kundi.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Funza pamoja, usibadilishe

   Unganisha vipindi vilivyotengenezwa na vile halisi kwenye seti moja ya data ya LeRobot yenye funguo za kamera zinazofanana na mpangilio wa viungo. Takwimu ya asilimia 38 ni takwimu ya mafunzo ya pamoja.

6. 6
   Tathmini kwenye mkono halisi, na hapo tu

   Tathmini ya kuiga ni ishara nzuri ya upangaji (Pearson r 0.924 katika usanidi wa kulinganisha-taswira wa SIMPLER) lakini sio jaribio la kukubalika. Endesha kituo cha ukaguzi kwenye benchi kabla hujaamini.

Ikiwa ungependa kuanza na orodha ya ukaguzi kwa rekodi halisi zenyewe, inashughulikia uwekaji wa kamera, athari na njia za kushindwa zinazofanya seti ya data isiyoweza kutumika. Maelezo juu ya umbizo lenyewe yanapatikana katika , na upande wa vigezo-vikuu katika .