Sintētiskie dati robotu politikām: Kur simulācija palīdz

Ik pa dažiem mēnešiem kāds secina, ka piecdesmit epizodes ar roku ierakstīšana ir lēna, un jautā, vai simulators tos nevarētu radīt. Tas ir pamatots jautājums. Godīgajai atbildei ir trīs daļas: ģenerētie dati palīdz, tie neaizstāj reālos ierakstus, un attiecība starp šiem diviem faktiem pilnībā ir atkarīga no tā, kāda veida sintētiskos datus jūs domājat.

Šajā lapā aplūkots, ko publicētie darbi faktiski mērīja, ko šodien var palaist uz zemu izmaksu rokas, piemēram, SO-100, un kur simulācijas-reālās pasaules atšķirība apēd ieguvumus. Īsā versija, pirms detaļām: sistēmas, kas ziņo par lielākajiem reizinātājiem, reizina nelielu reālu cilvēku demonstrāciju kopumu. Tās nenovērš vajadzību pēc tām.

Četras dažādas lietas tiek sauktas par sintētiskiem datiem

Pirms skaitļu salīdzināšanas ir vērts atdalīt saimes, jo raksts, kas ziņo par 100x reizinātāju, un raksts, kas ziņo par 5 punktu veiksmes pieaugumu, bieži vien apraksta vienu un to pašu cauruļvadu no dažādiem galiem. Kopīgais pavediens ir tas, ka kaut kas no LeRobot datu kopas tika radīts ar mašīnu, nevis ierakstīts no fiziskas rokas. Atšķiras tas, kura daļa.

Tikai pirmie trīs ir sintētiskie dati tādā nozīmē, kādā to saprot šis raksts. Ceturtais ir vērts pieminēt, jo tas tiek iekļauts tajā pašā sarunā un ir pārliecinoši lētākā lieta sarakstā. Ja vēl neesat ieslēguši paplašinājumus, ko jūsu apmācītājs piegādā, dariet to pirms simulatora instalēšanas.

Ko patiesībā saka publicētie skaitļi

Šeit ir pierādījumu bāze ar skaitļiem, kā tos norāda avoti, nevis kā tos apkopo preses relīzes. Katra zemāk redzamā rinda nāk no raksta vai projekta lapas, kas lasīta 2026. gada 23. augustā.

Katras godīgas ablācijas modelis ir vienāds. Sintētiskie dati lēti paplašina pārklājumu. Tas nerada informāciju par jūsu satvērēju, servo nolaišanos, apgaismojumu vai galda augstumu, kas jau kaut kur nebija reālās demonstrācijās. Ja jūsu politika neizdodas, jo gala efektors aizveras pussekundi par vēlu, un to nevar labot nekāds simulētas variācijas apjoms. Tā ir satvērēja laika problēma reālajos ierakstos.

Viens MimicGen atklājums ir vērts ņemt vērā jūsu pašu ierakstīšanas sesijās, jo tas ir pretrunā ar ierasto padomu. Projekts ģenerēja divas datu kopas uz Square D2, viena tika sākta ar 10 demonstrācijām no labākas kvalitātes cilvēka operatora un otra ar 10 demonstrācijām no sliktākas kvalitātes operatora, abas ņemtas no robomimic daudzcilvēku Square datu kopas. Politikas, kas apmācītas uz katras, sasniedza salīdzināmus rezultātus, ko autori interpretēja kā zīmi, ka liela mēroga datu režīmā datu kvalitātei var nebūt tik liela nozīme. Lasiet uzmanīgi, tas ir apgalvojums par desmit sākuma demonstrācijām, nevis par jūsu piecdesmit reālajām epizodēm. Tas nozīmē, ka nedaudz nekārtīga sākuma kopa nav tas, kas stāv starp jums un izmantojamu ģenerētu datu kopu. Tas nenozīmē, ka reālās epizodes, kuras jūs kopīgi apmācāt, var būt nekārtīgas, jo tās ir tās, kas satur informāciju, kuras simulatoram nav.

Simulācijas-reālās pasaules plaisa, konkrēti

Atšķirību parasti apspriež kā vienu lielumu, kas nav noderīgi. Tās ir vismaz piecas atsevišķas neatbilstības, un tām ir atšķirīgi izmēri uz 110 līdz 150 EUR vērtiem hobija manipulatoriem, salīdzinot ar Franka manipulatoriem.

• Kontakts un berze. Isaac Lab skaidri norāda, ka, izmantojot to pašu aparatūru un to pašu Isaac Sim un PhysX versiju, simulācija ir reproducējama, taču rezultāti atšķiras dažādās aparatūras konfigurācijās peldošā komata precizitātes un noapaļošanas kļūdu dēļ, un ka PhysX negarantē determinismu nevienai ainai ar necietiem ķermeņiem, piemēram, audumu vai mīkstiem ķermeņiem.
• Izpilde. Feetech STS3215 kopnes servo, kas darbojas ar 7.4 V, slodzes ietekmē noslīd, tam ir brīvkustība un tas maina uzvedību, sasilstot. SO-101 MJCF modelis aizgūst savus motora parametrus no nesaistīta projekta, nevis identificē tos uz jūsu manipulatora.
• Renderēšana. Kameras troksnis, ritošais slēdzis, automātiskā ekspozīcija un jūsu galda precīzā nokrāsa nav iekļauti renderējumā. Šī ir puse no atšķirības, ko Cosmos-Transfer1 tika izveidots, lai novērstu: tā robotikas paplašināšanas darbplūsma kartē vienu robotikas sintētisko piemēru uz vairākiem reālistiskiem piemēriem no segmentācijas, dziļuma vai malu kondicionēšanas.
• Laika sinhronizācija. Simulators darbojas ar fiksētu ātrumu. Reāla vadības cilpa nedarbojas ar fiksētu ātrumu, un pats modelis maksā 20 līdz 485 ms par katru darbības soli atkarībā no tā, kuru izvēlējāties. Skatīt secinājumu latentumu.
• Objektu statistika. Simulētās ainas tiek ņemtas no izplatības, ko kāds ir pierakstījis. Jūsu virtuves galds nav.

Ko simulēts SO-100 patiesībā zina par jūsu manipulatoru

Šī ir daļa, kas izlemj, vai kaut kas no iepriekš minētā ir jūsu nedēļas nogales vērts, un pirmais pārsteigums ir tas, ka SO-100 un SO-101 netiek apkalpoti vienlīdzīgi. TheRobotStudio SO-ARM100 repozitorijs glabā savus simulācijas resursus zem Simulation/. SO100 mape satur vienu URDF failu un neko citu. SO101 mape satur gan URDF, gan MuJoCo failus: scene.xml, so101_new_calib.xml, so101_old_calib.xml, atbilstošos URDF failus un joints_properties.xml. Ja vēlaties fizikas modeli, nevis kinemātisko ķēdi, jums ir nepieciešami SO-101 faili.

Tie tika ģenerēti ar onshape-to-robot spraudni no CAD modeļa, kas izstrādāts Onshape, kas nozīmē, ka kinemātika un vizuālie tīkli ir tikpat labi kā CAD. Dinamika ir cits stāsts, un repozitorija README atklāti runā par trim lietām. Bāzes sadursmes tīkli tika noņemti problemātiskas sadursmes uzvedības dēļ simulācijas un plānošanas laikā. STS3215 motora īpašības ir pielāgotas no Open Duck Mini projekta, nevis mērītas uz SO-101. Un LeRobot satvērēja konvencija, kur 0 ir pilnībā aizvērts un 100 ir pilnībā atvērts, vēl nav skaidri atspoguļota URDF un MuJoCo failos. Katra no šīm lietām ir vieta, kur politika, kas apmācīta tikai šajā modelī, uz jūsu galda uzvedīsies atšķirīgi.

Domēna randomizācija un tas, ko tā nenovērš

Standarta atbilde uz plaisu ir pārtraukt mēģināt saskaņoties ar realitāti un tā vietā apmācīt pietiekami plašā izplatībā, lai realitāte tajā iekļautos. Tobins un kolēģi 2017. gadā parādīja spēcīgu šīs pieejas versiju: ​​objektu detektors, kas apmācīts tikai ar simulētiem attēliem ar nereālistiskām nejaušām tekstūrām, bez iepriekšējas apmācības ar reāliem attēliem, lokalizēja reālus objektus ar precizitāti 1,5 cm un palika noturīgs pret traucēkļiem un daļējām aizsegām.

Isaac Lab atklāj to pašu ideju kā notikumu termini, ko pievienojat vides konfigurācijai. Šīs ir regulēšanas pogas, pēc to faktiskajiem funkciju nosaukumiem isaaclab.envs.mdp, lai jūs varētu tos izlasīt, nevis minēt.

Šeit ir ierobežojums, un tas ir tas, par ko cilvēki paklūp. Randomizācija paplašina izplatību, ko politika ir redzējusi jūsu izveidotajā modelī. Tā nevar ieviest fizisku efektu, ko simulators neatspoguļo. Ja PhysX nemodelē jūsu STS3215 servomotoru atstarpi un termisko kritumu, to stingrības randomizēšana neko nemāca politikai par atstarpi. Tāpēc roka, kas ar simulatorā apmācītu politiku nav randomizācijas budžeta problēma. Tā ir modelēšanas problēma.

Manuālais ceļš: datu ģenerēšana Isaac Lab

Isaac Gym ir novecojusi programmatūra. NVIDIA pašu lapā ir virsraksts "Isaac Gym - Tagad novecojis" un teikts, ka izstrādātāji to var lejupielādēt un turpināt lietot, taču tā vairs netiek atbalstīta, tā vietā norādot uz Isaac Lab. Ja vēlaties uzzināt vēsturi, mēs aptvērām abus: un . Jaunam darbam 2026. gadā sāciet ar Isaac Lab.

1. 1
   Instalēt Isaac Sim un Isaac Lab

   Pip instalācijas lapā norādīts, ka instrukcijas ir paredzētas Isaac Sim 5.X, kam nepieciešams Python 3.11. Avota klons nodrošina skriptus, kas nepieciešami nākamajiem soļiem.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Ierakstīt aptuveni desmit cilvēku demonstrācijas

   Isaac Lab dokumentācija ir specifiska: aptuveni 10 veiksmīgas demonstrācijas ir nepieciešamas, lai nākamie soļi būtu veiksmīgi. Tās padomi ir tikpat specifiski. Saglabājiet demonstrācijas īsas, izvēlieties tiešu ceļu, nevis pārvietojaties pa patvaļīgām asīm, un neapturiet, jo politikai nav acīmredzams, kāpēc un kad apturēt.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anotēt apakšuzdevumu robežas

   Mimic sadala ievades demonstrācijas apakšuzdevumos, lai varētu pārlaicēt un pārorientēt segmentus. Karogs --auto to dara bez cilvēka iejaukšanās uzdevumiem, kas definē automātisku anotāciju; bez tā jūs apturat ar B, turpināt ar N un atzīmējat robežu ar S. Ievērojiet, ka uzdevuma ID iegūst -Mimic sufiksu.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Ģenerēt reizināto datu kopu

   Šis ir solis, kas pārvērš 10 par 1000. Mimic katram kandidātam piemēro Būla veiksmes kritēriju un saglabā tikai tos, kas pabeidza uzdevumu, tāpēc izvades skaits ir mazāks par mēģinājumu skaitu. Dokumentācijā norādīts, ka kandidātu veiksmes rādītājs vienkāršos gadījumos ir pat 70 procenti un zem 1 procenta sarežģītiem uzdevumiem un kompleksiem robotiem: aptuveni 50 procenti Franka kuba kraušanai un 65 līdz 80 procenti GR1T2 paņemšanas un novietošanas uzdevumam, kur 1000 demonstrācijas aizņem 18 līdz 40 minūtes (19 minūtes uz RTX ADA 6000 ar 80 procentiem).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Konvertēt HDF5 uz LeRobot datu kopu

   Viss iepriekš minētais rada robomimic-garšas HDF5, un Isaac Lab kodols pats nesatur LeRobot konvertētāju: tā dokumentācija tikai norāda, ka ģenerēto datu kopu varat konvertēt uz LeRobot formātu. Divi projekti nodrošina faktisko konvertētāju. IsaacLab-Arena piegādā GR00T mērķētu, pilnībā ar YAML konfigurāciju vadītu konvertētāju, un LeIsaac piegādā savu pāri SO-101 maršrutam (skatīt zemāk).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Kāpēc ģenerēšanas mēģinājumi neizdodas un ko mainīt

Kandidāta veiksmes rādītājs, kas svārstās no 70 procentiem līdz mazāk nekā 1 procentam, nav noslēpums, un Isaac Lab dokumentē biežākās kļūdas, nevis liek jums minēt. Katra no tām ir kaut kas, ko jūs kontrolējat ierakstīšanas laikā, tāpēc ir vērts izlasīt šo sarakstu pirms desmit sākuma demonstrāciju ierakstīšanas, nevis pēc pirmās vilšanās pilnās ģenerēšanas.

• Demonstrācijas ir pārāk garas. Ilgāks laika periods ir grūtāk apgūstams politikai. Sāciet tuvu pirmajam objektam un samaziniet kustību.
• Demonstrācijas nav gludas. Neregulāra kustība ir grūti atšifrējama politikai, un labāka teleoperācijas aparatūra sniedz labākus datus: dokumentācija skaidri norāda, ka SpaceMouse ir labāka par tastatūru.
• Pauzes. Pauzes ir grūti apgūstamas, jo politikai nav acīmredzams, kāpēc un kad apstāties. Saglabājiet kustību plūstošu.
• Pārāk daudz apakšuzdevumu. Vairāk apakšuzdevumu nozīmē vairāk savienojumu starp trajektorijas segmentiem, kas rada mazāk gludu kustību un zemāku ģenerēšanas veiksmes rādītāju. Anotējiet robežas, kur roka, visticamāk, nesadursies ar neko.
• Nav darbības trokšņa. Darbības troksnis padara iegūtās politikas stabilākas.
• Ieraksts ir pārāk cieši apgriezts. Ja ieraksts apstājas tieši tajā kadrā, kurā tiek aktivizēts veiksmes nosacījums, tas var netikt atkārtoti aktivizēts atskaņošanas laikā. Atstājiet buferi beigās.
• Nedeterminēta atskaņošana. Fizika Isaac Lab nav deterministiski reproducējama visā env.reset, tāpēc dažas cilvēku demonstrācijas atskaņošanas laikā neizdodas. Savāciet vairāk, nekā nepieciešams, un saglabājiet tās, kas iztur anotāciju. Viss, kas nonāk Mimic ģenerētā HDF5 failā, ir veiksmīga demonstrācija un to var izmantot apmācībai, pat ja atskaņošana vēlāk neizdodas.

Interpolācijas solim starp savienotajiem apakšuzdevumu segmentiem ir savs regulēšanas mehānisms, un nepieciešamo interpolācijas soļu skaits ir atkarīgs no tā, cik ātri robots pārvietojas un cik plaša ir objekta atiestatīšanas sadalījums. Sarežģīts uzdevums ar lielu atiestatīšanas sadalījumu atstāj lielākas atstarpes starp segmentiem, kam nepieciešams vairāk interpolācijas soļu, lai iegūtu nepārtrauktu kustību. Ja jūsu ģenerētie video rāda, ka roka raustās starp fāzēm, tas ir parametrs, uz kuru jāskatās, pirms vainojat sākuma demonstrācijas.

Tā pati cauruļvads uz SO-101, ar īsto vadošo roku

Šis ir interesantākais ikvienam, kurš lasa šo lapu, jo tas ir vienīgais atvērtais cauruļvads, kas ievieto iekš Isaac Lab un ļauj to vadīt ar fizisko vadošo roku, kas jums jau pieder. LeIsaac, versija 0.4.0 rakstīšanas brīdī, ir oficiālā imitācijas mācīšanās simulācijas rotaļu laukums, kas integrēts LeRobot EnvHub. Tā saderības tabulā ir uzskaitītas trīs darba kombinācijas; jaunākā savieno Isaac Sim 5.1 ar Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 un Python 3.11, un dokumentācija iesaka Isaac Sim 5.0 vai jaunāku versiju 50. sērijas kartēm.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Kad tas ir ieviests, vadošā roka uz /dev/ttyACM0 vada simulēto sekotāju un ieraksta tieši HDF5. cilpa ir tā pati, ko jūs jau zināt no reālās ierakstīšanas, tikai sekotājs ir ciets ķermenis PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Lielākā daļa šo ID pastāv arī kā -Direct-v0 variants, un python scripts/environments/list_envs.py izdrukā pašreizējo sarakstu. Varat arī pilnībā izlaist HDF5 apvedceļu un rakstīt LeRobot formātu teleoperācijas laikā, pievienojot trīs karodziņus. Divi brīdinājumi nāk no pašas dokumentācijas: ierakstītājs automātiski izlaiž pirmos 5 kadrus no katras epizodes, lai izvairītos no nestabilitātes sākotnējos stāvokļos, un tas var radīt nelielas aizkavēšanās teleoperācijā, kas ir tieši tas, kas klusi maina jūsu demonstrāciju raksturu. Tas arī izskalo tikai tās epizodes, kuras uzdevums atzīmējis kā veiksmīgas.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Pēc tam reizināšanas solis tiek izpildīts ar šiem ierakstiem. LeIsaac ietver Isaac Lab Mimic četros komandās, jo Mimic vispārina trajektorijas no gala efektora un objekta pozām: konvertējiet locītavu telpas darbības uz IK balstītām darbībām, anotējiet, ģenerējiet, pēc tam konvertējiet atpakaļ uz locītavu telpu.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Pēc tam konvertējiet uz LeRobot. Šis ir solis, kurā platformas formāta noteikums kļūst aktuāls, un LeIsaac piegādā tieši divus konvertētājus, kas jums nepieciešami: isaaclab2lerobot.py raksta LeRobot v2, ko izmanto GR00T ielādētāji, un isaaclab2lerobotv3.py raksta v3 priekš Pi0.5, SmolVLA un ACT. Abi skripti pieņem identiskus argumentus, bet piesaista dažādas lerobot versijas, un tiek konvertētas tikai veiksmīgas epizodes.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Divi ceļi uz apmācītu politiku

Video pasaules modeļi: jaunākais slānis un vismazāk mērītais

Ideja aiz DreamGen ir tāda, ka video ģeneratīvais modelis, pielāgots mērķa robota iemiesojumam, var iedomāties ticamas epizodes ainās, kuras jūs nekad neesat apmeklējis. Cauruļvadam ir četri posmi: smalki noregulēt video pasaules modeli, ģenerēt fotoreālistiskus sintētiskos robotu video, atgūt pseido-darbību secības ar latentās darbības modeli vai apgriezto dinamikas modeli, pēc tam apmācīt robota politiku uz rezultāta. NVIDIA GR00T-dreams repozitorijs īsteno tieši to.

Galvenais rezultāts ir reāls un nopietni ņemams: teleoperācijas dati no tikai viena paņemšanas un novietošanas uzdevuma vienā vidē radīja 22 jaunas uzvedības humanoīdam, gan redzētās, gan neredzētās vidēs. Brīdinājums ir tikpat reāls un atrodas trešajā posmā.

Kopapmācība ir recepte, kas patiešām parāda ieguvumus

Ja no literatūras gūstat vienu operatīvu mācību, tad ņemiet vērā šo. Simulācijas un reālās pasaules kopīgās apmācības pētījums (Maddukuri un kolēģi, 2025) centās atrast vienkāršu recepti simulācijas datu izmantošanai, lai risinātu redzes balstītas robotu manipulācijas uzdevumus divās jomās – robotu roka un humanoīds, un tā secinājums ir, ka apmācība jāveic uz datu sajaukuma. Simulācijas dati uzlaboja reālās pasaules uzdevumu veiktspēju vidēji par 38 procentiem, un pētījumā ir skaidri norādīts, ka tas saglabājās pat ar ievērojamām atšķirībām starp simulācijas un reālās pasaules datiem.

Šis pēdējais punkts ir svarīgāks par 38 procentiem. Tas nozīmē, ka simulācijai nav jābūt ideālam digitālajam dvīnim, lai tā būtu noderīga, ja vien reālie dati ir sajaukumā, lai to nostiprinātu. Tikai simulācijas pārnese ir dārgs ceļš: tajā pašā pētījumā norādīts, ka politikas apmācība tikai simulācijā un tās pārnese uz reālo pasauli bieži prasa ievērojamas cilvēka pūles, lai pārvarētu realitātes plaisu. Kopīgā apmācība izlaiž lielāko daļu šo pūļu, nekad neprasot politikai pašai aizpildīt šo plaisu.

Praktiski, šajā platformā, kopīgā apmācība nozīmē vienu: ievietojiet abas epizožu kopas vienā LeRobot datu kopa ar konsekventām kameras atslēgām, konsekventu savienojumu secību un konsekventām vienībām, tad palaidiet normālu precizēšanu. Apmācības formā nav sajaukuma svara regulēšanas pogas. Ja vēlaties 3:1 simulācijas-reālās pasaules attiecību, jūs to izsakāt ar to, cik daudz epizožu no katras ievietojat datu kopā.

Lētākais ieguvums no simulācijas nav apmācības dati

Tā ir novērtēšana. Desmitiem reālu izmēģinājumu veikšana katram uzdevumam, lai salīdzinātu divus , ir diena, kas pavadīta ar robotu, un robots starp izmēģinājumiem novirzās. SIMPLER (Li un kolēģi, 2024) izveidoja simulētas vides, kuru mērķis ir novērtēt reālas politikas, nevis tās apmācīt, un pēc tam mērīja, cik labi simulācijas rangs prognozē reālo. Viena SIMPLER vide tiek renderēta ar 3500 simulācijas soļiem sekundē uz patērētāja RTX 4090 ar 640 x 512 izšķirtspēju, kas pie 500 Hz simulācijas frekvences nodrošina 7x paātrinājumu salīdzinājumā ar reālu novērtēšanu.

Tie ir vidējie rādītāji trīs Google Robot uzdevumu grupām sešiem bieži sastopamiem atvērtā koda kontrolpunktiem: trīs RT-1 kontrolpunkti dažādās apmācības stadijās, RT-1-X, RT-2-X un Octo-Base. Reālā puse nav ar vienādu izmēģinājumu skaitu, ko ir vērts zināt pirms citēšanas: 75 izmēģinājumi kokakolas bundžas pacelšanai, 60 – pārvietošanai tuvumā, 54 – atvilktnes atvēršanas un aizvēršanas uzdevumiem un 27 – garākajam atvilktnes un ābola uzdevumam. Salīdzinājums ar validācijas MSE ir noderīgā daļa. Modeļa atlase pēc validācijas zuduma šos kontrolpunktus ierindo slikti, un Pīrsona r koeficients 0,924 vizuālās saskaņošanas gadījumā nozīmē, ka, ja kontrolpunkts SIMPLER vidē iegūst labāku rezultātu, tas ļoti iespējams iegūs labāku rezultātu arī reālajā testā. Tas ir atkārtojams nakts rezultātu tablo, un tas neprasa ticēt nekādai sim-to-real apmācības pārnesei.

Ja vēlaties plašāku kontekstu par to, ko šie etalonu skaitļi jums stāsta un nestāsta par , mēs to atsevišķi aprakstījām .

Kur šī platforma jums nepalīdz

Skaidrība par robežām ietaupa ikviena laiku. AY-Robots ir ierakstīšanas, apmācības un apkalpošanas platforma. Tajā nav simulatora.

• Nav Isaac Lab, nav MimicGen, nav pasaules modeļa, nav ainu veidošanas. Ja vēlaties ģenerētus datus, jūs tos ģenerējat citur un atnesat rezultātu.
• Treniņu modeļi patērē LeRobot datu kopas un neko citu. Simulatora eksports ir jākonvertē, pirms tas kļūst par ievadi, un tam jābūt pareizajai versijai: v2.0 vai v2.1 GR00T N1.5 un N1.7, v3.0 Pi0.5, SmolVLA un ACT.
• GR00T precizēšanas sākumpunkts ir tyro CLI, kas neatklāj sēklu, tāpēc GR00T izpildes nav bitu-pa-bitam reproducējamas. Ja veicat rūpīgu simulācijas pret reālo ablāciju, tas ir reāls ierobežojums. lerobot noklusējuma sēkla ir 1000, un ACT, SmolVLA un Pi0.5 formas atklāj sēklas lauku.
• Gradienta akumulācija faktiski tiek piemērota tikai diviem GR00T treniņu modeļiem. Pi0.5 un SmolVLA gadījumā lauks pastāv formā, bet lerobot 0.5.1 nav šādas karodziņa, tāpēc tas neko nedara.
• Secinājumiem jāatrodas blakus servomotoriem ātriem uzdevumiem. Vadības cilpa ir no 20 līdz 485 ms par katru darbības soli atkarībā no modeļa, un publiskā interneta apļveida braucienu pievienošana pārvērš strādājošu politiku par svārstīgu. Attālā secināšana ir piemērota lēnai paņemšanai un novietošanai, nevis ātrai reaktīvai kustībai.

Budžets, ko varat aizstāvēt

Novietojiet abus ceļus blakus ar skaitļiem, ko katrs no tiem faktiski publicē, un lēmums parasti pieņem sevi vienkārša uzdevuma projektam ar zemu izmaksu robotroku.

Pirmajai politikai uz SO-100, ierakstiet. un novedīs jūs pie apkalpota kontrolpunkta par kafijas cenu, un jums būs reālā puse no jebkura nākotnes kopīgās apmācības maisījuma. Izmantojiet simulatoru, kad jums ir strādājoša bāzes līnija un konkrēta ģeneralizācijas kļūme, ko varat nosaukt, piemēram, politika, kas .

Recepte, kas respektē pierādījumus

1. 1
   Vispirms ierakstiet reālo bāzes līniju

   30 epizodes priekš SmolVLA, 50 priekš ACT, GR00T N1.7 un Pi0.5. Apmāciet vienreiz. Tas, pie kā šī politika neizdodas, ir jūsu specifikācija sintētiskajiem datiem.

2. 2
   Nosauciet vispārināšanas kļūmi

   Objekta poza? Apgaismojums? Galda augstums? Traucēkļi? Cits instrukcijas formulējums? Sintētiskie dati ir labi tieši vienā no šiem vienlaikus, un bezjēdzīgi, ja nevarat pateikt, kurā.

3. 3
   Izvēlieties lētāko saimi, kas to aptver

   Pozas un izkārtojuma variācijas: trajektorijas reizināšana. Apgaismojums un tekstūra: vispirms attēlu paplašināšana, otrkārt, pasaules modelis. Pilnīgi jaunas ainas: fizikas izvēršana un modelēšanas izmaksu pieņemšana.

4. 4
   Ģenerējiet, tad agresīvi izmetiet

   Ģenerēšanas mēģinājumi neizdodas, un Isaac Lab pašu kandidātu veiksmes rādītājs svārstās no 70 procentiem līdz pat mazāk nekā 1 procentam atkarībā no uzdevuma. Saglabājiet tikai veiksmīgas, uzdevumu pabeidzošas trajektorijas un pirms uzticaties partijai, vizuāli pārbaudiet paraugu kā video.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Kopīgi apmāciet, nevis aizstājiet

   Apvienojiet ģenerētās epizodes ar reālajām vienā LeRobot datu kopā ar identiskām kameras atslēgām un savienojumu secību. 38 procentu rādītājs ir kopīgas apmācības rādītājs.

6. 6
   Novērtējiet uz reālās rokas, un tikai tur

   Simulēta novērtēšana ir labs ranžēšanas signāls (Pīrsona r 0.924 SIMPLER vizuālās saskaņošanas iestatījumā), taču tas nav pieņemšanas tests. Palaidiet kontrolpunktu uz stenda, pirms tam ticat.

Ja vēlaties sākt ar kontrolsarakstu pašiem reālajiem ierakstiem, datu vākšanas ceļvedis aptver kameras izvietojumu, darbību sadalīšana sekas un kļūdu režīmus, kas padara imitācijas mācīšanās datu kopu neizmantojamu. Sīkāka informācija par pašu formātu atrodama datu kopas dokumentācijā, un hiperparametru puse apmācības dokumentācijā.