Ako trénovať ACT na SO-100 od základov

ACT je výnimkou spomedzi politík SO-100. GR00T N1.7 a N1.5 začínajú od nvidia/GR00T-N1.7-3B a nvidia/GR00T-N1.5-3B, Pi0.5 od lerobot/pi05_base. ACT začína od nuly: neexistuje žiadny základný kontrolný bod, pretože to nie je základný model. Je to transformátor s približne 80 miliónmi parametrov, ktorý trénujete od začiatku na jednej úlohe, na vašom ramene, pod vaším osvetlením.

To je tiež dôvod, prečo vykoná riadiaci krok za 20 ms, zatiaľ čo 3-miliardový parameter VLA potrebuje 152 až 485 ms a stojí 1 až 3 USD za spustenie namiesto 4 až 12. Táto príručka popisuje manuálnu cestu s lerobot na SO-100: záznam, konfigurácia act, čo chunk_size a n_action_steps riadia, plán 100000 krokov, rollout. Potom rovnaká úloha na AY-Robots, vrátane toho, kde platforma nepomáha.

Čo je ACT v skutočnosti

Action Chunking with Transformers pochádza z článku ALOHA, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, od Zhao, Kumar, Levine a Finn, arXiv, 23. apríl 2023. Zariadenie nahráva pri 50 Hz so štyrmi webkamerami streamujúcimi 480x640 pri 30 fps: dve na uchopovačoch, jedna zhora, jedna spredu. Abstrakt tvrdí šesť zručností s 80 až 90 percentnou úspešnosťou, medzi nimi otvorenie priesvitnej nádobky na korenie a vloženie batérie, z 10 minút demonštrácií.

Telo je užitočnejšie pri plánovaní nahrávacej relácie: 50 demonštrácií na úlohu, okrem Thread Velcro pri 100, čo je 10 až 20 minút dát a 30 až 60 minút reálneho času po započítaní resetov. Úspešnosť tiež nie je rovnomerná: Thread Velcro končí na 20 percentách, Put On Shoe na 92, Cup Open 84, Prep Tape 64.

Chunking akcií je celá myšlienka

Obyčajné klonovanie správania mapuje jedno pozorovanie na jednu akciu a chyby sa kumulujú: odchýlka posunie rameno mimo distribúcie, čo vedie k horšej akcii, a o tridsať krokov neskôr je chápadlo ďaleko od objektu. Chunking akcií predpovedá k akcií naraz a vykonáva ich, čím znižuje efektívny horizont o faktor k. Tiež rieši nepríjemnosť špecifickú pre ľudské dáta: teleoperátori sa pozastavujú a jednokroková Markovovská politika nedokáže modelovať pauzu, ktorá závisí od toho, čo predchádzalo.

Článok ablatuje k namiesto toho, aby ho tvrdil. Pri vypnutom časovom zoskupovaní, spriemerovanom cez štyri nastavenia, úspešnosť stúpa z 1 percenta pri k = 1 na 44 percent pri k = 100, potom sa znižuje pri 200 a 400, keď sa politika blíži k riadeniu s otvorenou slučkou. Táto krivka je dôvodom, prečo je predvolená hodnota 100.

• chunk_size: koľko budúcich akcií dekodér predpovedá na jeden dopredný prechod. Predvolené 100.
• n_action_steps: koľko z nich vykonáte pred opätovným dopytovaním. Predvolené 100, takže lerobot vykoná celý blok v otvorenej slučke.
• lerobot overí, či n_action_steps <= chunk_size, a ak je to naopak, vyvolá ValueError.

Z prevádzkového hľadiska záleží na chunk_size delenom snímkovou frekvenciou. Pri 30 fps, ktoré používajú príklady SO-100 od lerobot, blok 100 akcií predstavuje približne 3,3 sekundy od jedného pozorovania. Ak úloha vyžaduje korekciu v rámci tohto okna, znížte n_action_steps, nie chunk_size: zachováte si dlhú predikciu a častejšie opätovne pozorujete.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Keď ACT prekoná základný model

Päť trénovateľných politík vedľa seba, s číslami, ktoré AY-Robots meria a používa na dimenzovanie GPU, ktoré si prenajíma.

Vyberte ACT, keď sú úloha a scéna pevné a pohyb musí byť rýchly a presný. Vyberte keď jeden kontrolný bod musí pokrývať niekoľko inštrukcií. Dve stránky porovnávajú rozhodnutie priamo: a . Pre publikované benchmarky, odkazuje každé číslo na jeho zdroj.

Čo potrebujete, než začnete

Jedno sledovacie rameno, jedno vodiace rameno pre , aspoň jednu kameru, 24 GB GPU. ACT číta iba obrázky a pozície kĺbov. Dve kamery sú ideálne: pevný predný pohľad na to, kde sa veci nachádzajú, kamera na zápästí na to, čo sa chystá dotknúť , ako na ALOHA.

Od holého ramena po zaznamenaný dátový súbor

Nižšie uvedený postup je pre lerobot 0.6.x. Preskočte ho, ak máte kalibrované rameno a dátový súbor. V opačnom prípade príručka pre začiatok s SO-100 pokrýva montáž, návod na nahrávanie pokrýva zachytávanie a dokumentácia k dátovým súborom formát.

1. 1
   Nainštalujte lerobot so správnymi doplnkami

   Nahrávanie vyžaduje core_scripts, trénovanie training, servá Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Nájdite USB port každého ramena

   Spustite ho s oboma ramenami zapojenými, jedno odpojte, keď budete vyzvaní. Na Linuxe možno budete musieť otvoriť povolenia uzla.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Nastavte ID motorov a prenosovú rýchlosť

   Na SO-100 sa to deje pred montážou: na rozdiel od SO-101 sú konektory po zostavení nedosiahnuteľné. Skript prechádza zbernicou motor po motore od chápadla a zapisuje ID do EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrujte obe ramená

   Nastavte každý kĺb do stredu jeho rozsahu, stlačte Enter a potom každý prejdite celým jeho rozsahom. Kalibrácia umožňuje spustiť politiku trénovanú na jednom ramene na inom. Znovu použite rovnaké id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperujte raz so zapnutými kamerami

   Pravidlo lerobot: mali by ste byť schopní vykonať úlohu len pri pohľade na obrázky z kamery. Ak to nedokážete, ani ACT to nedokáže. Týmto sa zachytí viac zlých dátových sád ako neskorším ladením.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Nahrajte 50 epizód

   50 je minimum AY-Robots a to, čo ALOHA používala na úlohu. lerobot odporúča 10 na umiestnenie objektu, kamery pevné, uchopenie konzistentné. n ukončí epizódu, r znova nahrá, q zastaví a zakóduje.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Pred trénovaním prehrajte aspoň päť epizód. ukladá streamy z kamier, stavy kĺbov a akcie na , a prehrávanie tieto akcie posiela späť na rameno. Ak prehrávanie úlohu nevykoná, dáta ju neobsahujú a trénovanie ju nevymyslí.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Trénovanie politiky ACT

Toto je celý príkaz. Všetko špecifické pre ACT je už predvolené, preto stránka lerobot ACT odporúča začať s nimi.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act načíta ACTConfig, ktorý sa prispôsobí počtu motorov a kamier zaznamenaných vo vašom datasete, takže nikdy nemusíte deklarovať tvar pozorovania. --wandb.enable=true je voliteľný a stojí za to: krivka straty je jediný lacný signál v behu so 100000 krokmi. Rozvrh pochádza z tréningovej konfigurácie lerobot, nie z ACTConfig: 100000 krokov, dávka 8, seed 1000, kontrolný bod každých 20000 krokov, logovanie každých 200.

Úplné spustenie zanechá päť adresárov kontrolných bodov, 020000 až 100000, plus posledný symbolický odkaz. Uchovajte ich všetky: najlepšia politika často nie je tá posledná.

Trvanie: približne 5 hodín na 11 GB RTX 2080 Ti v článku, niekoľko hodín pre 100k krokov podľa stránky ACT lerobot, 2 až 5 hodín na úrovni 24 GB AY-Robots. Neskracujte to. Súbor README referenčného repozitára uvádza, že trhavá alebo prerušovaná politika zvyčajne potrebuje len viac tréningu, pretože úspech a plynulosť sa neustále zlepšujú aj po stabilizácii straty: pre reálne dáta potrebuje aspoň 5000 epoch, alebo 3 až 4-násobok dĺžky po stabilizácii.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Spustenie natrénovanej politiky na ramene

Nasadenie používa lerobot-rollout. Kľúče kamier sa musia zhodovať s nahranými: politika trénovaná na front a wrist nebude akceptovať cam0 a cam1, a rename_map nepomôže, pretože potrebuje predtrénovaný kontrolný bod. Reťazec úlohy môže byť vynechaný; vlastný príklad lerobot ho označuje ako voliteľný pre ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Ak chcete pripnúť kontrolný bod namiesto finálneho modelu, pridajte --policy.pretrained_revision. To si vyžaduje, aby sa spustenie začalo s --save_checkpoint_to_hub=true, predvolene vypnuté: bez neho lerobot nahrá iba finálny model a nič iné. S ním je každý kontrolný bod označený krokom s nulovou výplňou, takže --policy.pretrained_revision=060000 obnoví ten s 60000 krokmi. Porovnanie s 100000 na skutočnom ramene je najlacnejší dostupný experiment.

Dve cesty k rovnakému kontrolnému bodu

Všetko vyššie uvedené je manuálna cesta a funguje. Cesta cez platformu vymieňa kontrolu za to, že nemusíte vlastniť GPU ani prostredie Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Čo sa v skutočnosti pokazí

Takmer žiadna z ťažkostí nie je v trénovacom príkaze. Je v veciach okolo neho, zoradených podľa toho, ako často sa objavia prvýkrát.

Dva riadky si zaslúžia zdôraznenie. ACT trénuje na LeRobot v3.0, zatiaľ čo loader GR00T na ňom padá a potrebuje v2.1, takže dátová sada, ktorá trénuje ACT, môže zlyhať pri spustení GR00T. A posledný riadok má dve riešenia: autori ACT reagujú na trhavý pohyb ďalším trénovaním, zatiaľ čo s n_action_steps pri 100 sa skutočné zastavenie objaví na hranici bloku, viditeľná pauza každých 3.3 sekundy pri 30 fps. Ďalšie dve veci, ktoré treba vedieť: jeden mŕtvy kĺb je zvyčajne id serva, ktoré nebolo nikdy zapísané, a uchopovač, ktorý sa priblíži, ale nikdy sa nezatvorí znamená príliš malý rozsah uchopovača v demonštráciách. Úplný index: stránky režimov zlyhania.

Čo stojí spustenie

Toto je argument pre začatie s ACT, aj keď neskôr chcete VLA.Neúspešné spustenie ACT stojí cenu kávy a v priebehu hodín vám povie, či váš dataset obsahuje danú úlohu.Neúspešné spustenie GR00T stojí štyrikrát toľko za rovnakú lekciu.Prechod na GR00T N1.7 alebo SmolVLA potom je zmena formy, nie prestavba.Pozadie: modely videnia, jazyka a akcie, kompletný sprievodca SO-100, natrénujte svoju prvú politiku a učenie napodobňovaním. Žiadne rameno? Živá stránka streamuje skutočné SO-100, ktoré môžete ovládať bez registrácie.