Kako trenirati ACT na SO-100 od začetka

ACT je izjema med politikami SO-100. GR00T N1.7 in N1.5 izhajata iz nvidia/GR00T-N1.7-3B in nvidia/GR00T-N1.5-3B, Pi0.5 iz lerobot/pi05_base. ACT začne iz nič: ni osnovne kontrolne točke, ker ni temeljnega modela. Gre za transformator s približno 80 milijoni parametrov, ki ga trenirate od začetka za eno nalogo, na vaši roki, pod vašo osvetlitvijo.

Zato tudi izvede kontrolni korak v 20 ms, medtem ko 3 milijarde parametrov velik VLA potrebuje 152 do 485 ms in stane 1 do 3 USD na zagon namesto 4 do 12. Ta vodnik opisuje ročno pot z lerobot na SO-100: snemanje, konfiguracija act, kaj chunk_size in n_action_steps nadzorujeta, razpored 100000 korakov, izvedba. Nato isto delo na AY-Robots, vključno s tem, kje platforma ne pomaga.

Kaj je ACT v resnici

Action Chunking with Transformers izhaja iz članka ALOHA, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, avtorjev Zhao, Kumar, Levine in Finn, arXiv, 23. april 2023. Naprava snema pri 50 Hz s štirimi spletnimi kamerami, ki pretakajo 480x640 pri 30 sličicah na sekundo: dve na prijemalih, ena zgoraj, ena spredaj. Povzetek trdi, da je doseženih šest spretnosti z 80 do 90-odstotno uspešnostjo, med njimi odpiranje prozorne posodice za začimbe in vstavljanje baterije, na podlagi 10 minut demonstracij.

Glavni del je bolj uporaben pri načrtovanju snemalne seje: 50 demonstracij na nalogo, razen Thread Velcro pri 100, kar pomeni 10 do 20 minut podatkov in 30 do 60 minut realnega časa, ko so vključene ponastavitve. Uspešnost prav tako ni enotna: Thread Velcro se konča pri 20 odstotkih, Put On Shoe pri 92, Cup Open 84, Prep Tape 64.

Razdelitev akcij na bloke je bistvo ideje

Običajno kloniranje vedenja preslika eno opazovanje v eno akcijo, napake pa se kopičijo: odstopanje postavi roko izven porazdelitve, kar povzroči slabšo akcijo, in trideset korakov kasneje je prijemalo daleč od predmeta. Razdelitev akcij na bloke hkrati napove k akcij in jih izvede, s čimer zmanjša učinkovit horizont za faktor k. Obravnava tudi nadležno posebnost človeških podatkov: teleoperatorji se ustavijo, enostopenjski Markovsko politika ne more modelirati premora, ki je odvisen od prejšnjih dogodkov.

Članek ablira k, namesto da bi ga potrdil. Z izključenim časovnim združevanjem, povprečno čez štiri nastavitve, se uspešnost dvigne z 1 odstotka pri k = 1 na 44 odstotkov pri k = 100, nato pa se zmanjša pri 200 in 400, ko se politika približuje odprtozančnemu nadzoru. Ta krivulja je razlog, zakaj je privzeta vrednost 100.

• chunk_size: koliko prihodnjih dejanj dekoder predvidi na en prehod naprej. Privzeto 100.
• n_action_steps: koliko jih izvedete, preden ponovno pošljete poizvedbo. Privzeto 100, tako da lerobot celoten kos izvede v odprti zanki.
• lerobot preveri n_action_steps <= chunk_size in sproži ValueError, če sta vrednosti zamenjani.

Operativno je pomembno razmerje med chunk_size in hitrostjo sličic. Pri 30 sličicah na sekundo, ki jih uporabljajo primeri lerobot SO-100, kos 100 dejanj zajema približno 3,3 sekunde od enega opazovanja. Če naloga zahteva popravek znotraj tega okna, znižajte n_action_steps, ne chunk_size: ohranite dolgo napoved in pogosteje ponovno opazujete.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Ko ACT premaga temeljni model

Pet učljivih politik druga ob drugi, s številkami, ki jih AY-Robots meri in uporablja za določanje velikosti GPU-ja, ki ga najema.

Izberite ACT, ko sta naloga in scena fiksni, gibanje pa mora biti hitro in natančno. Izberite ko mora ena kontrolna točka pokrivati več navodil. Dve strani obravnavata odločitev neposredno: in . Za objavljene meritve uspešnosti, povezuje vsako številko z njenim virom.

Kaj potrebujete, preden začnete

Ena sledilna roka, ena vodilna roka za , vsaj ena kamera, 24 GB GPU. ACT bere samo slike in položaje sklepov. Dve kameri sta optimalni: fiksni sprednji pogled za to, kje so stvari, in zapestna kamera za to, česa se bo dotaknil , kot pri ALOHA.

Od gole roke do posnetega nabora podatkov

Spodnji potek je lerobot 0.6.x. Preskočite ga, če imate kalibrirano roko in nabor podatkov. Sicer pa vodnik za začetek uporabe SO-100, zajema sestavljanje, navodila za snemanje zajema zajemanje in dokumentacija nabora podatkov format.

1. 1
   Namestite lerobot s pravimi dodatki

   Za snemanje so potrebni core_scripts, za usposabljanje training, za Feetech servo motorje feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Poiščite USB vrata vsake roke

   Zaženite ga z obema rokama priključenima, eno odklopite, ko ste pozvani. V Linuxu boste morda morali odpreti dovoljenja vozlišča.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Nastavite ID-je motorjev in hitrost prenosa

   Na SO-100 se to zgodi pred montažo: za razliko od SO-101 so konektorji po sestavi nedosegljivi. Skript preide po vodilu en motor naenkrat od prijemala in zapiše ID-je v EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrirajte obe roki

   Nastavite vsak sklep na sredino njegovega območja, pritisnite Enter, nato pa vsakega premaknite skozi celotno območje. Kalibracija omogoča, da se politika, usposobljena na eni roki, izvaja na drugi. Ponovno uporabite isti id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperirajte enkrat z vključenimi kamerami

   Pravilo lerobota: nalogo bi morali biti sposobni opraviti samo z gledanjem slik kamere. Če ne morete, tudi ACT ne more. To zajame več slabih podatkovnih nizov kot kasnejše odpravljanje napak.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Posnemite 50 epizod

   50 je minimum za AY-Robots in kar je ALOHA uporabila na nalogo. lerobot svetuje 10 na lokacijo objekta, fiksne kamere, dosleden prijem. n konča epizodo, r ponovno posname, q ustavi in kodira.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Pred usposabljanjem predvajajte vsaj pet epizod. Format podatkovnega niza LeRobot shranjuje tokove kamere, stanja sklepov in dejanja na epizodo, in predvajanje potisne ta dejanja nazaj na roko. Če predvajanje ne opravi naloge, podatki tega ne vsebujejo in usposabljanje tega ne bo izumilo.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Usposabljanje politike ACT

To je celoten ukaz. Vse, kar je specifično za ACT, je že privzeto, zato stran lerobot ACT priporoča, da začnete z njimi.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act naloži ACTConfig, ki se prilagodi številu motorjev in kamer, ki jih je zabeležil vaš nabor podatkov, tako da nikoli ne deklarirate oblike opazovanja. --wandb.enable=true je neobvezen in vreden truda: krivulja izgube je edini poceni signal v teku s 100000 koraki. Razpored prihaja iz konfiguracije usposabljanja lerobot, ne iz ACTConfig: 100000 korakov, serija 8, seme 1000, kontrolna točka vsakih 20000 korakov, beleženje vsakih 200.

Celoten zagon pusti pet imenikov kontrolnih točk, od 020000 do 100000, plus simbolno povezavo last. Obdržite jih vse: najboljša politika pogosto ni zadnja.

Trajanje: približno 5 ur na 11 GB RTX 2080 Ti v članku, nekaj ur za 100k korakov po strani ACT lerobota, 2 do 5 ur na AY-Robots 24 GB nivoju. Ne prekinjajte prezgodaj. README referenčnega repozitorija pravi, da sunkovita ali prekinjajoča se politika običajno potrebuje le več urjenja, ker se uspeh in gladkost še naprej izboljšujeta tudi po tem, ko se izguba stabilizira: za podatke iz resničnega sveta potrebuje vsaj 5000 epoh, ali 3 do 4-kratno dolžino po stabilizaciji.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Izvajanje usposobljene politike na roki

Uporaba v produkciji uporablja lerobot-rollout. Ključi kamere se morajo ujemati z zabeleženimi: politika, usposobljena na front in wrist ne bo sprejela cam0 in cam1, in rename_map ne pomaga, saj potrebuje predhodno usposobljeno kontrolno točko. Niz naloge je mogoče izpustiti; lerobotovi lastni primeri ga označujejo kot izpustljivega za ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Za pripenjanje kontrolne točke namesto končnega modela dodajte --policy.pretrained_revision. To zahteva, da se je zagon začel z --save_checkpoint_to_hub=true, privzeto izklopljeno: brez tega lerobot potisne končni model in nič drugega. Z njim je vsaka kontrolna točka označena s svojim korakom, dopolnjenim z ničlami, tako da --policy.pretrained_revision=060000 obnovi tisto s 60000 koraki. Primerjava s 100000 na pravi roki je najcenejši razpoložljiv eksperiment.

Dve poti do iste kontrolne točke

Vse zgoraj opisano je ročna pot in deluje. Pot preko platforme zamenja nadzor za to, da vam ni treba imeti lastnega GPU-ja ali Python okolja.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Kaj gre dejansko narobe

Skoraj nobena težava ni v samem ukazu za učenje. Težave so v stvareh okoli njega, razvrščenih po pogostosti, s katero se pojavijo prvič.

Dve vrstici si zaslužita poudarek. ACT se uči na LeRobot v3.0, medtem ko se GR00T-ov nalagalnik na njem zruši in potrebuje v2.1, zato lahko nabor podatkov, ki uči ACT, povzroči neuspeh pri zagonu GR00T. In zadnja vrstica ima dva popravka: avtorji ACT na sunkovito gibanje odgovorijo z več učenja, medtem ko z n_action_steps pri 100 se pravi zastoj pojavi na meji bloka, vidna pavza vsakih 3.3 sekunde pri 30 sličicah na sekundo. Še dve stvari, ki jih je dobro vedeti: en sam mrtev sklep je običajno ID servomotorja, ki ni bil nikoli zapisan, in prijemalo, ki se približa, a se nikoli ne zapre pomeni premajhen razpon prijemala v demonstracijah. Celoten indeks: strani z načini napak.

Kaj stane zagon

To je argument za začetek z ACT, tudi če kasneje želite VLA. Neuspešen zagon ACT stane toliko kot kava in vam v nekaj urah pove, ali vaš nabor podatkov vsebuje nalogo. Neuspešen zagon GR00T stane štirikrat več za isto lekcijo. Premik na GR00T N1.7 ali SmolVLA kasneje je sprememba oblike, ne pa ponovna izgradnja. Ozadje: modeli vida, jezika in dejanj, popoln vodnik za SO-100, trenirajte svojo prvo politiko in učenje z imitacijo. Nimate roke? Stran v živo pretaka pravi SO-100, ki ga lahko upravljate brez prijave.