Kako trenirati ACT na SO-100 od nule

ACT je izuzetak među SO-100 politikama. GR00T N1.7 i N1.5 počinju od nvidia/GR00T-N1.7-3B i nvidia/GR00T-N1.5-3B, Pi0.5 od lerobot/pi05_base. ACT počinje od nule: nema osnovne kontrolne tačke, jer to nije temeljni model. To je transformator sa otprilike 80 miliona parametara koji trenirate od nule za jedan zadatak, na vašoj ruci, pod vašim osvetljenjem.

To je takođe razlog zašto izvršava kontrolni korak za 20 ms, dok VLA sa 3 milijarde parametara zahteva 152 do 485 ms, i košta 1 do 3 USD po pokretanju umesto 4 do 12. Ovaj vodič prolazi kroz ručnu rutu sa lerobot na SO-100: snimanje, act konfiguracija, šta chunk_size i n_action_steps kontrolišu, raspored od 100000 koraka, i izvođenje. Zatim isti posao na AY-Robots, uključujući i delove gde platforma ne pomaže.

Šta je ACT zapravo

Akciono grupisanje sa Transformerima (Action Chunking with Transformers) potiče iz ALOHA rada, Učenje fine bimanualne manipulacije sa jeftinim hardverom, autora Zhao, Kumar, Levine i Finn, arXiv, 23. april 2023. Oprema snima na 50 Hz sa četiri veb kamere koje strimuju 480x640 pri 30 fps: dve na hvataljkama, jedna odozgo, jedna spreda. Apstrakt tvrdi šest veština sa 80 do 90 procenata uspešnosti, među njima otvaranje providne posude za začine i umetanje baterije, na osnovu 10 minuta demonstracija.

Glavni deo je korisniji pri planiranju sesije snimanja: 50 demonstracija po zadatku, osim za Thread Velcro sa 100, što je 10 do 20 minuta podataka i 30 do 60 minuta realnog vremena kada se uračunaju resetovanja. Uspeh takođe nije ujednačen: Thread Velcro završava sa 20 procenata, Put On Shoe sa 92, Cup Open 84, Prep Tape 64.

Grupisanje akcija je cela ideja

Obično kloniranje ponašanja preslikava jedno opažanje na jednu akciju, a greške se nagomilavaju: odstupanje stavlja ruku van distribucije, proizvodeći lošiju akciju, i trideset koraka kasnije hvataljka nije nigde blizu objekta. Grupisanje akcija predviđa k akcija odjednom i izvršava ih, smanjujući efektivni horizont za faktor k. Takođe rešava smetnju specifičnu za ljudske podatke: teleoperateri pauziraju, a Markovljeva politika ne može modelirati pauzu koja zavisi od onoga što je prethodilo.

Rad vrši ablaciju k umesto da ga tvrdi. Sa isključenim vremenskim ansamblom, prosečno preko četiri postavke, uspeh raste sa 1 procenta pri k = 1 na 44 procenta pri k = 100, zatim se smanjuje na 200 i 400 kako se politika približava kontroli otvorenog kruga. Ta kriva je razlog zašto je podrazumevana vrednost 100.

• chunk_size: koliko budućih akcija dekoder predviđa po jednom prolazu unapred. Default 100.
• n_action_steps: koliko ih izvršavate pre ponovnog upita. Default 100, tako da lerobot izvršava ceo blok u otvorenoj petlji.
• lerobot proverava da li je n_action_steps <= chunk_size i podiže ValueError ako je obrnuto.

Ono što je operativno važno je chunk_size podeljen sa brzinom kadrova. Pri 30 fps koje koriste lerobotovi SO-100 primeri, blok od 100 akcija obuhvata oko 3.3 sekunde od jednog posmatranja. Ako zadatak zahteva korekciju unutar tog prozora, smanjite n_action_steps, a ne chunk_size: zadržavate dugu predikciju i ponovo posmatrate češće.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kada ACT nadmaši temeljni model

Pet politika koje se mogu trenirati, jedna pored druge, sa brojevima koje AY-Robots meri i koristi za određivanje veličine GPU-a koji iznajmljuje.

Izaberite ACT kada su zadatak i scena fiksni, a kretanje mora biti brzo i precizno. Izaberite kada jedna kontrolna tačka mora pokriti nekoliko instrukcija. Dve stranice direktno porede odluku: i . Za objavljene benchmarke, povezuje svaki broj sa svojim izvorom.

Šta vam je potrebno pre nego što počnete

Jedna prateća ruka, jedna vodeća ruka za , najmanje jedna kamera, GPU od 24 GB. ACT čita samo slike i pozicije zglobova. Dve kamere su idealne: fiksni prednji pogled za to gde se stvari nalaze, kamera na zglobu za ono što će dodirnuti, kao na ALOHA sistemu.

Od gole ruke do snimljenog skupa podataka

Proces ispod je lerobot 0.6.x. Preskočite ga ako imate kalibrisanu ruku i skup podataka. U suprotnom, SO-100 vodič za početak rada, pokriva sklapanje, uputstvo za snimanje pokriva snimanje i dokumentacija skupa podataka format.

1. 1
   Instalirajte lerobot sa odgovarajućim dodacima

   Za snimanje su potrebni core_scripts, za obuku training, a za Feetech servo motore feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Pronađite USB port svake ruke

   Pokrenite ga sa obe ruke priključene, isključujući jednu kada se to zatraži. Na Linuxu ćete možda morati da otvorite dozvole čvora.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Podesite ID-ove motora i brzinu prenosa

   Na SO-100 se ovo dešava pre sklapanja: za razliku od SO-101, konektori su nedostupni kada se jednom sastavi. Skripta prolazi kroz magistralu motor po motor, počevši od hvataljke, upisujući ID-ove u EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrirajte obe ruke

   Podesite svaki zglob na sredinu njegovog opsega, pritisnite Enter, a zatim ga provucite kroz ceo opseg. Kalibracija omogućava da se politika obučena na jednoj ruci pokrene na drugoj. Ponovo koristite isti id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperišite jednom sa uključenim kamerama

   Lerobot pravilo: trebalo bi da budete u mogućnosti da obavite zadatak gledajući samo slike sa kamere. Ako ne možete, ne može ni ACT. Ovo otkriva više loših skupova podataka nego kasnije otklanjanje grešaka.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Snimite 50 epizoda

   50 je minimum za AY-Robots i ono što je ALOHA koristila po zadatku. lerobot savetuje 10 po lokaciji objekta, fiksne kamere, dosledan hvat. n završava epizodu, r ponovo snima, q zaustavlja i kodira.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Pre obuke, ponovite najmanje pet epizoda. Format LeRobot skupa podataka skladišti tokove kamere, stanja zglobova i akcije po epizodi, a ponavljanje vraća te akcije na ruku. Ako ponavljanje ne izvrši zadatak, podaci ga ne sadrže i obuka ga neće izmisliti.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Obuka ACT politike

Ovo je cela komanda. Sve što je specifično za ACT je već podrazumevano, zbog čega lerobot ACT stranica preporučuje da se počne sa njima.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act učitava ACTConfig, koji se prilagođava broju motora i kamera koje je vaš skup podataka snimio, tako da nikada ne deklarišete oblik posmatranja. --wandb.enable=true je opcionalno i vredi truda: kriva gubitka je jedini jeftin signal u pokretanju od 100000 koraka. Raspored dolazi iz lerobot-ove konfiguracije za obuku, a ne iz ACTConfig-a: 100000 koraka, paket 8, seed 1000, kontrolna tačka svakih 20000 koraka, logovanje svakih 200.

Potpuno pokretanje ostavlja pet direktorijuma kontrolnih tačaka, od 020000 do 100000, plus last simboličku vezu. Sačuvajte ih sve: najbolja politika često nije poslednja.

Trajanje: oko 5 sati na 11 GB RTX 2080 Ti u radu, nekoliko sati za 100k koraka prema lerobotovoj ACT stranici, 2 do 5 sati na AY-Robots 24 GB nivou. Ne prekidajte ga prerano. README referentnog repozitorijuma kaže da trzava ili politika koja pauzira obično samo zahteva više treninga, jer se uspeh i glatkoća nastavljaju poboljšavati nakon što se gubitak stabilizuje: za podatke iz stvarnog sveta potrebno je najmanje 5000 epoha, ili 3 do 4 puta duže nakon platoa.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Pokretanje obučene politike na ruci

Implementacija koristi lerobot-rollout. Ključevi kamere moraju odgovarati snimljenim: politika obučena na front i wrist neće prihvatiti cam0 i cam1, a rename_map ne pomaže, jer je potrebna prethodno obučena kontrolna tačka. String zadatka se može izostaviti; lerobotov sopstveni primer ga označava kao opcionalnog za ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Da biste fiksirali kontrolnu tačku umesto konačnog modela, dodajte --policy.pretrained_revision. Za to je potrebno da je pokretanje započeto sa --save_checkpoint_to_hub=true, podrazumevano isključeno: bez toga lerobot gura samo konačni model i ništa drugo. Sa njim, svaka kontrolna tačka je označena svojim korakom sa vodećim nulama, tako da --policy.pretrained_revision=060000 vraća onu sa 60000 koraka. Poređenje sa 100000 na stvarnoj ruci je najjeftiniji dostupan eksperiment.

Dva puta do iste kontrolne tačke

Sve navedeno je ručni put i funkcioniše. Putem platforme se gubi kontrola, ali se ne mora posedovati GPU ili Python okruženje.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Šta zapravo ide pogrešno

Gotovo nijedan problem nije u komandi za obuku. Problemi su u stvarima oko nje, poređani po tome koliko često se javljaju prvi put.

Dva reda zaslužuju poseban naglasak. ACT se obučava na LeRobot v3.0 dok se GR00T-ov učitavač ruši na njemu i zahteva v2.1, tako da skup podataka koji obučava ACT može da izazove neuspeh GR00T pokretanja. A poslednji red ima dva rešenja: autori ACT-a rešavaju cimanje pokreta sa više obuke, dok sa n_action_steps na 100 pravi zastoj se dešava na granici bloka, vidljiva pauza svakih 3.3 sekunde pri 30 fps. Još dve stvari koje treba znati: jedan mrtav zglob je obično ID serva koji nikada nije upisan, i hvataljka koja se približava ali se nikada ne zatvara znači premali opseg hvataljke u demonstracijama. Kompletan indeks: stranice sa režimima kvara.

Koliko košta jedno pokretanje

Ovo je argument za početak sa ACT-om čak i ako kasnije želite VLA. Neuspelo ACT izvršavanje košta kao kafa i za nekoliko sati vam govori da li vaš skup podataka sadrži zadatak. Neuspelo GR00T izvršavanje košta četiri puta više za istu lekciju. Prelazak na GR00T N1.7 ili SmolVLA nakon toga je promena forme, a ne ponovna izgradnja. Pozadina: modeli vizije, jezika i akcije, kompletan SO-100 vodič, obučite svoju prvu politiku i učenje imitacijom. Nemate ruku? Stranica uživo strimuje pravi SO-100 za upravljanje bez prijave.