Kako trenirati ACT na SO-100 od nule

ACT je izuzetak među SO-100 politikama. GR00T N1.7 i N1.5 počinju od nvidia/GR00T-N1.7-3B i nvidia/GR00T-N1.5-3B, Pi0.5 od lerobot/pi05_base. ACT počinje od nule: nema osnovne kontrolne tačke, jer to nije temeljni model. To je transformator sa otprilike 80 miliona parametara koji trenirate od nule za jedan zadatak, na vašoj ruci, pod vašim osvjetljenjem.

To je i razlog zašto izvršava kontrolni korak za 20 ms, dok VLA sa 3 milijarde parametara treba 152 do 485 ms, i košta 1 do 3 USD po pokretanju umjesto 4 do 12. Ovaj vodič opisuje ručni put sa lerobot na SO-100: snimanje, act konfiguracija, šta chunk_size i n_action_steps kontrolišu, raspored od 100000 koraka, izvođenje. Zatim isti posao na AY-Robots, uključujući i gdje platforma ne pomaže.

Šta je ACT zapravo

Action Chunking with Transformers dolazi iz ALOHA rada, Učenje fine-zrnate bimanualne manipulacije sa niskobudžetnim hardverom, autora Zhao, Kumar, Levine i Finn, arXiv, 23. april 2023. Oprema snima na 50 Hz sa četiri web kamere koje strimuju 480x640 pri 30 fps: dvije na hvataljkama, jedna odozgo, jedna sprijeda. Apstrakt tvrdi šest vještina sa 80 do 90 posto uspjeha, uključujući otvaranje prozirne posude za začine i umetanje baterije, iz 10 minuta demonstracija.

Glavni tekst je korisniji pri planiranju sesije snimanja: 50 demonstracija po zadatku, osim Thread Velcro sa 100, što je 10 do 20 minuta podataka i 30 do 60 minuta stvarnog vremena kada se uračunaju resetovanja. Uspjeh također nije ujednačen: Thread Velcro završava sa 20 posto, Put On Shoe sa 92, Cup Open 84, Prep Tape 64.

Grupisanje akcija je cijela ideja

Obično kloniranje ponašanja preslikava jedno opažanje na jednu akciju, a greške se nagomilavaju: odstupanje stavlja ruku van distribucije, proizvodeći lošiju akciju, i trideset koraka kasnije hvataljka nije ni blizu objekta. Grupisanje akcija predviđa k akcija odjednom i izvršava ih, smanjujući efektivni horizont za faktor k. Takođe rješava smetnju specifičnu za ljudske podatke: teleoperateri pauziraju, a jednokoračna Markovsko politika ne može modelirati pauzu koja zavisi od onoga što je prethodilo.

Rad ablatira k umjesto da ga tvrdi. Sa isključenim vremenskim ansamblom, prosječno preko četiri postavke, uspjeh raste sa 1 percent pri k = 1 na 44 percent pri k = 100, zatim se smanjuje na 200 i 400 kako se politika približava kontroli otvorenog kruga. Ta kriva je razlog zašto je podrazumijevana vrijednost 100.

• chunk_size: koliko budućih akcija dekoder predviđa po prolazu unaprijed. Podrazumijevano 100.
• n_action_steps: koliko ih izvršavate prije ponovnog upita. Podrazumijevano 100, tako da lerobot pokreće cijeli blok u otvorenoj petlji.
• lerobot provjerava valjanost n_action_steps <= chunk_size i podiže ValueError ako je obrnuto.

Ono što je operativno važno je chunk_size podijeljen sa brzinom sličica. Pri 30 fps koje koriste lerobotovi SO-100 primjeri, blok od 100 akcija obuhvata oko 3.3 sekunde od jednog opažanja. Ako zadatak zahtijeva korekciju unutar tog prozora, smanjite n_action_steps, a ne chunk_size: zadržavate dugu predikciju i ponovo opažate češće.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kada ACT nadmaši temeljni model

Pet politika koje se mogu trenirati, jedna pored druge, sa brojevima koje AY-Robots mjeri i koristi za dimenzioniranje GPU-a koji iznajmljuje.

Odaberite ACT kada su zadatak i scena fiksni, a kretanje mora biti brzo i precizno. Odaberite model vizije-jezika-akcije kada jedna kontrolna tačka mora pokriti nekoliko instrukcija. Dve stranice obrađuju odluku direktno: ACT vs SmolVLA i ACT vs GR00T N1.7. Za objavljene benchmarke, unos u ACT arenu povezuje svaki broj sa njegovim izvorom.

Šta vam je potrebno pre nego što počnete

Jedna prateća ruka, jedna vodeća ruka za teleoperaciju, najmanje jedna kamera, GPU od 24 GB. ACT čita samo slike i pozicije zglobova. Dve kamere su idealne: fiksni prednji pogled za to gde se stvari nalaze, kamera na zglobu za ono što će krajnji efektor dodirnuti, kao na ALOHA-i.

Od gole ruke do snimljenog skupa podataka

Proces ispod je za lerobot 0.6.x. Preskočite ga ako imate kalibriranu ruku i skup podataka. U suprotnom, SO-100 vodič za početak rada pokriva sastavljanje, vodič za snimanje pokriva snimanje i dokumentacija skupa podataka format.

1. 1
   Instalirajte lerobot sa odgovarajućim dodacima

   Za snimanje su potrebni core_scripts, za obuku training, za Feetech servo motore feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Pronađite USB port svake ruke

   Pokrenite ga sa obe ruke priključene, isključujući jednu kada se to zatraži. Na Linuxu ćete možda morati da otvorite dozvole čvora.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Postavite ID-ove motora i brzinu prenosa

   Na SO-100 se ovo dešava pre montaže: za razliku od SO-101, konektori su nedostupni kada se sklopi. Skripta prolazi kroz magistralu motor po motor, počevši od hvataljke, upisujući ID-ove u EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrirajte obe ruke

   Postavite svaki zglob na sredinu njegovog opsega, pritisnite Enter, a zatim svaki provucite kroz ceo opseg. Kalibracija omogućava da se politika obučena na jednoj ruci pokrene na drugoj. Ponovo koristite isti id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperirajte jednom sa uključenim kamerama

   Lerobot pravilo: trebalo bi da ste u mogućnosti da obavite zadatak gledajući samo slike sa kamere. Ako ne možete, ne može ni ACT. Ovo otkriva više loših skupova podataka nego kasnije otklanjanje grešaka.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Snimite 50 epizoda

   50 je minimum za AY-Robots i ono što je ALOHA koristila po zadatku. lerobot savetuje 10 po lokaciji objekta, fiksne kamere, dosledan hvat. n završava epizodu, r ponovo snima, q zaustavlja i kodira.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Pre obuke, ponovite najmanje pet epizoda. skladišti tokove kamere, stanja zglobova i akcije po , a ponavljanje vraća te akcije na ruku. Ako ponavljanje ne izvrši zadatak, podaci ga ne sadrže i obuka ga neće izmisliti.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Obuka ACT politike

Ovo je cijela naredba. Sve specifično za ACT je već zadano, zbog čega lerobot ACT stranica preporučuje da se počne s njima.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act učitava ACTConfig, koji se prilagođava broju motora i kamera koje je vaš skup podataka snimio, tako da nikada ne morate deklarisati oblik opservacije. --wandb.enable=true je opcionalno i isplativo: kriva gubitka je jedini jeftin signal u pokretanju od 100000 koraka. Raspored dolazi iz lerobot-ove konfiguracije za obuku, a ne iz ACTConfig-a: 100000 koraka, batch 8, seed 1000, kontrolna tačka svakih 20000 koraka, logovanje svakih 200.

Potpuno pokretanje ostavlja pet direktorijuma kontrolnih tačaka, od 020000 do 100000, plus posljednji simboličku vezu. Sačuvajte ih sve: najbolja politika često nije posljednja.

Trajanje: oko 5 sati na 11 GB RTX 2080 Ti u radu, nekoliko sati za 100k koraka prema lerobotovoj ACT stranici, 2 do 5 sati na AY-Robots 24 GB nivou. Ne prekidajte rano. README referentnog repozitorijuma kaže da trzava ili politika koja pauzira obično samo treba više treninga, jer se uspjeh i glatkoća nastavljaju poboljšavati nakon što se gubitak stabilizuje: za podatke iz stvarnog svijeta potrebno je najmanje 5000 epoha, ili 3 do 4 puta duže nakon platoa.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Pokretanje obučene politike na ruci

Implementacija koristi lerobot-rollout. Ključevi kamere moraju odgovarati snimljenim: politika obučena na front i wrist neće prihvatiti cam0 i cam1, i rename_map ne pomaže, jer je potrebna prethodno obučena kontrolna tačka. Niz zadataka se može izostaviti; lerobotov vlastiti primjer ga označava kao opcionalnog za ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Da biste zakačili kontrolnu tačku umjesto konačnog modela, dodajte --policy.pretrained_revision. Za to je potrebno da je pokretanje započeto sa --save_checkpoint_to_hub=true, podrazumijevano isključeno: bez toga lerobot gura samo konačni model i ništa drugo. Sa njim, svaka kontrolna tačka je označena svojim korakom popunjenim nulama, tako da --policy.pretrained_revision=060000 vraća onu sa 60000 koraka. Poređenje sa 100000 na stvarnoj ruci je najjeftiniji dostupan eksperiment.

Dva puta do iste kontrolne tačke

Sve navedeno je ručni put i funkcioniše. Put platforme menja kontrolu za to što ne posedujete GPU ili Python okruženje.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Šta zapravo ide pogrešno

Gotovo nijedan problem nije u komandi za obuku. Problemi su u stvarima oko nje, poređani po tome koliko često se javljaju prvi put.

Dva reda zaslužuju poseban naglasak. ACT se obučava na LeRobot v3.0 dok se GR00T-ov učitavač ruši na njemu i zahteva v2.1, tako da skup podataka koji obučava ACT može da dovede do neuspeha GR00T pokretanja. A poslednji red ima dva rešenja: autori ACT-a odgovaraju na cimanje pokreta sa više obuke, dok sa n_action_steps, pri 100, pravi zastoj se dešava na granici bloka, vidljiva pauza svakih 3.3 sekunde pri 30 fps. Još dve stvari koje treba znati: jedan mrtav zglob je obično ID serva koji nikada nije upisan, i hvataljka koja se približava ali se nikada ne zatvara znači premali opseg hvataljke u demonstracijama. Pun indeks: stranice sa režimima kvara.

Koliko košta pokretanje

Ovo je argument za početak sa ACT-om čak i ako kasnije želite VLA. Neuspješno ACT izvođenje košta kao kafa i u roku od nekoliko sati vam govori da li vaš skup podataka sadrži zadatak. Neuspješno GR00T izvođenje košta četiri puta više za istu lekciju. Prelazak na GR00T N1.7 ili SmolVLA poslije je promjena forme, a ne ponovna izgradnja. Pozadina: modeli vida, jezika i akcije, kompletan SO-100 vodič, obučite svoju prvu politiku i učenje imitacijom. Nema ruke? Stranica uživo prenosi pravi SO-100 za upravljanje bez prijave.