Kako trenirati ACT na SO-100 od nule

ACT je izuzetak među SO-100 politikama. GR00T N1.7 i N1.5 počinju od nvidia/GR00T-N1.7-3B i nvidia/GR00T-N1.5-3B, Pi0.5 od lerobot/pi05_base. ACT počinje od nule: nema osnovne kontrolne točke, jer to nije temeljni model. To je transformator s otprilike 80 milijuna parametara koji trenirate od nule za jedan zadatak, na vašoj ruci, pod vašim osvjetljenjem.

To je također razlog zašto izvodi kontrolni korak za 20 ms, dok VLA s 3 milijarde parametara treba 152 do 485 ms, i košta 1 do 3 USD po pokretanju umjesto 4 do 12. Ovaj vodič prolazi ručnu rutu s lerobot na SO-100: snimanje, act konfiguracija, što chunk_size i n_action_steps kontroliraju, raspored od 100000 koraka, izvođenje. Zatim isti posao na AY-Robots, uključujući i gdje platforma ne pomaže.

Što je ACT zapravo

Action Chunking with Transformers dolazi iz ALOHA rada, Učenje fine-zrnate bimanualne manipulacije s jeftinim hardverom, autora Zhao, Kumar, Levine i Finn, arXiv, 23. travnja 2023. Oprema snima na 50 Hz s četiri web kamere koje streamaju 480x640 pri 30 fps: dvije na hvataljkama, jedna odozgo, jedna sprijeda. Sažetak tvrdi šest vještina s 80 do 90 posto uspješnosti, među njima otvaranje prozirne posudice za začine i umetanje baterije, iz 10 minuta demonstracija.

Glavni tekst je korisniji pri planiranju sesije snimanja: 50 demonstracija po zadatku, osim Thread Velcro na 100, što je 10 do 20 minuta podataka i 30 do 60 minuta stvarnog vremena nakon što se uračunaju resetiranja. Uspjeh također nije ujednačen: Thread Velcro završava na 20 posto, Put On Shoe na 92, Cup Open 84, Prep Tape 64.

Grupisanje akcija je cijela ideja

Obično kloniranje ponašanja preslikava jedno opažanje na jednu akciju, a greške se gomilaju: odstupanje stavlja ruku izvan distribucije, proizvodeći lošiju akciju, a trideset koraka kasnije hvataljka nije nigdje blizu objekta. Grupisanje akcija predviđa k akcija odjednom i izvršava ih, smanjujući efektivni horizont za faktor k. Također rješava smetnju specifičnu za ljudske podatke: teleoperatori pauziraju, a Markovljeva politika ne može modelirati pauzu koja ovisi o onome što je prethodilo.

Rad provodi ablacijsku studiju za k umjesto da ga pretpostavlja. S isključenim vremenskim ansambliranjem, prosječno preko četiri postavke, uspjeh raste s 1 posto pri k = 1 na 44 posto pri k = 100, zatim se smanjuje pri 200 i 400 kako se politika približava kontroli otvorene petlje. Ta krivulja je razlog zašto je zadana vrijednost 100.

• chunk_size: koliko budućih akcija dekoder predviđa po prolazu unaprijed. Zadano 100.
• n_action_steps: koliko ih izvršavate prije ponovnog upita. Zadano 100, tako da lerobot pokreće cijeli blok u otvorenoj petlji.
• lerobot provjerava n_action_steps <= chunk_size i podiže ValueError ako je obrnuto.

Ono što je operativno važno je chunk_size podijeljen s brzinom sličica. Pri 30 fps koje koriste lerobotovi SO-100 primjeri, blok od 100 akcija obuhvaća oko 3.3 sekunde od jednog promatranja. Ako zadatak zahtijeva korekciju unutar tog prozora, smanjite n_action_steps, a ne chunk_size: zadržavate dugo predviđanje i češće ponovno promatrate.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kada ACT nadmaši temeljni model

Pet politika koje se mogu trenirati, jedna pored druge, s brojkama koje AY-Robots mjeri i koristi za određivanje veličine GPU-a koji iznajmljuje.

Odaberite ACT kada su zadatak i scena fiksni, a kretanje mora biti brzo i precizno. Odaberite kada jedna kontrolna točka mora pokriti nekoliko uputa. Dvije stranice obrađuju odluku izravno: i . Za objavljene benchmarke, povezuje svaki broj s njegovim izvorom.

Što vam je potrebno prije nego počnete

Jedna prateća ruka, jedna vodeća ruka za , barem jedna kamera, GPU od 24 GB. ACT čita samo slike i položaje zglobova. Dvije kamere su idealne: fiksni prednji pogled za to gdje se stvari nalaze, kamera na zglobu za ono što će dodirnuti, kao na ALOHA-i.

Od gole ruke do snimljenog skupa podataka

Donji tijek rada je za lerobot 0.6.x. Preskočite ako imate kalibriranu ruku i skup podataka. Inače, SO-100 vodič za početak rada pokriva sastavljanje, vodič za snimanje pokriva snimanje i dokumentacija skupa podataka format.

1. 1
   Instalirajte lerobot s odgovarajućim dodacima

   Snimanje zahtijeva core_scripts, obuka training, Feetech servo motori feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Pronađite USB priključak svake ruke

   Pokrenite ga s obje ruke priključene, isključujući jednu kada se to zatraži. Na Linuxu ćete možda morati otvoriti dozvole čvora.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Postavite ID-ove motora i brzinu prijenosa

   Na SO-100 ovo se događa prije sastavljanja: za razliku od SO-101, konektori su nedostupni nakon što je sastavljen. Skripta prolazi kroz sabirnicu motor po motor, počevši od hvataljke, zapisujući ID-ove u EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrirajte obje ruke

   Postavite svaki zglob u sredinu njegovog raspona, pritisnite Enter, a zatim svaki prođite kroz cijeli raspon. Kalibracija omogućuje da se politika obučena na jednoj ruci pokrene na drugoj. Ponovno koristite isti id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperirajte jednom s uključenim kamerama

   Lerobot pravilo: trebali biste moći obaviti zadatak gledajući samo slike s kamere. Ako ne možete, ne može ni ACT. Ovo otkriva više loših skupova podataka nego kasnije otklanjanje pogrešaka.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Snimite 50 epizoda

   50 je minimum za AY-Robots i ono što je ALOHA koristila po zadatku. lerobot savjetuje 10 po lokaciji objekta, fiksne kamere, dosljedan hvat. n završava epizodu, r ponovno snima, q zaustavlja i kodira.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Prije obuke, ponovite barem pet epizoda. Format skupa podataka LeRobot pohranjuje tokove kamere, stanja zglobova i akcije po epizodi, a ponavljanje vraća te akcije na ruku. Ako ponavljanje ne izvrši zadatak, podaci ga ne sadrže i obuka ga neće izmisliti.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Obučavanje ACT politike

Ovo je cijela naredba. Sve specifično za ACT je već zadano, zbog čega lerobot ACT stranica preporučuje da se počne s njima.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act učitava ACTConfig, koji se prilagođava broju motora i kamera koje je vaš skup podataka snimio, tako da nikada ne deklarirate oblik promatranja. --wandb.enable=true je opcionalno i isplati se: krivulja gubitka je jedini jeftin signal u pokretanju od 100000 koraka. Raspored dolazi iz lerobotove konfiguracije treninga, a ne iz ACTConfiga: 100000 koraka, serija 8, sjeme 1000, kontrolna točka svakih 20000 koraka, bilježenje svakih 200.

Potpuno pokretanje ostavlja pet direktorija kontrolnih točaka, od 020000 do 100000, plus last simboličku vezu. Zadržite ih sve: najbolja politika često nije posljednja.

Trajanje: oko 5 sati na 11 GB RTX 2080 Ti u radu, nekoliko sati za 100k koraka prema lerobotovoj ACT stranici, 2 do 5 sati na AY-Robots 24 GB razini. Nemojte skraćivati. README referentnog repozitorija kaže da trzava ili zastajkujuća politika obično samo treba više treninga, jer se uspjeh i glatkoća nastavljaju poboljšavati nakon što se gubitak stabilizira: za stvarne podatke potrebno je najmanje 5000 epoha, ili 3 do 4 puta dulje nakon stabilizacije.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Pokretanje trenirane politike na ruci

Implementacija koristi lerobot-rollout. Ključevi kamere moraju odgovarati snimljenima: politika trenirana na front i wrist neće prihvatiti cam0 i cam1, a rename_map ne pomaže, budući da je potrebna prethodno trenirana kontrolna točka. Niz zadataka može se izostaviti; lerobotov vlastiti primjer označava ga kao preskočivog za ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Za fiksiranje kontrolne točke umjesto konačnog modela, dodajte --policy.pretrained_revision. Za to je potrebno da je pokretanje započelo s --save_checkpoint_to_hub=true, isključeno po zadanim postavkama: bez toga lerobot gura samo konačni model i ništa drugo. S njim je svaka kontrolna točka označena svojim korakom s vodećim nulama, tako da --policy.pretrained_revision=060000 dohvaća onu s 60000 koraka. Usporedba s 100000 na stvarnoj ruci je najjeftiniji dostupan eksperiment.

Dva puta do iste kontrolne točke

Sve navedeno je ručni put i funkcionira. Put putem platforme mijenja kontrolu za neposjedovanje GPU-a ili Python okruženja.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Što zapravo pođe po zlu

Gotovo nijedan problem nije u naredbi za treniranje. Problemi su u stvarima oko nje, poredani po učestalosti pojavljivanja pri prvom pokušaju.

Dvije stavke zaslužuju naglasak. ACT se trenira na LeRobot v3.0 dok se GR00T-ov učitavač ruši na njemu i treba v2.1, tako da skup podataka koji trenira ACT može uzrokovati neuspjeh GR00T pokretanja. A posljednja stavka ima dva rješenja: autori ACT-a rješavaju trzavo kretanje s više treniranja, dok s n_action_steps na 100 pravi zastoj se događa na granici bloka, vidljiva pauza svakih 3.3 sekunde pri 30 fps. Još dvije stvari koje treba znati: jedan mrtvi zglob je obično ID serva koji nikada nije zapisan, i hvataljka koja se približava, ali se nikada ne zatvara znači premali raspon hvataljke u demonstracijama. Potpuni indeks: stranice s načinima kvara.

Koliko košta jedno pokretanje

Ovo je argument za početak s ACT-om čak i ako kasnije želite VLA. Neuspješno pokretanje ACT-a košta kao kava i unutar nekoliko sati vam govori sadrži li vaš skup podataka zadatak. Neuspješno pokretanje GR00T-a košta četiri puta više za istu lekciju. Prelazak na GR00T N1.7 ili SmolVLA nakon toga je promjena forme, a ne ponovna izgradnja. Pozadina: modeli vizije, jezika i akcije, potpuni SO-100 vodič, trenirajte svoju prvu politiku i učenje imitacijom. Nemate ruku? Stranica uživo prikazuje pravi SO-100 za upravljanje bez prijave.