Hvordan trene ACT på SO-100 fra bunnen av

ACT er den som skiller seg ut blant SO-100-policyene. GR00T N1.7 og N1.5 starter fra nvidia/GR00T-N1.7-3B og nvidia/GR00T-N1.5-3B, Pi0.5 fra lerobot/pi05_base. ACT starter fra ingenting: det er ingen basis-sjekkpunkt, fordi det ikke er en grunnlagsmodell. Det er en transformermodell på omtrent 80 millioner parametere som du trener fra bunnen av på én oppgave, på din arm, under din belysning.

Det er også derfor den kjører et kontrolltrinn på 20 ms der en VLA med 3 milliarder parametere trenger 152 til 485 ms, og koster 1 til 3 USD per kjøring i stedet for 4 til 12. Denne guiden beskriver den manuelle ruten med lerobot på en SO-100: opptak, act konfigurasjonen, hva chunk_size og n_action_steps kontrollerer, 100000-trinnsplanen, utrullingen. Deretter den samme jobben på AY-Robots, inkludert der plattformen ikke hjelper.

Hva ACT faktisk er

Action Chunking with Transformers kommer fra ALOHA-artikkelen, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, av Zhao, Kumar, Levine og Finn, arXiv, 23. april 2023. Riggen tar opp med 50 Hz med fire webkameraer som strømmer 480x640 ved 30 fps: to på griperne, ett på toppen, ett foran. Sammendraget hevder seks ferdigheter med 80 til 90 prosent suksess, blant dem å åpne en gjennomsiktig krydderkopp og sette inn et batteri, fra 10 minutter med demonstrasjoner.

Hovedteksten er mer nyttig når man planlegger en opptaksøkt: 50 demonstrasjoner per oppgave, unntatt Thread Velcro med 100, som er 10 til 20 minutter med data og 30 til 60 minutter med reell tid når tilbakestillinger er talt. Suksessen er heller ikke jevn: Thread Velcro ender på 20 prosent, Put On Shoe på 92, Cup Open 84, Prep Tape 64.

Handlingsklumping er hele ideen

Vanlig atferdskloning mapper én observasjon til én handling, og feil akkumuleres: et avvik plasserer armen utenfor distribusjonen, noe som produserer en dårligere handling, og tretti trinn senere er griperen ingensteds nær objektet. Handlingsklumping forutsier k handlinger samtidig og utfører dem, noe som reduserer den effektive horisonten med en faktor k. Det håndterer også et problem spesifikt for menneskelige data: teleoperatører pauser, og en ett-trinns Markovisk policy kan ikke modellere en pause som avhenger av det som kom før.

Artikkelen ablaterer k i stedet for å hevde det. Med temporal ensembling av, gjennomsnittlig over fire innstillinger, stiger suksessen fra 1 prosent ved k = 1 til 44 prosent ved k = 100, og flater deretter ut ved 200 og 400 ettersom policyen nærmer seg åpen-sløyfe-kontroll. Denne kurven er grunnen til at standardverdien er 100.

• chunk_size: hvor mange fremtidige handlinger dekoderen forutsier per fremoverpasning. Standard 100.
• n_action_steps: hvor mange av dem du utfører før du spør igjen. Standard 100, så lerobot kjører hele blokken i åpen sløyfe.
• lerobot validerer n_action_steps <= chunk_size og utløser en ValueError hvis du får det bakvendt.

Det som betyr noe operasjonelt er chunk_size delt på bildefrekvensen. Ved 30 bilder per sekund som lerobots SO-100-eksempler bruker, forplikter en blokk på 100 handlinger omtrent 3,3 sekunder fra én observasjon. Hvis oppgaven krever en korreksjon innenfor det vinduet, senk n_action_steps, ikke chunk_size: du beholder den lange prediksjonen og observerer på nytt oftere.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Når ACT slår en grunnmodell

De fem trenbare retningslinjene side om side, med tallene AY-Robots måler og bruker for å dimensjonere GPU-en den leier.

Velg ACT når oppgave og scene er faste og bevegelsen må være rask og presis. Velg en når ett sjekkpunkt må dekke flere instruksjoner. To sider sammenligner beslutningen direkte: og . For publiserte ytelsestester, lenker hvert tall til sin kilde.

Hva du trenger før du starter

Én følgerarm, én lederarm for , minst ett kamera, en 24 GB GPU. ACT leser kun bilder og leddposisjoner. To kameraer er ideelt: en fast frontvisning for hvor ting er, et håndleddskamera for hva er i ferd med å berøre, som på ALOHA.

Fra bar arm til registrert datasett

Arbeidsflyten nedenfor er lerobot 0.6.x. Hopp over dette hvis du har en kalibrert arm og et datasett. Ellers dekker SO-100 startguide montering, opptaksveiledning dekker innspilling og datasett-dokumentasjon formatet.

1. 1
   Installer lerobot med de riktige tilleggene

   Opptak krever core_scripts, trening training, Feetech-servoer feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Finn USB-porten til hver arm

   Kjør den med begge armene tilkoblet, og koble fra den ene når du blir bedt om det. På Linux må du kanskje åpne nodetillatelsene.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Angi motor-ID-er og baudrate

   På SO-100 skjer dette før montering: i motsetning til SO-101 er kontaktene utilgjengelige når den er bygget. Skriptet går gjennom bussen én motor om gangen fra griperen, og skriver ID-er til EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrer begge armene

   Sett hvert ledd til midten av sitt bevegelsesområde, trykk Enter, og før deretter hvert ledd gjennom hele sitt bevegelsesområde. Kalibrering lar en policy trent på én arm kjøre på en annen. Gjenbruk den samme id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperer én gang med kameraene på

   Lerobot-tommelfingerregelen: du skal kunne utføre oppgaven kun ved å se på kamerabildene. Hvis du ikke kan det, kan heller ikke ACT. Dette fanger opp flere dårlige datasett enn senere feilsøking.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Ta opp 50 episoder

   50 er AY-Robots minimum og det ALOHA brukte per oppgave. lerobot anbefaler 10 per objektlokasjon, faste kameraer, konsistent grep. n avslutter en episode, r tar opp på nytt, q stopper og koder.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Før trening, spill av minst fem episoder. LeRobot datasettformatet lagrer kamerastrømmer, leddtilstander og handlinger per episode, og avspilling sender disse handlingene tilbake til armen. Hvis avspillingen ikke utfører oppgaven, inneholder ikke dataene den, og treningen vil ikke finne den opp.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Trening av ACT-policyen

Dette er hele kommandoen. Alt ACT-spesifikt er allerede en standard, og det er derfor lerobot ACT-siden sier at man skal starte med dem.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act laster ACTConfig, som tilpasser seg hvor mange motorer og kameraer datasettet ditt registrerte, slik at du aldri trenger å deklarere observasjonsformen. --wandb.enable=true er valgfritt og verdt det: tapskurven er det eneste billige signalet i en kjøring på 100000 trinn. Tidsplanen kommer fra lerobot's train config, ikke ACTConfig: 100000 trinn, batch 8, seed 1000, et sjekkpunkt hvert 20000. trinn, med logging hvert 200. trinn.

En full kjøring etterlater fem sjekkpunktkataloger, 020000 til og med 100000, pluss en last symlink. Behold dem alle: den beste policyen er ofte ikke den siste.

Varighet: rundt 5 timer på et 11 GB RTX 2080 Ti i artikkelen, noen timer for 100k trinn per lerobots ACT-side, 2 til 5 timer på AY-Robots 24 GB-nivå. Ikke kutt det kort. README-filen til referanse-repoet sier at en rykkete eller pauserende policy vanligvis bare trenger mer trening, fordi suksess og jevnhet fortsetter å forbedres etter at tapet flater ut: for data fra den virkelige verden kreves minst 5000 epoker, eller 3 til 4 ganger lengden igjen etter platået.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Kjører den trente policyen på armen

Utplassering bruker lerobot-rollout. Kameranøkler må samsvare med de innspilte: en policy trent på front og wrist vil ikke akseptere cam0 og cam1, og rename_map hjelper ikke, siden den trenger et forhåndstrent sjekkpunkt. Oppgavestrengen kan utelates; lerobots eget eksempel markerer den som valgfri for ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

For å feste et sjekkpunkt i stedet for den endelige modellen, legg til --policy.pretrained_revision. Det krever at kjøringen har startet med --save_checkpoint_to_hub=true, av som standard: uten det skyver lerobot den endelige modellen og ingenting annet. Med det blir hvert sjekkpunkt merket med sitt null-utfylte trinn, så --policy.pretrained_revision=060000 gjenoppretter den på 60000 trinn. Å sammenligne den med 100000 på den virkelige armen er det billigste eksperimentet tilgjengelig.

To veier til samme sjekkpunkt

Alt ovenfor er den manuelle ruten, og den fungerer. Plattformruten bytter kontroll mot å slippe å eie en GPU eller et Python-miljø.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Hva som faktisk går galt

Nesten ingen av problemene ligger i treningskommandoen. De ligger i tingene rundt den, sortert etter hvor ofte de oppstår første gang.

To rader fortjener å fremheves. ACT trener på LeRobot v3.0 mens GR00Ts laster krasjer på den og trenger v2.1, så et datasett som trener ACT kan føre til at en GR00T-kjøring feiler. Og den siste raden har to løsninger: ACT-forfatterne svarer på rykkete bevegelse med mer trening, mens med n_action_steps på 100 lander en ekte stopp ved en chunk-grense, en synlig pause hvert 3.3 sekund ved 30 fps. To ting til å vite: et enkelt dødt ledd er vanligvis en servo-ID som aldri ble skrevet, og en griper som nærmer seg, men aldri lukkes betyr for liten griperrekkevidde i demonstrasjonene. Full indeks: sidene for feilmoduser.

Hva en kjøring koster

Dette er argumentet for å starte med ACT selv om du ønsker en VLA senere. Et mislykket ACT-kjøring koster prisen av en kaffe og forteller deg innen timer om datasettet ditt inneholder oppgaven. En mislykket GR00T-kjøring koster fire ganger så mye for den samme lærdommen. Å flytte opp til GR00T N1.7 eller SmolVLA etterpå er en formendring, ikke en gjenoppbygging. Bakgrunn: syn-språk-handling-modeller, den komplette SO-100-guiden, tren din første policy og imitasjonslæring. Ingen arm? Livesiden strømmer en ekte SO-100 å kjøre uten å registrere deg.