Sådan træner du ACT på SO-100 fra bunden

ACT er den afvigende blandt SO-100-politikkerne. GR00T N1.7 og N1.5 starter fra nvidia/GR00T-N1.7-3B og nvidia/GR00T-N1.5-3B, Pi0.5 fra lerobot/pi05_base. ACT starter fra ingenting: der er ingen basis-checkpoint, fordi det ikke er en grundmodel. Det er en transformer med cirka 80 millioner parametre, som du træner fra bunden på én opgave, på din arm, under din belysning.

Det er også derfor, den udfører et kontroltrin på 20 ms, hvor en VLA med 3 milliarder parametre behøver 152 til 485 ms, og koster 1 til 3 USD per kørsel i stedet for 4 til 12. Denne guide gennemgår den manuelle rute med lerobot på en SO-100: optagelse, act konfigurationen, hvad chunk_size og n_action_steps styrer, 100000-trinsplanen, udrulningen. Derefter det samme job på AY-Robots, inklusive hvor platformen ikke hjælper.

Hvad ACT egentlig er

Action Chunking with Transformers kommer fra ALOHA-artiklen, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, af Zhao, Kumar, Levine og Finn, arXiv, 23 April 2023. Riggen optager med 50 Hz med fire webcams, der streamer 480x640 ved 30 fps: to på gribere, en top, en front. Abstraktet hævder seks færdigheder med 80 til 90 procent succes, herunder åbning af en gennemsigtig krydderikop og indsættelse af et batteri, fra 10 minutters demonstrationer.

Brødteksten er mere nyttig, når man planlægger en optagelsessession: 50 demonstrationer pr. opgave, undtagen Thread Velcro med 100, hvilket er 10 til 20 minutters data og 30 til 60 minutters reel tid, når nulstillinger er talt med. Succesen er heller ikke ensartet: Thread Velcro ender på 20 procent, Put On Shoe på 92, Cup Open 84, Prep Tape 64.

Action chunking er hele ideen

Almindelig adfærdskloning mapper én observation til én handling, og fejl akkumuleres: en afvigelse placerer armen uden for distributionen, hvilket producerer en dårligere handling, og tredive trin senere er griberen ingen steder i nærheden af objektet. Handlingsopdeling forudsiger k handlinger på én gang og udfører dem, hvilket reducerer den effektive horisont med en faktor k. Den håndterer også en gene, der er specifik for menneskelige data: teleoperatører holder pause, og en enkelttrins Markov-baseret politik kan ikke modellere en pause, der afhænger af, hvad der kom før.

Artiklen ablaterer k i stedet for at fastslå det. Med temporal ensembling slået fra, gennemsnitligt over fire indstillinger, stiger succesraten fra 1 procent ved k = 1 til 44 procent ved k = 100, og aftager derefter ved 200 og 400, når politikken nærmer sig open-loop kontrol. Denne kurve er grunden til, at standardværdien er 100.

• chunk_size: hvor mange fremtidige handlinger dekoderen forudsiger per forward pass. Standard 100.
• n_action_steps: hvor mange af dem du udfører, før du forespørger igen. Standard 100, så lerobot kører hele chunken i åben sløjfe.
• lerobot validerer n_action_steps <= chunk_size og udløser en ValueError, hvis du vender det om.

Hvad der betyder noget operationelt, er chunk_size divideret med billedhastigheden. Ved de 30 fps, som lerobots SO-100 eksempler bruger, dækker en chunk på 100 handlinger omkring 3,3 sekunder fra én observation. Hvis opgaven kræver en korrektion inden for det vindue, skal du sænke n_action_steps, ikke chunk_size: du beholder den lange forudsigelse og observerer igen oftere.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Når ACT slår en grundmodel

De fem trænbare politikker side om side, med de tal AY-Robots måler og bruger til at dimensionere den GPU, den lejer.

Vælg ACT, når opgave og scene er faste, og bevægelsen skal være hurtig og præcis. Vælg en , når ét checkpoint skal dække flere instruktioner. To sider behandler beslutningen direkte: og . For offentliggjorte benchmarks, linker hvert tal til dets kilde.

Hvad du skal bruge, før du starter

Én følgerarm, én lederarm til , mindst ét kamera, en 24 GB GPU. ACT læser kun billeder og ledpositioner. To kameraer er det optimale: et fast frontalt syn for, hvor tingene er, et håndledskamera for, hvad er ved at røre, som på ALOHA.

Fra bar arm til optaget datasæt

Arbejdsgangen nedenfor er lerobot 0.6.x. Spring den over, hvis du har en kalibreret arm og et datasæt. Ellers dækker SO-100 startguide samling, optagelsesgennemgang dækker optagelse og datasætdokumentation formatet.

1. 1
   Installer lerobot med de rette udvidelser

   Optagelse kræver core_scripts, træning training, Feetech servoer feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Find USB-porten for hver arm

   Kør den med begge arme tilsluttet, og tag den ene ud, når du bliver bedt om det. På Linux skal du muligvis åbne node-tilladelserne.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Indstil motor-ID'er og baudrate

   På SO-100 sker dette før samling: i modsætning til SO-101 er stikkene utilgængelige, når den først er bygget. Scriptet gennemgår bussen én motor ad gangen fra gribearmen og skriver ID'er til EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrer begge arme

   Indstil hvert led til midten af dets bevægelsesområde, tryk Enter, og før derefter hvert led gennem dets fulde bevægelsesområde. Kalibrering gør det muligt for en politik trænet på én arm at køre på en anden. Genbrug det samme id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperer én gang med kameraerne tændt

   Lerobot-tommelfingerreglen: du skal kunne udføre opgaven ved kun at se på kamerabillederne. Hvis du ikke kan, kan ACT heller ikke. Dette fanger flere dårlige datasæt end senere fejlfinding.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Optag 50 episoder

   50 er AY-Robots' minimum og hvad ALOHA brugte pr. opgave. lerobot anbefaler 10 pr. objektplacering, faste kameraer, konsistent greb. n afslutter en episode, r genoptager, q stopper og koder.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Før træning skal du afspille mindst fem episoder. LeRobot datasætformatet, gemmer kamerastrømme, ledtilstande og handlinger pr. episode, og genafspilning skubber disse handlinger tilbage til armen. Hvis genafspilningen ikke udfører opgaven, indeholder dataene den ikke, og træningen vil ikke opfinde den.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Træning af ACT-politikken

Dette er hele kommandoen. Alt ACT-specifikt er allerede en standard, hvilket er grunden til, at lerobot ACT-siden anbefaler at starte med dem.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act indlæser ACTConfig, som tilpasser sig det antal motorer og kameraer, dit datasæt har optaget, så du aldrig behøver at deklarere observationsformen. --wandb.enable=true er valgfri og det værd: tabskurven er det eneste billige signal i et 100000-trins kørsel. Skemaet kommer fra lerobot's træningskonfiguration, ikke ACTConfig: 100000 trin, batch 8, seed 1000, et kontrolpunkt hvert 20000. trin, logning hvert 200. trin.

En fuld kørsel efterlader fem kontrolpunktsmapper, 020000 til 100000, plus et last symlink. Behold dem alle: den bedste politik er ofte ikke den sidste.

Varighed: omkring 5 timer på et 11 GB RTX 2080 Ti i artiklen, et par timer for 100k trin ifølge lerobots ACT-side, 2 til 5 timer på AY-Robots 24 GB-niveau. Afkort det ikke. README'en i reference-repoet angiver, at en hakkende eller pauserende politik typisk blot kræver mere træning, da succes og glathed fortsat forbedres, efter at tabet stabiliseres: for realtidsdata kræver det mindst 5000 epoker, eller 3 til 4 gange længden igen efter stabiliseringen.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Kørsel af den trænede politik på armen

Implementering bruger lerobot-rollout. Kameranøgler skal matche de optagede: en politik trænet på front og wrist vil ikke acceptere cam0 og cam1, og rename_map hjælper ikke, da den kræver et fortrænet checkpoint. Opgavestrengen kan udelades; lerobots eget eksempel markerer den som valgfri for ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

For at fastgøre et checkpoint i stedet for den endelige model, tilføj --policy.pretrained_revision. Det kræver, at kørslen er startet med --save_checkpoint_to_hub=true, deaktiveret som standard: uden den skubber lerobot den endelige model og intet andet. Med den tagges hvert checkpoint med dets nul-polstrede trin, så --policy.pretrained_revision=060000 genopretter den med 60000 trin. At sammenligne den med 100000 på den rigtige arm er det billigste eksperiment, der er tilgængeligt.

To veje til det samme checkpoint

Alt ovenfor er den manuelle vej, og den virker. Platform-vejen bytter kontrol for ikke at skulle eje en GPU eller et Python-miljø.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Hvad der faktisk går galt

Næsten ingen af problemerne ligger i træningskommandoen. De ligger i de ting, der omgiver den, sorteret efter hvor ofte de bider første gang.

To rækker fortjener særlig opmærksomhed. ACT træner på LeRobot v3.0, mens GR00T's loader crasher på det og kræver v2.1, så et datasæt, der træner ACT, kan fejle et GR00T-kørsel. Og den sidste række har to løsninger: ACT-forfatterne svarer på rykvis bevægelse med mere træning, mens med n_action_steps på 100 lander et ægte stop ved en chunk-grænse, en synlig pause hvert 3.3 sekund ved 30 fps. Yderligere to at vide: et enkelt dødt led er normalt et servo-id, der aldrig blev skrevet, og en griber, der nærmer sig, men aldrig lukker betyder for lille griberækkevidde i demonstrationerne. Fuld indeks: siderne for fejltilstande.

Hvad en kørsel koster

Dette er argumentet for at starte med ACT, selv hvis du ønsker en VLA senere. En mislykket ACT-kørsel koster prisen for en kop kaffe og fortæller dig inden for timer, om dit datasæt indeholder opgaven. En mislykket GR00T-kørsel koster fire gange så meget for den samme lektion. At opgradere til GR00T N1.7 eller SmolVLA bagefter er en formændring, ikke en genopbygning. Baggrund: vision-sprog-handlingsmodeller, den komplette SO-100 guide, træn din første politik og imitationslæring. Ingen arm? Livesiden streamer en rigtig SO-100, som du kan styre uden at tilmelde dig.