Hoe om ACT op die SO-100 van nuuts af op te lei

ACT is die uitsondering onder die SO-100 beleide. GR00T N1.7 en N1.5 begin van nvidia/GR00T-N1.7-3B en nvidia/GR00T-N1.5-3B, Pi0.5 van lerobot/pi05_base. ACT begin van niks: daar is geen basis kontrolepunt nie, want dit is nie 'n grondslagmodel nie. Dit is 'n ongeveer 80 miljoen parameter transformator wat jy van nuuts af oplei vir een taak, op jou arm, onder jou beligting.

Dit is ook hoekom dit 'n beheerstap in 20 ms uitvoer waar 'n 3 miljard parameter VLA 152 tot 485 ms benodig, en 1 tot 3 USD per loop kos in plaas van 4 tot 12. Hierdie gids volg die handmatige roete met lerobot op 'n SO-100: opname, die act konfigurasie, wat chunk_size en n_action_steps beheer, die 100000 stap skedule, die uitrol. Dan dieselfde taak op AY-Robots, insluitend waar die platform nie help nie.

Wat ACT werklik is

Action Chunking with Transformers kom van die ALOHA-artikel, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, deur Zhao, Kumar, Levine en Finn, arXiv, 23 April 2023. Die opstelling neem op teen 50 Hz met vier webkameras wat 480x640 teen 30 fps stroom: twee op die grypers, een bo, een voor. Die opsomming beweer ses vaardighede met 80 tot 90 persent sukses, waaronder die oopmaak van 'n deurskynende kondimentbeker en die inskuif van 'n battery, uit 10 minute se demonstrasies.

Die hoofteks is nuttiger wanneer 'n opnamesessie beplan word: 50 demonstrasies per taak, behalwe Thread Velcro teen 100, wat 10 tot 20 minute se data en 30 tot 60 minute se werklike tyd is sodra terugslae getel is. Sukses is ook nie eenvormig nie: Thread Velcro eindig op 20 persent, Put On Shoe op 92, Cup Open 84, Prep Tape 64.

Aksie-chunking is die hele idee

Gewone gedragskloning karteer een waarneming na een aksie, en foute vermeerder: 'n afwyking plaas die arm buite-verspreiding, wat 'n swakker aksie produseer, en dertig stappe later is die gryper nêrens naby die voorwerp nie. Aksie-chunking voorspel k aksies gelyktydig en voer dit uit, wat die effektiewe horison met 'n faktor van k verminder. Dit hanteer ook 'n oorlas spesifiek vir menslike data: teleoperateurs onderbreek, en 'n enkelstap Markoviaanse beleid kan nie 'n pouse modelleer wat afhang van wat voorheen gebeur het nie.

Die referaat ablateer k eerder as om dit te beweer. Met tydelike ensemblering afgeskakel, gemiddeld oor vier instellings, styg sukses van 1 persent by k = 1 tot 44 persent by k = 100, en neem dan af by 200 en 400 namate die beleid naby oop-lus beheer kom. Daardie kurwe is hoekom die verstek 100 is.

• chunk_size: hoeveel toekomstige aksies die dekodeerder per vorentoe-pas voorspel. Verstek 100.
• n_action_steps: hoeveel daarvan jy uitvoer voordat jy weer navraag doen. Verstek 100, so lerobot voer die hele brokkie ooplus uit.
• lerobot valideer n_action_steps <= chunk_size en lig 'n ValueError as jy dit agteruit kry.

Wat operasioneel saak maak, is chunk_size gedeel deur raamtempo. Teen die 30 fps wat lerobot se SO-100 voorbeelde gebruik, verbind 'n brokkie van 100 ongeveer 3.3 sekondes vanaf een waarneming. As die taak 'n regstelling binne daardie venster benodig, verlaag n_action_steps, nie chunk_size: jy behou die lang voorspelling en her-waarneem meer gereeld.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Wanneer ACT 'n grondslagmodel oortref

Die vyf opleibare beleide langs mekaar, met die syfers wat AY-Robots meet en gebruik om die GPU wat dit huur, te grootte.

Kies ACT wanneer taak en toneel vas is en beweging vinnig en presies moet wees. Kies 'n wanneer een kontrolepunt verskeie instruksies moet dek. Twee bladsye werk die besluit kop aan kop: en . Vir gepubliseerde maatstawwe, koppel elke nommer aan sy bron.

Wat jy nodig het voordat jy begin

Een volgerarm, een leierarm vir , ten minste een kamera, 'n 24 GB GPU. ACT lees slegs beelde en gewrigsposisies. Twee kameras is die ideale plek: 'n vaste vooraansig vir waar dinge is, 'n polskamera vir wat die op die punt staan om aan te raak, soos op ALOHA.

Van kaal arm tot opgeneemde datastel

Die onderstaande vloei is lerobot 0.6.x. Slaan dit oor as jy 'n gekalibreerde arm en 'n datastel het. Andersins dek die SO-100 aan die gang gids, die samestelling, die opname-deurloop dek die vaslegging en die datastel dokumentasie die formaat.

1. 1
   Installeer lerobot met die regte ekstras

   Opname benodig core_scripts, opleiding training, Feetech-servo's feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Vind die USB-poort van elke arm

   Loop dit met albei arms ingeprop, ontkoppel een wanneer gevra word. Op Linux moet jy dalk die nodus-toestemmings oopmaak.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Stel die motor-ID's en baudrate

   Op die SO-100 gebeur dit voor montering: anders as die SO-101 is die verbindings onbereikbaar sodra dit gebou is. Die skrip loop die bus een motor op 'n slag vanaf die gryper, en skryf ID's na EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibreer albei arms

   Stel elke gewrig in die middel van sy bereik, druk Enter, en vee dan elkeen deur sy volle bereik. Kalibrasie laat 'n beleid wat op een arm opgelei is, op 'n ander loop. Hergebruik dieselfde id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleopereer een keer met die kameras aan

   Die lerobot-duimreël: jy moet die taak kan doen deur slegs na die kamera-beelde te kyk. As jy nie kan nie, kan ACT ook nie. Dit vang meer slegte datastelle as latere ontfouting.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Neem 50 episodes op

   50 is die AY-Robots minimum en wat ALOHA per taak gebruik het. lerobot beveel 10 per objekligging aan, kameras vas, greep konsekwent. n beëindig 'n episode, r heropneem, q stop en enkodeer.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Voor opleiding, speel ten minste vyf episodes af. stoor kamerastrome, gewrigstoestande en aksies per , en afspeel stoot daardie aksies terug na die arm. As die afspeel nie die taak doen nie, bevat die data dit nie en opleiding sal dit nie uitvind nie.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Oplei van die ACT-beleid

Dit is die hele opdrag. Alles wat ACT-spesifiek is, is reeds 'n verstek, daarom sê die lerobot ACT-bladsy om daarmee te begin.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act laai ACTConfig, wat aanpas by hoeveel motors en kameras jou datastel opgeneem het, sodat jy nooit die waarnemingsvorm hoef te verklaar nie. --wandb.enable=true is opsioneel en die moeite werd: die verlieskurwe is die enigste goedkoop sein in 'n 100000-stap-lopie. Die skedule kom van lerobot se opleidingskonfigurasie, nie ACTConfig nie: 100000 stappe, bondel 8, saad 1000, 'n kontrolepunt elke 20000 stappe, en aantekening elke 200.

’n Volledige lopie laat vyf kontrolepuntgidse, 020000 tot 100000, plus 'n laaste simskakel. Hou hulle almal: die beste beleid is dikwels nie die laaste een nie.

Duur: ongeveer 5 uur op 'n 11 GB RTX 2080 Ti in die referaat, 'n paar uur vir 100k stappe per lerobot se ACT-bladsy, 2 tot 5 uur op die AY-Robots 24 GB-vlak. Moenie dit kortknip nie. Die verwysingsrepo se README sê 'n rukkerige of pouseerbeleid benodig gewoonlik net meer opleiding, want sukses en gladheid bly verbeter nadat die verlies plato bereik: vir werklike data benodig dit ten minste 5000 epogte, of 3 tot 4 keer die lengte weer na die plato.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Loop die opgeleide beleid op die arm

Ontplooiing gebruik lerobot-rollout. Kamerasleutels moet ooreenstem met die opgeneemde sleutels: 'n beleid wat opgelei is op front en wrist sal nie cam0 en cam1, en rename_map help nie, aangesien dit 'n vooraf-opgeleide kontrolepunt benodig. Die taakstring kan weggelaat word; lerobot se eie voorbeeld merk dit as oorslaanbaar vir ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Om 'n kontrolepunt eerder as die finale model vas te pen, voeg by --policy.pretrained_revision. Dit vereis dat die uitvoering begin het met --save_checkpoint_to_hub=true, by verstek afgeskakel: sonder dit stoot lerobot die finale model en niks anders nie. Daarmee word elke kontrolepunt gemerk met sy nul-gevulde stap, so --policy.pretrained_revision=060000 herstel die 60000-stap een. Om dit teen 100000 op die regte arm te vergelyk, is die goedkoopste eksperiment beskikbaar.

Twee roetes na dieselfde kontrolepunt

Alles hierbo is die handmatige roete en dit werk. Die platformroete ruil beheer in vir die voordeel om nie 'n GPU of 'n Python-omgewing te besit nie.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Wat werklik verkeerd loop

Byna niks van die moeite lê in die opleidingsopdrag nie. Dit lê in die dinge rondom dit, gerangskik volgens hoe gereeld dit die eerste keer probleme veroorsaak.

Twee rye verdien klem. ACT lei op LeRobot v3.0 terwyl GR00T se laaier daarop ineenstort en v2.1 benodig, so 'n datastel wat ACT oplei, kan 'n GR00T-lopie laat misluk. En die laaste ry het twee oplossings: die ACT-outeurs beantwoord rukkerige beweging met meer opleiding, terwyl met n_action_steps by 100 'n ware stilstand by 'n brokkie-grens beland, 'n sigbare pouse elke 3.3 sekondes teen 30 fps. Nog twee om te weet: 'n enkele dooie gewrig is gewoonlik 'n servo-ID wat nooit geskryf is nie, en 'n gryper wat naderkom maar nooit sluit nie beteken te min gryperbereik in die demonstrasies. Volledige indeks: die foutmodusbladsye.

Wat 'n lopie kos

Dit is die argument om met ACT te begin, selfs al wil jy later 'n VLA hê. 'n Mislukte ACT-loop kos die prys van 'n koffie en vertel jou binne ure of jou datastel die taak bevat. 'n Mislukte GR00T-loop kos vier keer soveel vir dieselfde les. Om daarna op te skuif na GR00T N1.7 of SmolVLA daarna is 'n vormverandering, nie 'n herbou nie. Agtergrond: visie-taal-aksie modelle, die volledige SO-100 gids, lei jou eerste beleid op en nabootsingsleer. Geen arm? Die regstreekse bladsy stroom 'n regte SO-100 om te bestuur sonder om aan te meld.