Cum să antrenezi ACT pe SO-100 de la zero

ACT este excepția printre politicile SO-100. GR00T N1.7 și N1.5 pornesc de la nvidia/GR00T-N1.7-3B și nvidia/GR00T-N1.5-3B, Pi0.5 de la lerobot/pi05_base. ACT pornește de la zero: nu există un punct de control de bază, deoarece nu este un model fundamental. Este un transformator cu aproximativ 80 de milioane de parametri pe care îl antrenezi de la zero pentru o singură sarcină, pe brațul tău, în condițiile tale de iluminare.

Acesta este și motivul pentru care execută un pas de control în 20 ms, în timp ce un VLA cu 3 miliarde de parametri necesită 152 până la 485 ms și costă 1 până la 3 USD per rulare în loc de 4 până la 12. Acest ghid prezintă ruta manuală cu lerobot pe un SO-100: înregistrarea, configurația act, ce controlează chunk_size și n_action_steps, programul de 100000 de pași, rularea. Apoi aceeași sarcină pe AY-Robots, inclusiv unde platforma nu ajută.

Ce este de fapt ACT

Action Chunking with Transformers provine din lucrarea ALOHA, Învățarea Manipulării Bimanuale Detaliate cu Hardware cu Cost Redus, de Zhao, Kumar, Levine și Finn, arXiv, 23 aprilie 2023. Instalația înregistrează la 50 Hz cu patru camere web care transmit 480x640 la 30 fps: două pe grippere, una de sus, una din față. Rezumatul susține șase abilități cu o rată de succes de 80 până la 90 la sută, printre care deschiderea unei cupe translucide pentru condimente și introducerea unei baterii, din 10 minute de demonstrații.

Corpul este mai util la planificarea unei sesiuni de înregistrare: 50 de demonstrații per sarcină, cu excepția Thread Velcro la 100, ceea ce înseamnă 10 până la 20 de minute de date și 30 până la 60 de minute de timp real odată ce resetările sunt numărate. Succesul nu este uniform: Thread Velcro se încheie la 20 la sută, Put On Shoe la 92, Cup Open 84, Prep Tape 64.

Fragmentarea acțiunilor este întreaga idee

Clonarea comportamentală obișnuită mapează o observație la o acțiune, iar erorile se acumulează: o deviație scoate brațul din distribuție, producând o acțiune mai proastă, iar treizeci de pași mai târziu, cleștele nu este nicăieri lângă obiect. Fragmentarea acțiunilor prezice k acțiuni simultan și le execută, reducând orizontul efectiv cu un factor de k. De asemenea, gestionează o problemă specifică datelor umane: teleoperatorii fac pauze, iar o politică Markoviană într-un singur pas nu poate modela o pauză care depinde de ceea ce a precedat.

Lucrarea ablatează k, mai degrabă decât să-l afirme. Cu ansamblarea temporală dezactivată, în medie pe patru setări, succesul crește de la 1 la sută la k = 1 la 44 la sută la k = 100, apoi se stabilizează la 200 și 400 pe măsură ce politica se apropie de controlul în buclă deschisă. Această curbă este motivul pentru care valoarea implicită este 100.

• chunk_size: câte acțiuni viitoare prezice decodorul per trecere înainte. Implicit 100.
• n_action_steps: câte dintre ele executați înainte de a interoga din nou. Implicit 100, deci lerobot rulează întregul bloc în buclă deschisă.
• lerobot validează n_action_steps <= chunk_size și generează o eroare ValueError dacă le introduceți invers.

Ceea ce contează operațional este chunk_size împărțit la rata de cadre. La 30 fps, utilizate de exemplele SO-100 ale lerobot, un bloc de 100 de acțiuni angajează aproximativ 3.3 secunde dintr-o singură observație. Dacă sarcina necesită o corecție în interiorul acelei ferestre, reduceți n_action_steps, nu chunk_size: păstrați predicția lungă și re-observați mai des.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Când ACT depășește un model fundamental

Cele cinci politici antrenabile, una lângă alta, cu numerele pe care AY-Robots le măsoară și le folosește pentru a dimensiona GPU-ul pe care îl închiriază.

Alege ACT când sarcina și scena sunt fixe, iar mișcarea trebuie să fie rapidă și precisă. Alege un când un singur punct de control trebuie să acopere mai multe instrucțiuni. Două pagini abordează decizia direct: și . Pentru benchmark-uri publicate, leagă fiecare număr de sursa sa.

Ce ai nevoie înainte de a începe

Un braț urmăritor, un braț conducător pentru , cel puțin o cameră, un GPU de 24 GB. ACT citește doar imagini și poziții ale articulațiilor. Două camere reprezintă soluția optimă: o vedere frontală fixă pentru unde se află lucrurile, o cameră de încheietură pentru ceea ce este pe cale să atingă, ca pe ALOHA.

De la brațul gol la setul de date înregistrat

Fluxul de mai jos este lerobot 0.6.x. Omiteți-l dacă aveți un braț calibrat și un set de date. În caz contrar, ghidul de inițiere SO-100 acoperă asamblarea, ghidul de înregistrare acoperă capturarea și documentația seturilor de date formatul.

1. 1
   Instalați lerobot cu extensiile potrivite

   Înregistrarea necesită core_scripts, antrenamentul training, servomotoarele Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Găsiți portul USB al fiecărui braț

   Rulați-l cu ambele brațe conectate, deconectând unul la cerere. Pe Linux, ar putea fi necesar să deschideți permisiunile nodului.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Setați ID-urile motoarelor și rata de transmisie

   Pe SO-100, acest lucru se întâmplă înainte de asamblare: spre deosebire de SO-101, conectorii sunt inaccesibili odată construit. Scriptul parcurge magistrala câte un motor pe rând, începând de la gripper, scriind ID-urile în EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Calibrați ambele brațe

   Setați fiecare articulație la mijlocul intervalului său, apăsați Enter, apoi parcurgeți fiecare articulație pe întregul său interval. Calibrarea permite unei politici antrenate pe un braț să ruleze pe altul. Reutilizați același id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperați o dată cu camerele pornite

   Regula de bază lerobot: ar trebui să puteți îndeplini sarcina privind doar imaginile camerei. Dacă nu puteți, nici ACT nu poate. Acest lucru detectează mai multe seturi de date proaste decât depanarea ulterioară.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Înregistrați 50 de episoade

   50 este minimul AY-Robots și ceea ce ALOHA a folosit per sarcină. lerobot recomandă 10 per locație de obiect, camere fixe, prindere consistentă. n încheie un episod, r reînregistrează, q oprește și codifică.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Înainte de antrenament, redați cel puțin cinci episoade. stochează fluxuri video, stări ale articulațiilor și acțiuni per , iar redarea împinge acele acțiuni înapoi către braț. Dacă redarea nu îndeplinește sarcina, datele nu o conțin și antrenamentul nu o va inventa.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Antrenarea politicii ACT

Aceasta este întreaga comandă. Tot ce este specific ACT este deja o valoare implicită, motiv pentru care pagina ACT lerobot recomandă să începeți cu ele.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act încarcă ACTConfig, care se adaptează la numărul de motoare și camere înregistrate de setul dvs. de date, astfel încât nu declarați niciodată forma observației. --wandb.enable=true este opțional și merită: curba de pierdere este singurul semnal ieftin într-o rulare de 100000 de pași. Programul provine din configurația de antrenament a lerobot, nu din ACTConfig: 100000 de pași, lot 8, seed 1000, un punct de control la fiecare 20000 de pași, înregistrare la fiecare 200.

O rulare completă lasă cinci directoare de puncte de control, de la 020000 la 100000, plus un ultimul symlink. Păstrați-le pe toate: cea mai bună politică nu este adesea ultima.

Durată: aproximativ 5 ore pe un RTX 2080 Ti de 11 GB în lucrare, câteva ore pentru 100k pași conform paginii ACT a lerobot, 2 până la 5 ore pe nivelul de 24 GB al AY-Robots. Nu o scurtați. Fișierul README al depozitului de referință menționează că o politică sacadată sau care se întrerupe are de obicei nevoie de mai mult antrenament, deoarece succesul și fluiditatea continuă să se îmbunătățească după ce pierderea se stabilizează: pentru date din lumea reală sunt necesare cel puțin 5000 de epoci, sau de 3 până la 4 ori lungimea din nou după platou.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Rularea politicii antrenate pe braț

Implementarea utilizează lerobot-rollout. Cheile camerei trebuie să corespundă celor înregistrate: o politică antrenată pe front și wrist nu va accepta cam0 și cam1, iar rename_map nu ajută, deoarece necesită un punct de salvare pre-antrenat. Șirul de sarcini poate fi omis; propriul exemplu al lerobot îl marchează ca fiind opțional pentru ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Pentru a fixa un checkpoint în loc de modelul final, adăugați --policy.pretrained_revision. Acest lucru necesită ca rularea să fi început cu --save_checkpoint_to_hub=true, dezactivat implicit: fără el, lerobot încarcă modelul final și nimic altceva. Cu el, fiecare checkpoint este etichetat cu pasul său completat cu zerouri, deci --policy.pretrained_revision=060000 recuperează cel de la pasul 60000. Compararea acestuia cu cel de la pasul 100000 pe brațul real este cel mai ieftin experiment disponibil.

Două rute către același checkpoint

Totul de mai sus este ruta manuală și funcționează. Ruta prin platformă sacrifică controlul pentru a nu deține un GPU sau un mediu Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Ce merge de fapt prost

Aproape niciuna dintre dificultăți nu se află în comanda de antrenament. Ele sunt în lucrurile din jurul ei, ordonate după cât de des apar la prima încercare.

Două rânduri merită subliniate. ACT se antrenează pe LeRobot v3.0, în timp ce încărcătorul lui GR00T se blochează pe acesta și necesită v2.1, astfel încât un set de date care antrenează ACT poate eșua o rulare GR00T. Iar ultimul rând are două soluții: autorii ACT răspund mișcării sacadate cu mai mult antrenament, în timp ce cu n_action_steps la 100 o blocare reală apare la limita unui bloc, o pauză vizibilă la fiecare 3.3 secunde la 30 fps. Încă două de știut: o singură articulație moartă este de obicei un , și înseamnă o gamă prea mică a gripper-ului în demonstrații. Index complet: .

Cât costă o rulare

Acesta este argumentul pentru a începe cu ACT chiar dacă doriți un VLA mai târziu. O rulare ACT eșuată costă prețul unei cafele și vă spune în câteva ore dacă setul de date conține sarcina. O rulare GR00T eșuată costă de patru ori mai mult pentru aceeași lecție. Trecerea la GR00T N1.7 sau SmolVLA ulterior este o schimbare de formă, nu o reconstrucție. Context: modele de viziune-limbaj-acțiune, ghidul complet SO-100, antrenați-vă prima politică și învățare prin imitație. Nu aveți un braț? pagina live transmite în flux un SO-100 real pe care îl puteți controla fără a vă înregistra.