Kaip apmokyti ACT SO-100 nuo nulio

ACT yra išskirtinis tarp SO-100 politikų. GR00T N1.7 ir N1.5 prasideda nuo nvidia/GR00T-N1.7-3B ir nvidia/GR00T-N1.5-3B, Pi0.5 nuo lerobot/pi05_base. ACT prasideda nuo nulio: nėra bazinio kontrolinio taško, nes tai nėra pagrindinis modelis. Tai yra maždaug 80 milijonų parametrų transformatorius, kurį apmokote nuo nulio vienai užduočiai, ant savo roboto rankos, esant jūsų apšvietimui.

Todėl jis atlieka valdymo žingsnį per 20 ms, kai 3 milijardų parametrų VLA reikia nuo 152 iki 485 ms, ir kainuoja nuo 1 iki 3 USD už paleidimą, o ne nuo 4 iki 12. Šis vadovas aprašo rankinį kelią su lerobot ant SO-100: įrašymas, act konfigūracija, ką chunk_size ir n_action_steps valdo, 100000 žingsnių tvarkaraštis, išleidimas. Tada tas pats darbas su AY-Robots, įskaitant atvejus, kai platforma nepadeda.

Kas iš tikrųjų yra ACT

Veiksmų skaidymas su transformatoriais (Action Chunking with Transformers) yra iš ALOHA straipsnio, Smulkių dvirankių manipuliacijų mokymasis su pigia aparatine įranga, autoriai Zhao, Kumar, Levine ir Finn, arXiv, 2023 m. balandžio 23 d. Įrenginys įrašo 50 Hz dažniu su keturiomis internetinėmis kameromis, transliuojančiomis 480x640 raiškos vaizdą 30 kadrų per sekundę greičiu: dvi ant griebtuvų, viena viršuje, viena priekyje. Santraukoje teigiama, kad pasiekiami šeši įgūdžiai su 80–90 procentų sėkme, tarp jų permatomo prieskonių puodelio atidarymas ir baterijos įdėjimas, remiantis 10 minučių demonstracijomis.

Pagrindinė dalis yra naudingesnė planuojant įrašymo sesiją: 50 demonstracijų kiekvienai užduočiai, išskyrus Thread Velcro su 100, kas sudaro 10–20 minučių duomenų ir 30–60 minučių realaus laiko, kai įskaičiuojami atstatymai. Sėkmė taip pat nėra vienoda: Thread Velcro baigiasi 20 procentų, Put On Shoe – 92, Cup Open – 84, Prep Tape – 64.

Veiksmų suskaidymas yra visa idėja

Įprastas elgesio klonavimas susieja vieną stebėjimą su vienu veiksmu, o klaidos kaupiasi: nukrypimas nukreipia ranką nuo pasiskirstymo, sukeldamas blogesnį veiksmą, ir po trisdešimties žingsnių griebtuvas yra toli nuo objekto. Veiksmų suskaidymas vienu metu prognozuoja k veiksmų ir juos vykdo, sumažindamas efektyvųjį horizontą k kartų. Tai taip pat sprendžia problemą, būdingą žmogaus duomenims: teleoperatoriai daro pauzes, o vieno žingsnio Markovo politika negali modeliuoti pauzės, kuri priklauso nuo to, kas buvo anksčiau.

Straipsnis tiria k, o ne jį tvirtina. Išjungus laikinąjį ansambliavimą, vidutiniškai keturiose aplinkose, sėkmė pakyla nuo 1 procento, kai k = 1, iki 44 procentų, kai k = 100, tada stabilizuojasi ties 200 ir 400, kai politika artėja prie atvirojo ciklo valdymo. Ši kreivė yra priežastis, kodėl numatytoji reikšmė yra 100.

• chunk_size: kiek būsimų veiksmų dekoderis prognozuoja per vieną praleidimą į priekį. Numatytasis 100.
• n_action_steps: kiek iš jų įvykdote prieš pakartotinai užklausiant. Numatytasis 100, todėl lerobot vykdo visą gabalą atviru ciklu.
• lerobot patvirtina n_action_steps <= chunk_size ir iškelia ValueError, jei nustatote atvirkščiai.

Operaciniu požiūriu svarbu gabalo dydis (chunk_size) padalintas iš kadrų dažnio. Esant 30 kadrų per sekundę, kuriuos naudoja lerobot SO-100 pavyzdžiai, 100 veiksmų gabalas (chunk) apima maždaug 3,3 sekundės nuo vieno stebėjimo. Jei užduočiai reikia korekcijos tame lange, sumažinkite n_action_steps, o ne chunk_size: išlaikote ilgą prognozę ir stebite dažniau.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kai ACT pranoksta pagrindinį modelį

Penkios apmokomos politikos viena šalia kitos, su skaičiais, kuriuos AY-Robots matuoja ir naudoja, kad nustatytų nuomojamo GPU dydį.

Pasirinkite ACT, kai užduotis ir scena yra fiksuotos, o judesys turi būti greitas ir tikslus. Pasirinkite , kai vienas kontrolinis taškas turi apimti kelias instrukcijas. Du puslapiai padeda priimti sprendimą tiesiogiai: ir . Dėl paskelbtų etalonų, susieja kiekvieną skaičių su jo šaltiniu.

Ko jums reikia prieš pradedant

Viena sekimo ranka, viena vadovavimo ranka , bent viena kamera, 24 GB GPU. ACT nuskaito tik vaizdus ir jungčių pozicijas. Dvi kameros yra optimalus variantas: fiksuotas priekinis vaizdas, skirtas daiktų vietai, riešo kamera, skirta tam, ką ketina paliesti, kaip ir ALOHA atveju.

Nuo plikos rankos iki įrašyto duomenų rinkinio

Toliau aprašytas srautas yra lerobot 0.6.x. Praleiskite jį, jei turite sukalibruotą ranką ir duomenų rinkinį. Priešingu atveju SO-100 pradžios vadovas apima surinkimą, įrašymo apžvalga apima fiksavimą, o duomenų rinkinio dokumentacija formatą.

1. 1
   Įdiekite lerobot su reikiamais priedais

   Įrašymui reikalingi core_scripts, apmokymui training, Feetech servovarikliams feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Raskite kiekvienos rankos USB prievadą

   Paleiskite jį prijungus abi rankas, atjungdami vieną, kai bus paprašyta. „Linux“ sistemoje gali tekti atidaryti mazgo leidimus.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Nustatykite variklių ID ir perdavimo spartą

   SO-100 atveju tai atliekama prieš surinkimą: skirtingai nei SO-101, jungtys tampa nepasiekiamos surinkus. Scenarijus eina per magistralę po vieną variklį nuo griebtuvo, rašydamas ID į EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibruokite abi rankas

   Nustatykite kiekvieną jungtį į diapazono vidurį, paspauskite Enter, tada perbraukite kiekvieną per visą diapazoną. Kalibravimas leidžia vienai rankai apmokytą politiką paleisti ant kitos. Pakartotinai naudokite tą patį id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Vieną kartą teleoperuokite su įjungtomis kameromis

   Lerobot nykščio taisyklė: turėtumėte gebėti atlikti užduotį žiūrėdami tik į kameros vaizdus. Jei negalite, ACT taip pat negali. Tai aptinka daugiau blogų duomenų rinkinių nei vėlesnis derinimas.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Įrašykite 50 epizodų

   50 yra AY-Robots minimumas ir tai, ką ALOHA naudojo kiekvienai užduočiai. lerobot pataria 10 vienai objekto vietai, kameros fiksuotos, griebimas nuoseklus. n baigia epizodą, r perrašo, q sustabdo ir užkoduoja.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Prieš apmokymą, pakartokite bent penkis epizodus. LeRobot duomenų rinkinio formatas saugo kameros srautus, jungčių būsenas ir veiksmus kiekvienam epizodui, o pakartotinis paleidimas grąžina tuos veiksmus rankai. Jei pakartotinis paleidimas neatlieka užduoties, duomenys jos neturi ir apmokymas jos nesukurs.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT politikos apmokymas

Tai yra visa komanda. Viskas, kas susiję su ACT, jau yra numatytasis nustatymas, todėl lerobot ACT puslapyje rekomenduojama pradėti nuo jų.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act įkelia ACTConfig, kuris prisitaiko prie to, kiek variklių ir kamerų įrašė jūsų duomenų rinkinys, todėl niekada nereikia deklaruoti stebėjimo formos. --wandb.enable=true yra neprivalomas ir vertas dėmesio: nuostolių kreivė yra vienintelis pigus signalas 100000 žingsnių vykdyme. Tvarkaraštis gaunamas iš lerobot mokymo konfigūracijos, o ne iš ACTConfig: 100000 žingsnių, paketas 8, sėkla 1000, kontrolinis taškas kas 20000 žingsnių, registravimas kas 200.

Visas vykdymas palieka penkis kontrolinių taškų katalogus, nuo 020000 iki 100000, plius paskutinę simbolinę nuorodą. Išsaugokite juos visus: geriausia politika dažnai būna ne paskutinė.

Trukmė: apie 5 valandas su 11 GB RTX 2080 Ti (pagal straipsnį), kelios valandos 100 tūkst. žingsnių (pagal lerobot ACT puslapį), 2–5 valandos su AY-Robots 24 GB pakopa. Nenutraukite per anksti. Nuorodos saugyklos README teigia, kad trūkčiojanti ar sustojanti politika paprastai tiesiog reikalauja daugiau mokymo, nes sėkmė ir sklandumas toliau gerėja po to, kai nuostoliai stabilizuojasi: realaus pasaulio duomenims reikia bent 5000 epochų, arba 3–4 kartus ilgesnio laiko po stabilizavimosi.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Išmokytos politikos vykdymas ant roboto rankos

Diegimui naudojama lerobot-rollout. Kameros raktai turi atitikti įrašytus: politika, apmokyta su front ir wrist nepriims cam0 ir cam1, o rename_map nepadeda, nes jai reikia iš anksto apmokyto kontrolinio taško. Užduoties eilutę galima praleisti; lerobot pavyzdyje ji pažymėta kaip praleidžiama ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Norėdami prisegti kontrolinį tašką, o ne galutinį modelį, pridėkite --policy.pretrained_revision. Tam reikia, kad paleidimas būtų pradėtas su --save_checkpoint_to_hub=true, pagal numatytuosius nustatymus išjungta: be jo lerobot įkelia tik galutinį modelį ir nieko daugiau. Su juo kiekvienas kontrolinis taškas yra pažymėtas nuliais užpildytu žingsniu, todėl --policy.pretrained_revision=060000 atkuria 60000 žingsnio. Palyginimas su 100000 ant tikrosios rankos yra pigiausias galimas eksperimentas.

Du keliai į tą patį kontrolinį tašką

Viskas aukščiau yra rankinis kelias ir jis veikia. Platformos kelias maino valdymą į tai, kad nereikia turėti GPU ar Python aplinkos.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Kas iš tikrųjų nutinka ne taip

Beveik jokių problemų nekyla su treniravimo komanda. Jos kyla dėl aplinkinių dalykų, išdėstytų pagal tai, kaip dažnai jos pasitaiko pirmą kartą.

Dvi eilutės nusipelno dėmesio. ACT treniruojasi su LeRobot v3.0, o GR00T įkroviklis su juo sugenda ir reikalauja v2.1, todėl duomenų rinkinys, kuris treniruoja ACT, gali sukelti GR00T vykdymo klaidą. Ir paskutinė eilutė turi du pataisymus: ACT autoriai į trūkčiojantį judesį atsako papildomu treniravimu, o su n_action_steps ties 100 tikras sustojimas atsiranda bloko riboje, matoma pauzė kas 3.3 sekundės esant 30 kadrų per sekundę. Dar du dalykai, kuriuos reikia žinoti: vienas neveikiantis sujungimas paprastai yra servo ID, kuris niekada nebuvo įrašytas, ir griebtuvas, kuris artėja, bet niekada neužsidaro reiškia per mažą griebtuvo diapazoną demonstracijose. Visas indeksas: gedimo režimų puslapiai.

Kiek kainuoja vykdymas

Tai yra argumentas, kodėl verta pradėti nuo ACT, net jei vėliau norėsite VLA. Nepavykęs ACT vykdymas kainuoja kavos puodelio kainą ir per kelias valandas parodo, ar jūsų duomenų rinkinyje yra užduotis. Nepavykęs GR00T vykdymas kainuoja keturis kartus daugiau už tą pačią pamoką. Pereiti prie GR00T N1.7 arba SmolVLA vėliau yra formos pakeitimas, o ne atstatymas. Fonas: vizijos-kalbos-veiksmų modeliai, išsamus SO-100 vadovas, apmokykite savo pirmąją politiką ir imitacinis mokymasis. Neturite roboto rankos? Tiesioginė transliacija transliuoja tikrą SO-100, kurį galite valdyti be registracijos.