Kuidas treenida ACT-i SO-100-l nullist

ACT on SO-100 poliitikate seas erand. GR00T N1.7 ja N1.5 alustavad nvidia/GR00T-N1.7-3B ja nvidia/GR00T-N1.5-3B, Pi0.5 alustab lerobot/pi05_base. ACT alustab nullist: baaskontrollpunkti pole, sest see ei ole alusmudel. See on ligikaudu 80 miljoni parameetriga trafo, mida treenite nullist ühe ülesande jaoks, oma robotkäel, oma valgustuse all.

See on ka põhjus, miks see sooritab juhtimisetapi 20 ms-ga, samas kui 3 miljardi parameetriga VLA vajab 152 kuni 485 ms ja maksab 1 kuni 3 USD jooksu kohta 4 kuni 12 asemel. See juhend kirjeldab käsitsi teekonda koos lerobot SO-100 platvormil: salvestamine, act konfiguratsioon, mida chunk_size ja n_action_steps kontrollivad, 100000 sammu ajakava, väljarullimine. Seejärel sama töö AY-Robots platvormil, sealhulgas kohad, kus platvorm ei aita.

Mis ACT tegelikult on

Action Chunking with Transformers pärineb ALOHA paberist, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, autoritelt Zhao, Kumar, Levine ja Finn, arXiv, 23. aprill 2023. Seade salvestab 50 Hz juures nelja veebikaameraga, mis edastavad 480x640 pilti 30 kaadrit sekundis: kaks haaratsitel, üks üleval, üks ees. Abstrakt väidab kuut oskust 80–90-protsendilise eduga, nende hulgas läbipaistva maitseainetopsi avamine ja aku sisestamine, tuginedes 10-minutilistele demonstratsioonidele.

Põhiosa on salvestussessiooni planeerimisel kasulikum: 50 demonstratsiooni ülesande kohta, välja arvatud Thread Velcro puhul 100, mis tähendab 10 kuni 20 minutit andmeid ja 30 kuni 60 minutit reaalset aega, kui lähtestamised on arvestatud. Edukus ei ole samuti ühtlane: Thread Velcro lõpeb 20 protsendiga, Put On Shoe 92-ga, Cup Open 84-ga, Prep Tape 64-ga.

Tegevuste tükeldamine on kogu idee

Tavaline käitumuslik kloonimine kaardistab ühe vaatluse ühele tegevusele ja vead kuhjuvad: kõrvalekalle viib käe jaotusest välja, tekitades halvema tegevuse, ja kolmekümne sammu pärast ei ole haarats objekti lähedalgi. Tegevuste tükeldamine ennustab k tegevust korraga ja täidab need, vähendades efektiivset horisonti k teguri võrra. See tegeleb ka inimandmetele omase tüütusega: teleoperaatorid peatuvad ja üheastmeline Markovi poliitika ei suuda modelleerida pausi, mis sõltub sellest, mis eelnes.

Artikkel ablatsioonib k-d, mitte ei kinnita seda. Ajalise ansambli väljalülitamisel, nelja seadistuse keskmisena, tõuseb edu 1 protsendilt k = 1 juures 44 protsendini k = 100 juures, seejärel väheneb 200 ja 400 juures, kui poliitika läheneb avatud ahela juhtimisele. See kõver on põhjus, miks vaikimisi väärtus on 100.

• chunk_size: mitu tulevast tegevust dekooder ühe edasisuunamise käigus ennustab. Vaikimisi 100.
• n_action_steps: mitu neist te täidate enne uuesti päringu tegemist. Vaikimisi 100, seega lerobot käivitab kogu tüki avatud ahelas.
• lerobot valideerib n_action_steps <= chunk_size ja tõstab ValueError, kui te selle tagurpidi seate.

Operatiivselt on oluline chunk_size jagatud kaadrisagedusega. Leroboti SO-100 näidetes kasutatava 30 kaadrit sekundis juures tähendab 100-ne tüki suurus umbes 3,3 sekundit ühelt vaatluselt. Kui ülesanne vajab selles aknas korrektsiooni, siis vähendage n_action_steps, mitte chunk_size: nii säilitate pika ennustuse ja vaatlete uuesti sagedamini.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kui ACT edestab alusmudelit

Viis treenitavat poliitikat kõrvuti, koos numbritega, mida AY-Robots mõõdab ja kasutab renditava GPU suuruse määramiseks.

Valige ACT, kui ülesanne ja stseen on fikseeritud ning liikumine peab olema kiire ja täpne. Valige , kui üks kontrollpunkt peab katma mitu juhist. Kaks lehekülge käsitlevad otsustust otse: ja . Avaldatud võrdlusuuringute jaoks lingib iga numbri selle allikaga.

Mida vajate enne alustamist

Üks järgiv käsi, üks juhtiv käsi , vähemalt üks kaamera, 24 GB GPU. ACT loeb ainult pilte ja liigeste asendeid. Kaks kaamerat on optimaalne: fikseeritud esivaade asjade asukoha jaoks, randmekaamera selle jaoks, mida hakkab puudutama, nagu ALOHA puhul.

Paljast käest salvestatud andmestikuni

Alljärgnev voog on lerobot 0.6.x. Jäta see vahele, kui sul on kalibreeritud käsi ja andmestik. Vastasel juhul SO-100 alustamise juhend käsitleb kokkupanekut, salvestamise juhend käsitleb jäädvustamist ja andmestiku dokumendid formaati.

1. 1
   Paigalda lerobot õigete lisadega

   Salvestamiseks on vaja core_scripts, treenimiseks training, Feetech servode jaoks feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Leia iga käe USB-port

   Käivita see mõlema käega ühendatuna, eemaldades ühe, kui seda palutakse. Linuxis võib olla vaja avada sõlme õigused.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Määra mootori ID-d ja edastuskiirus

   SO-100 puhul toimub see enne kokkupanekut: erinevalt SO-101-st on ühendused pärast ehitamist kättesaamatud. Skript käib bussi läbi mootor haaval haaratsist alates, kirjutades ID-d EEPROM-i.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibreeri mõlemad käed

   Määra iga liigend oma ulatuse keskele, vajuta Enter, seejärel liiguta iga liigendit läbi kogu selle ulatuse. Kalibreerimine võimaldab ühel käel treenitud poliitikal töötada teisel. Kasuta sama id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleopereeri üks kord kaameratega

   Leroboti rusikareegel: peaksite suutma ülesannet täita ainult kaamerakujutisi vaadates. Kui te seda ei suuda, ei suuda ka ACT. See tuvastab rohkem halbu andmekogumeid kui hilisem silumine.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Salvesta 50 episoodi

   50 on AY-Robots miinimum ja see, mida ALOHA kasutas ülesande kohta. lerobot soovitab 10 objekti asukoha kohta, kaamerad fikseeritud, haare järjepidev. n lõpetab episoodi, r salvestab uuesti, q peatab ja kodeerib.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Enne treenimist esita uuesti vähemalt viis episoodi. LeRoboti andmekogumi formaat salvestab kaameravoogusid, liigeste olekuid ja tegevusi episoodi kohta, episoodi, ja taasesitus suunab need tegevused tagasi käele. Kui taasesitus ülesannet ei täida, siis andmed seda ei sisalda ja treening seda ei loo.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT-poliitika treenimine

See on kogu käsk. Kõik ACT-spetsiifiline on juba vaikimisi seadistatud, mistõttu lerobot ACT leht soovitab nendega alustada.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act laadib ACTConfig'i, mis kohandub vastavalt sellele, kui palju mootoreid ja kaameraid teie andmestik salvestas, nii et te ei pea kunagi deklareerima vaatluse kuju. --wandb.enable=true on valikuline ja tasub end ära: kaokõver on ainus odav signaal 100000-sammulises käituses. Ajakava pärineb lerobot'i treeningkonfiguratsioonist, mitte ACTConfig'ist: 100000 sammu, partii 8, seeme 1000, kontrollpunkt iga 20000 sammu järel, logimine iga 200 sammu järel.

Täielik käitus jätab viis kontrollpunkti kataloogi, 020000 kuni 100000, pluss last sümlingi. Hoidke neid kõiki: parim poliitika ei ole sageli viimane.

Kestus: umbes 5 tundi 11 GB RTX 2080 Ti peal paberis, paar tundi 100k sammu kohta lerobot'i ACT lehel, 2 kuni 5 tundi AY-Robots 24 GB tasemel. Ärge lõigake seda lühikeseks. Viiterepo README ütleb, et tõmblev või peatuv poliitika vajab tavaliselt lihtsalt rohkem treeningut, sest edu ja sujuvus paranevad pidevalt pärast kaotuse stabiliseerumist: reaalmaailma andmete puhul on vaja vähemalt 5000 epohhi ehk 3 kuni 4 korda pikemat aega pärast stabiliseerumist.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Treenitud poliitika käivitamine robotkäel

Kasutuselevõtt kasutab lerobot-rollout. Kaamera võtmed peavad vastama salvestatud võtmetele: poliitika, mis on treenitud front ja wrist ei aktsepteeri cam0 ja cam1, ja rename_map ei aita, kuna see vajab eelnevalt treenitud kontrollpunkti. Ülesande stringi võib ära jätta; lerobot'i enda näide märgib selle ACT jaoks vahelejäetavaks.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Lõppmodelli asemel kontrollpunkti kinnitamiseks lisage --policy.pretrained_revision. See nõuab, et käivitus oleks alanud --save_checkpoint_to_hub=true, mis on vaikimisi välja lülitatud: ilma selleta lerobot lükkab üles ainult lõppmodelli ja mitte midagi muud. Sellega on iga kontrollpunkt märgistatud oma nullidega täidetud sammuga, nii et --policy.pretrained_revision=060000 taastab 60000 sammu oma. Selle võrdlemine 100000-ga reaalsel robotkäel on kõige odavam saadaolev eksperiment.

Kaks teed sama kontrollpunktini

Kõik eelnev on manuaalne tee ja see töötab. Platvormi tee vahetab kontrolli selle vastu, et ei pea omama GPU-d ega Pythoni keskkonda.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Mis tegelikult valesti läheb

Peaaegu kogu vaev ei ole treeningkäskluses. See on seda ümbritsevates asjades, järjestatuna selle järgi, kui tihti need esimesel korral hammustavad.

Kaks rida väärivad rõhutamist. ACT treenib LeRobot v3.0-l, samas kui GR00T laadur jookseb sellel kokku ja vajab v2.1, seega ACT-d treeniv andmestik võib GR00T käivituse ebaõnnestuda. Ja viimasel real on kaks parandust: ACT autorid vastavad nõkslevale liikumisele rohkema treeninguga, samas kui n_action_steps väärtusega 100 maandub tõeline seiskumine tüki piiril, nähtav paus iga 3.3 sekundi järel 30 kaadrit sekundis. Veel kaks asja, mida teada: üksik surnud liigend on tavaliselt servo ID, mida kunagi ei kirjutatud, ja haarats, mis läheneb, kuid ei sulgu kunagi tähendab liiga väikest haaratsi ulatust demonstratsioonides. Täielik register: vearežiimide lehed.

Mida käivitus maksab

See on argument ACT-ga alustamise kasuks, isegi kui hiljem soovitakse VLA-d. Ebaõnnestunud ACT käivitus maksab kohvi hinna ja annab tundide jooksul teada, kas teie andmestik sisaldab ülesannet. Ebaõnnestunud GR00T käivitus maksab sama õppetunni eest neli korda rohkem. Liikumine edasi GR00T N1.7 või SmolVLA hiljem on vormi muutus, mitte uuesti ehitamine. Taust: nägemis-keele-tegevuse mudelid, täielik SO-100 juhend, treena oma esimene poliitika ja imitatsioonõpe. Käsi puudub? Reaalajas leht edastab reaalajas SO-100, mida saab juhtida ilma registreerimata.