Miten kouluttaa ACT SO-100:lla alusta alkaen

ACT on poikkeus SO-100-käytäntöjen joukossa. GR00T N1.7 ja N1.5 alkavat nvidia/GR00T-N1.7-3B ja nvidia/GR00T-N1.5-3B, Pi0.5 lerobot/pi05_base. ACT aloittaa tyhjästä: perusmuistipistettä ei ole, koska se ei ole perusmalli. Se on noin 80 miljoonan parametrin muuntaja, jonka koulutat alusta alkaen yhteen tehtävään, omalla robotillasi, omassa valaistuksessasi.

Siksi se suorittaa ohjausaskeleen 20 ms:ssa, kun 3 miljardin parametrin VLA tarvitsee 152–485 ms, ja maksaa 1–3 USD per ajo 4–12 USD:n sijaan. Tämä opas käy läpi manuaalisen reitin lerobot SO-100: tallennus, act -konfiguraatio, mitä chunk_size ja n_action_steps ohjaavat, 100000 askeleen aikataulu, käyttöönotto. Sitten sama työ AY-Robotsilla, mukaan lukien kohdat, joissa alusta ei auta.

Mitä ACT todella on

Action Chunking with Transformers tulee ALOHA-paperista, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, kirjoittaneet Zhao, Kumar, Levine ja Finn, arXiv, 23. huhtikuuta 2023. Laite tallentaa 50 Hz:n taajuudella neljällä verkkokameralla, jotka suoratoistavat 480x640-resoluutiota 30 kuvaa sekunnissa: kaksi tarttujissa, yksi ylhäällä, yksi edessä. Tiivistelmä väittää kuusi taitoa 80–90 prosentin onnistumisella, mukaan lukien läpikuultavan maustekupin avaaminen ja akun asettaminen paikalleen, 10 minuutin demonstraatioista.

Teksti on hyödyllisempi tallennussession suunnittelussa: 50 demonstraatiota per tehtävä, paitsi Thread Velcro -tehtävässä 100, mikä tarkoittaa 10–20 minuuttia dataa ja 30–60 minuuttia todellista aikaa, kun nollaukset on laskettu. Onnistuminen ei myöskään ole tasaista: Thread Velcro päättyy 20 prosenttiin, Put On Shoe 92:een, Cup Open 84:ään, Prep Tape 64:ään.

Toimintojen paloittelu on koko ajatus

Tavallinen käyttäytymisen kloonaus yhdistää yhden havainnon yhteen toimintoon, ja virheet kasaantuvat: poikkeama siirtää käsivarren pois jakaumasta, tuottaen huonomman toiminnon, ja kolmenkymmenen askeleen jälkeen tarttuja ei ole lähelläkään kohdetta. Toimintojen paloittelu ennustaa k toimintoa kerralla ja suorittaa ne, pudottaen tehollisen horisontin k-kertaisesti. Se käsittelee myös ihmisdataan liittyvän haitan: teleoperaattorit pitävät taukoja, ja yksivaiheinen Markovilainen politiikka ei voi mallintaa taukoa, joka riippuu siitä, mitä edeltänyt.

Artikkeli ablaatioi k:ta sen sijaan, että väittäisi sitä. Kun ajallinen yhdistäminen on pois päältä, neljän asetuksen keskiarvona, menestys nousee 1 prosentista k = 1:llä 44 prosenttiin k = 100:lla, sitten tasaantuu 200:ssa ja 400:ssa, kun politiikka lähestyy avoimen silmukan ohjausta. Tämä käyrä on syy siihen, miksi oletusarvo on 100.

• chunk_size: kuinka monta tulevaa toimintoa dekooderi ennustaa yhdellä eteenpäinsyötöllä. Oletusarvo 100.
• n_action_steps: kuinka monta niistä suoritat ennen uudelleenkyselyä. Oletusarvo 100, joten lerobot suorittaa koko palan avoimessa silmukassa.
• lerobot validoi n_action_steps <= chunk_size ja antaa ValueError-virheen, jos syötät sen väärin päin.

Toiminnallisesti tärkeää on chunk_size jaettuna kuvataajuudella. lerobotin SO-100-esimerkkien käyttämällä 30 kuvaa sekunnissa kuvataajuudella 100 toiminnon pala sitoo noin 3,3 sekuntia yhdestä havainnosta. Jos tehtävä vaatii korjauksen tuon ikkunan sisällä, pienennä n_action_steps, älä chunk_size: säilytät pitkän ennusteen ja havainnoit uudelleen useammin.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kun ACT voittaa perusmallin

Viisi koulutettavaa toimintamallia rinnakkain, AY-Robotsin mittaamilla ja käyttämillä luvuilla vuokraamansa GPU:n mitoittamiseen.

Valitse ACT, kun tehtävä ja kohtaus ovat kiinteitä ja liikkeen on oltava nopeaa ja tarkkaa. Valitse , kun yksi tarkistuspisteen on katettava useita ohjeita. Kaksi sivua käsittelee päätöstä rinnakkain: ja . Julkaistujen vertailuarvojen osalta linkittää jokaisen luvun lähteeseensä.

Mitä tarvitset ennen aloittamista

Yksi seuraajakäsivarsi, yksi johtajakäsivarsi , vähintään yksi kamera, 24 GB GPU. ACT lukee vain kuvia ja nivelten asentoja. Kaksi kameraa on ihanteellinen: kiinteä etunäkymä asioiden sijainnille, rannetason kamera sille, mitä on juuri koskettamassa, kuten ALOHA:ssa.

Paljaasta varresta tallennettuun datajoukkoon

Alla oleva työnkulku on lerobot 0.6.x. Ohita tämä, jos sinulla on kalibroitu varsi ja datajoukko. Muussa tapauksessa SO-100 aloitusopas käsittelee kokoonpanoa, tallennuksen läpikäynti käsittelee tallennusta ja datajoukon dokumentaatio muotoa.

1. 1
   Asenna lerobot oikeilla lisäosilla

   Tallennus vaatii core_scripts, koulutus training, Feetech-servot feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Etsi kunkin käden USB-portti

   Suorita se molemmat kädet kytkettyinä, irrota toinen pyydettäessä. Linuxissa saatat joutua avaamaan solmun käyttöoikeudet.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Aseta moottorin tunnukset ja siirtonopeus

   SO-100:ssa tämä tapahtuu ennen kokoamista: toisin kuin SO-101:ssä, liittimiin ei pääse käsiksi, kun robotti on rakennettu. Skripti käy läpi väylän moottori kerrallaan tarttujasta alkaen ja kirjoittaa tunnukset EEPROM-muistiin.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibroi molemmat kädet

   Aseta jokainen nivel alueensa keskelle, paina Enter ja pyyhkäise sitten jokainen läpi koko alueensa. Kalibrointi antaa yhdellä kädellä koulutetun toimintamallin toimia toisella. Käytä samaa id:tä uudelleen.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperointi kerran kamerat päällä

   Lerobotin nyrkkisääntö: sinun pitäisi pystyä suorittamaan tehtävä katsomalla vain kamerakuvia. Jos et pysty, ei myöskään ACT pysty. Tämä havaitsee enemmän huonoja tietokokonaisuuksia kuin myöhempi virheenkorjaus.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Tallenna 50 jaksoa

   50 on AY-Robotsin minimi ja se, mitä ALOHA käytti tehtävää kohden. lerobot suosittelee 10 per objektin sijainti, kamerat kiinteinä, tarttuminen johdonmukaista. n lopettaa jakson, r tallentaa uudelleen, q pysäyttää ja koodaa.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Ennen koulutusta toista vähintään viisi jaksoa. tallentaa kameravirrat, nivelten tilat ja toiminnot per , ja toisto palauttaa nämä toiminnot takaisin käteen. Jos toisto ei suorita tehtävää, data ei sisällä sitä, eikä koulutus keksi sitä.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT-politiikan koulutus

Tämä on koko komento. Kaikki ACT-spesifinen on jo oletuksena, minkä vuoksi lerobot ACT -sivu kehottaa aloittamaan niillä.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act lataa ACTConfigin, joka mukautuu siihen, kuinka monta moottoria ja kameraa tietokokonaisuutesi tallensi, joten et koskaan määrittele havainnon muotoa. --wandb.enable=true on valinnainen ja kannattava: häviökäyrä on ainoa edullinen signaali 100000 askeleen ajossa. Aikataulu tulee lerobotin koulutuskokoonpanosta, ei ACTConfigista: 100000 askelta, erä 8, siemen 1000, tarkistuspiste joka 20000 askeleen välein, lokitus joka 200. askeleen välein.

Täysi ajo jättää viisi tarkistuspistekansiota, 020000:sta 100000:een, sekä viimeinen symbolisen linkin. Säilytä ne kaikki: paras käytäntö ei usein ole viimeinen.

Kesto: noin 5 tuntia 11 GB RTX 2080 Ti:llä artikkelissa, muutama tunti 100k askeleelle lerobotin ACT-sivun mukaan, 2–5 tuntia AY-Robotsin 24 GB tasolla. Älä keskeytä sitä liian aikaisin. Viitevaraston README sanoo, että nykivä tai pysähtelevä toimintamalli tarvitsee yleensä vain lisää , koska menestys ja sujuvuus paranevat edelleen häviön tasaantumisen jälkeen: todellisen maailman datalle se vaatii vähintään 5000 epookkia, tai 3–4 kertaa pitemmän ajan tasaantumisen jälkeen.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Koulutetun toimintamallin ajaminen varressa

Käyttöönotto käyttää lerobot-rollout-komentoa. Kameran avainten on vastattava tallennettuja: toimintamalli, joka on koulutettu front- ja wrist-kameroille, ei hyväksy cam0- ja cam1-kameroita, eikä rename_map auta, koska se tarvitsee esikoulutetun tarkistuspisteen. Tehtävämerkkijonon voi jättää pois; lerobotin oma esimerkki merkitsee sen ohitettavaksi ACT:lle.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Kiinnittääksesi tarkistuspisteen lopullisen mallin sijaan, lisää --policy.pretrained_revision. Tämä edellyttää, että ajo on aloitettu komennolla --save_checkpoint_to_hub=true, oletuksena pois päältä: ilman sitä lerobot työntää vain lopullisen mallin eikä mitään muuta. Sen kanssa jokainen tarkistuspiste merkitään nollatäytteisellä askeleellaan, joten --policy.pretrained_revision=060000 palauttaa 60000 askeleen version. Sen vertaaminen 100000 askeleen versioon todellisessa varressa on halvin saatavilla oleva koe.

Kaksi reittiä samaan tarkistuspisteeseen

Kaikki yllä oleva on manuaalinen reitti ja se toimii. Alustareitti vaihtaa hallinnan siihen, ettei tarvitse omistaa GPU:ta tai Python-ympäristöä.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Mikä oikeasti menee pieleen

Lähes mikään vaikeus ei ole koulutuskäskyssä. Se on sitä ympäröivissä asioissa, järjestettynä sen mukaan, kuinka usein ne aiheuttavat ongelmia ensimmäisellä kerralla.

Kaksi riviä ansaitsee korostuksen. ACT kouluttaa LeRobot v3.0:lla, kun taas GR00T:n lataaja kaatuu siihen ja tarvitsee v2.1:n, joten ACT:tä kouluttava aineisto voi epäonnistua GR00T-ajossa. Ja viimeisellä rivillä on kaksi korjausta: ACT:n tekijät vastaavat nykivään liikkeeseen lisäkoulutuksella, kun taas n_action_steps arvolla 100 todellinen pysähdys osuu lohkon rajalle, näkyvä tauko joka 3.3 sekunnin välein 30 fps:llä. Kaksi muuta tiedettävää: yksi kuollut nivel on yleensä servon tunnus, jota ei koskaan kirjoitettu, ja tarttuja, joka lähestyy mutta ei koskaan sulkeudu tarkoittaa liian pientä tarttujan liikerataa demonstraatioissa. Koko hakemisto: vianmäärityssivut.

Mitä ajo maksaa

Tämä on perustelu ACT:llä aloittamiselle, vaikka haluaisitkin VLA:n myöhemmin. Epäonnistunut ACT-ajo maksaa kahvin hinnan ja kertoo muutamassa tunnissa, sisältääkö tietokantasi tehtävän. Epäonnistunut GR00T-ajo maksaa neljä kertaa enemmän samasta opista. Siirtyminen GR00T N1.7 tai SmolVLA jälkeen on muodonmuutos, ei uudelleenrakennus. Taustaa: näkö-, kieli- ja toimintamallit, täydellinen SO-100-opas, kouluta ensimmäinen toimintamallisi ja jäljittelyoppiminen. Ei robottikättä? Live-sivu striimaa oikeaa SO-100:aa ajettavaksi ilman rekisteröitymistä.