Hvernig á að þjálfa ACT á SO-100 frá grunni

ACT er undantakið meðal SO-100 stefnanna. GR00T N1.7 og N1.5 byrja frá nvidia/GR00T-N1.7-3B og nvidia/GR00T-N1.5-3B, Pi0.5 frá lerobot/pi05_base. ACT byrjar frá grunni: það er enginn grunnur eftirlitsstaður, því það er ekki grunnlíkan. Það er um það bil 80 milljóna færibreytu spennir sem þú þjálfar frá grunni í einu verkefni, á handleggnum þínum, undir lýsingu þinni.

Þess vegna keyrir það stjórnunarskref á 20 ms þar sem 3 milljarða færibreytu VLA þarf 152 til 485 ms, og kostar 1 til 3 USD á keyrslu í stað 4 til 12. Þessi leiðbeining fer handvirka leið með lerobot á SO-100: upptaka, act stillingin, hvað chunk_size og n_action_steps stjórna, 100000 skrefa áætlunin, útfærslan. Síðan sama verkefnið á AY-Robots, þar á meðal þar sem pallurinn hjálpar ekki.

Hvað ACT raunverulega er

Aðgerðaskipting með Transformers kemur úr ALOHA greininni, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, eftir Zhao, Kumar, Levine og Finn, arXiv, 23. apríl 2023. Búnaðurinn tekur upp á 50 Hz með fjórum vefmyndavélum sem streyma 480x640 á 30 fps: tvær á gripunum, ein að ofan, ein að framan. Ágrip greinarinnar heldur því fram að sex færni hafi náð 80 til 90 prósenta árangri, þar á meðal að opna hálfgegnsæjan kryddbolla og setja rafhlöðu í, eftir 10 mínútna sýnikennslu.

Aðaltextinn er gagnlegri þegar skipulögð er upptökulota: 50 sýnikennslur á verkefni, nema Thread Velcro á 100, sem er 10 til 20 mínútur af gögnum og 30 til 60 mínútur af rauntíma þegar endurstillingar eru taldar með. Árangur er heldur ekki jafn: Thread Velcro endar á 20 prósentum, Put On Shoe á 92, Cup Open 84, Prep Tape 64.

Aðgerðaskipting er kjarninn í hugmyndinni

Venjuleg hegðunarklónun varpar einni athugun í eina aðgerð, og villur safnast upp: frávik setur handlegginn út fyrir dreifingu, framleiðir verri aðgerð, og þrjátíu skrefum síðar er gripurinn hvergi nærri hlutnum. Aðgerðaskipting spáir fyrir um k aðgerðir í einu og framkvæmir þær, sem lækkar virkan sjóndeildarhring um stuðulinn k. Það tekur einnig á óþægindum sem eru sérstök fyrir mannleg gögn: fjarstýringar gera hlé, og eins-skrefs Markovísk stefna getur ekki líkanfært hlé sem fer eftir því sem á undan kom.

Greinin rannsakar k frekar en að fullyrða það. Með tímabundinni samsetningu óvirkri, að meðaltali yfir fjórar stillingar, hækkar árangur úr 1 prósenti við k = 1 í 44 prósent við k = 100, og minnkar síðan við 200 og 400 þegar stefnan nálgast opna lykkjustýringu. Sú ferill er ástæðan fyrir því að sjálfgefið gildi er 100.

• chunk_size: hversu margar framtíðaraðgerðir afkóðarinn spáir fyrir um í hverri framsendingu. Sjálfgefið 100.
• n_action_steps: hversu margar af þeim þú framkvæmir áður en þú spyrð aftur. Sjálfgefið 100, svo lerobot keyrir allan bitann í opnum lykkju.
• lerobot staðfestir n_action_steps <= chunk_size og kastar ValueError ef þú snýrð því við.

Það sem skiptir máli í rekstri er chunk_size deilt með rammatíðni. Við 30 fps sem dæmi lerobot's SO-100 nota, skuldbindur biti af 100 um 3.3 sekúndur frá einni athugun. Ef verkefnið þarf leiðréttingu innan þess glugga, lækkaðu n_action_steps, ekki chunk_size: þú heldur langri spá og athugar aftur oftar.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Þegar ACT sigrar grunnlíkan

Fimm þjálfanlegar stefnur hlið við hlið, með tölunum sem AY-Robots mælir og notar til að ákvarða stærð GPU sem það leigir.

Veldu ACT þegar verkefni og svið eru föst og hreyfing verður að vera hröð og nákvæm. Veldu þegar einn gátpunktur þarf að ná yfir nokkrar leiðbeiningar. Tvær síður vinna ákvörðunina beint: og . Fyrir birt viðmið, tengir hverja tölu við uppruna sinn.

Það sem þú þarft áður en þú byrjar

Einn fylgjararmur, einn leiðararmur fyrir , að minnsta kosti ein myndavél, 24 GB GPU. ACT les aðeins myndir og liðstöður. Tvær myndavélar eru besti kosturinn: föst framsýn fyrir hvar hlutir eru, úlnliðsmyndavél fyrir það sem er að fara að snerta, eins og á ALOHA.

Frá berum armi til skráðs gagnasafns

Ferlið hér að neðan er lerobot 0.6.x. Slepptu því ef þú ert með kvarðaðan arm og gagnasafn. Annars fjallar SO-100 byrjunarleiðbeiningar um samsetningu, upptöku leiðbeiningar fjallar um upptöku og gagnasafns skjöl um sniðið.

1. 1
   Setja upp lerobot með réttum aukapakka

   Upptaka þarf core_scripts, þjálfun training, Feetech servó feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Finna USB-tengi hvers arms

   Keyrðu það með báðum örmum tengdum, taktu annan úr sambandi þegar beðið er um það. Á Linux gætirðu þurft að opna heimildir fyrir hnútinn.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Stilla auðkenni mótora og baudrate

   Á SO-100 gerist þetta fyrir samsetningu: ólíkt SO-101 eru tengin óaðgengileg þegar búið er að setja saman. Skriftan fer yfir rásina einn mótor í einu frá gripnum og skrifar auðkenni í EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kvarða báða arma

   Stilltu hvern lið í miðju sviðs síns, ýttu á Enter, og farðu síðan með hvern og einn í gegnum allt svið sitt. Kvörðun gerir stefnu sem þjálfuð er á einum armi kleift að keyra á öðrum. Endurnýttu sama id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Fjarstýra einu sinni með myndavélarnar á

   Þumalputtaregla lerobot: þú ættir að geta framkvæmt verkefnið með því að horfa aðeins á myndirnar frá myndavélunum. Ef þú getur það ekki, getur ACT það heldur ekki. Þetta finnur fleiri slæm gagnasöfn en síðari villuleit.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Taka upp 50 þætti

   50 er lágmark AY-Robots og það sem ALOHA notaði á hvert verkefni. lerobot ráðleggur 10 á hvern stað hlutar, fastar myndavélar, stöðugt grip. n lýkur þætti, r tekur upp aftur, q stöðvar og kóðar.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Fyrir þjálfun, spilaðu að minnsta kosti fimm þætti aftur. LeRobot gagnasafnssniðið geymir myndavélarstrauma, liðstöður og aðgerðir á hvern þátt, og endurspilun ýtir þessum aðgerðum aftur á arminn. Ef endurspilunin framkvæmir ekki verkefnið, innihalda gögnin það ekki og þjálfun mun ekki finna það upp.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Þjálfun ACT stefnunnar

Þetta er öll skipunin. Allt sem er ACT-sértækt er nú þegar sjálfgefið, þess vegna segir á lerobot ACT síðunni að byrja á þeim.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act hleður ACTConfig, sem aðlagast að því hversu marga mótora og myndavélar gagnasafnið þitt skráði, svo þú þarft aldrei að lýsa athugunarforminu. --wandb.enable=true er valfrjálst og þess virði: tapferillinn er eina ódýra merkið í 100000 skrefa keyrslu. Tímaáætlunin kemur frá lerobot's train config, ekki ACTConfig: 100000 skref, lota 8, fræ 1000, geymslupunktur á 20000 skrefa fresti, skráning á 200 skrefa fresti.

Full keyrsla skilur eftir fimm geymslupunkta möppur, 020000 til 100000, auk síðasta tákntengils. Haltu þeim öllum: besta stefnan er oft ekki sú síðasta.

Lengd: um 5 klukkustundir á 11 GB RTX 2080 Ti í greininni, nokkrar klukkustundir fyrir 100k skref samkvæmt ACT síðu lerobot, 2 til 5 klukkustundir á AY-Robots 24 GB flokki. Ekki stytta það. README skrá viðmiðunargeymslunnar segir að rykkjótt eða hlébundin stefna þurfi venjulega bara meira þjálfun, því árangur og mýkt halda áfram að batna eftir að tapferillinn nær jafnvægi: fyrir raunveruleg gögn vill það að minnsta kosti 5000 tímabil, eða 3 til 4 sinnum lengdina aftur eftir jafnvægið.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Keyra þjálfaða stefnu á arminum

Innleiðing notar lerobot-rollout. Myndavélalyklar verða að passa við þá sem voru skráðir: stefna þjálfuð á front og wrist mun ekki samþykkja cam0 og cam1, og rename_map hjálpar ekki, þar sem það þarf forþjálfaðan geymslupunkt. Verkefnisstrengnum má sleppa; dæmi lerobot sjálfs merkir hann sem sleppanlegan fyrir ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Til að festa gátpunkt frekar en lokamódelið, bættu við --policy.pretrained_revision. Það krefst þess að keyrslan hafi byrjað með --save_checkpoint_to_hub=true, sjálfgefið óvirkt: án þess ýtir lerobot lokamódelinu og engu öðru. Með því er hver gátpunktur merktur með núllfylltu skrefi sínu, svo --policy.pretrained_revision=060000 endurheimtir 60000 skrefa gátpunktinn. Að bera hann saman við 100000 á raunverulegum armi er ódýrasta tilraunin sem völ er á.

Tvær leiðir að sama gátpunkti

Allt hér að ofan er handvirka leiðin og hún virkar. Vettvangurinn fórnar stjórn fyrir það að þurfa ekki að eiga GPU eða Python umhverfi.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Hvað fer í raun úrskeiðis

Næstum enginn sársauki er í þjálfunarskipaninni. Hann er í hlutunum í kringum hana, raðað eftir því hversu oft þeir bíta í fyrsta skipti.

Tvær raðir verðskulda áherslu. ACT þjálfar á LeRobot v3.0 á meðan hleðslutæki GR00T hrynur á því og þarf v2.1, svo gagnasafn sem þjálfar ACT getur valdið því að GR00T keyrsla mistekst. Og síðasta röðin hefur tvær lausnir: höfundar ACT svara rykkjóttri hreyfingu með meiri þjálfun, á meðan með n_action_steps við 100 lendir raunveruleg stöðvun við blokkamörk, sýnilegt hlé á 3.3 sekúndna fresti við 30 fps. Tvö atriði til viðbótar að vita: einn dauður liður er venjulega servó auðkenni sem aldrei var skrifað, og griparmi sem nálgast en lokast aldrei þýðir of lítið gripbil í sýnikennslunni. Heildarvísitala: síðurnar um bilunarham.

Hvað keyrsla kostar

Þetta eru rökin fyrir því að byrja með ACT jafnvel þótt þú viljir VLA síðar. Misheppnuð ACT keyrsla kostar verð á kaffi og segir þér innan nokkurra klukkustunda hvort gagnasafnið þitt inniheldur verkefnið. Misheppnuð GR00T keyrsla kostar fjórfalt það fyrir sama lærdóm. Að færa sig upp í GR00T N1.7 eða SmolVLA eftir á er formbreyting, ekki endurbygging. Bakgrunnur: sjón-tungumál-aðgerðalíkön, fullkomin SO-100 leiðbeining, þjálfaðu fyrstu stefnuna þína og herminám. Enginn armur? Beina útsendingarsíðan streymir raunverulegum SO-100 til að keyra án þess að skrá sig.