Si të Trajnosh ACT në SO-100 nga Zero

ACT është i veçanti mes politikave SO-100. GR00T N1.7 dhe N1.5 fillojnë nga nvidia/GR00T-N1.7-3B dhe nvidia/GR00T-N1.5-3B, Pi0.5 nga lerobot/pi05_base. ACT fillon nga asgjëja: nuk ka pikë kontrolli bazë, sepse nuk është një model themelor. Është një transformator me rreth 80 milionë parametra që e trajnoni nga e para për një detyrë, në krahun tuaj, nën ndriçimin tuaj.

Kjo është edhe arsyeja pse ai ekzekuton një hap kontrolli në 20 ms, ndërsa një VLA me 3 miliardë parametra ka nevojë për 152 deri në 485 ms, dhe kushton 1 deri në 3 USD për ekzekutim në vend të 4 deri në 12. Ky udhëzues ndjek rrugën manuale me lerobot në një SO-100: regjistrimi, konfigurimi act, çfarë kontrollojnë chunk_size dhe n_action_steps, orari i 100000 hapave, dhe shpalosja. Më pas e njëjta punë në AY-Robots, duke përfshirë rastet kur platforma nuk ndihmon.

Çfarë është në të vërtetë ACT

Ndarja e veprimeve me transformatorë vjen nga punimi ALOHA, Mësimi i manipulimit bimanual me detaje të imta me pajisje me kosto të ulët, nga Zhao, Kumar, Levine dhe Finn, arXiv, 23 Prill 2023. Pajisja regjistron në 50 Hz me katër kamera web që transmetojnë 480x640 në 30 fps: dy në kapëse, një sipër, një përpara. Abstrakti pretendon gjashtë aftësi me 80 deri në 90 për qind sukses, ndër to hapjen e një filxhani salce gjysmë të tejdukshëm dhe futjen e një baterie, nga 10 minuta demonstrime.

Pjesa kryesore është më e dobishme kur planifikoni një sesion regjistrimi: 50 demonstrime për detyrë, përveç Thread Velcro në 100, që është 10 deri në 20 minuta të dhëna dhe 30 deri në 60 minuta kohë reale pasi të numërohen rivendosjet. Suksesi nuk është uniform gjithashtu: Thread Velcro përfundon në 20 për qind, Put On Shoe në 92, Cup Open 84, Prep Tape 64.

Ndërthurja e veprimeve është e gjithë ideja

Klonimi i zakonshëm i sjelljes harton një vëzhgim në një veprim, dhe gabimet grumbullohen: një devijim e nxjerr krahun jashtë shpërndarjes, duke prodhuar një veprim më të keq, dhe tridhjetë hapa më vonë kapësi nuk është askund afër objektit. Ndërthurja e veprimeve parashikon k veprime menjëherë dhe i ekzekuton ato, duke ulur horizontin efektiv me një faktor k. Gjithashtu trajton një shqetësim specifik për të dhënat njerëzore: teleoperatorët bëjnë pauza, dhe një Markovian me një hap politikë nuk mund të modelojë një pauzë që varet nga ajo që ka ndodhur më parë.

Punimi ablaton k në vend që ta pohojë atë. Me ansamblimin kohor të fikur, mesatarisht mbi katër cilësime, suksesi rritet nga 1 përqind në k = 1 në 44 përqind në k = 100, pastaj zvogëlohet në 200 dhe 400 ndërsa politika i afrohet kontrollit me qark të hapur. Kjo kurbë është arsyeja pse vlera e paracaktuar është 100.

• chunk_size: sa veprime të ardhshme parashikon dekoderi për çdo kalim përpara. Parazgjedhja 100.
• n_action_steps: sa prej tyre ekzekutoni para se të bëni sërish pyetje. Parazgjedhja 100, kështu që lerobot ekzekuton të gjithë bllokun në qark të hapur.
• lerobot vërteton n_action_steps <= chunk_size dhe ngre një ValueError nëse e vendosni mbrapsht.

Ajo që ka rëndësi operacionale është chunk_size e ndarë me shpejtësinë e kuadrove. Me 30 fps që përdorin shembujt SO-100 të lerobot, një bllok prej 100 veprimesh angazhon rreth 3.3 sekonda nga një vëzhgim. Nëse detyra kërkon një korrigjim brenda asaj dritareje, ulni n_action_steps, jo chunk_size: ju mbani parashikimin e gjatë dhe ri-vëzhgoni më shpesh.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kur ACT tejkalon një model themelor

Pesë politikat e trajnueshme krah për krah, me numrat që AY-Robots mat dhe përdor për të përcaktuar madhësinë e GPU-së që merr me qira.

Zgjidhni ACT kur detyra dhe skena janë fikse dhe lëvizja duhet të jetë e shpejtë dhe e saktë. Zgjidhni një kur një pikë kontrolli duhet të mbulojë disa udhëzime. Dy faqe e trajtojnë vendimin kokë më kokë: dhe . Për standardet e publikuara, lidh çdo numër me burimin e tij.

Çfarë ju nevojitet para se të filloni

Një krah ndjekës, një krah udhëheqës për , të paktën një kamerë, një GPU 24 GB. ACT lexon vetëm imazhe dhe pozicione nyjesh. Dy kamera janë zgjidhja optimale: një pamje fikse nga përpara për vendndodhjen e objekteve, një kamerë dore për atë që është gati të prekë, si në ALOHA.

Nga krahu i zhveshur te grupi i të dhënave të regjistruara

Rrjedha më poshtë është lerobot 0.6.x. Anashkalojeni nëse keni një krah të kalibruar dhe një grup të dhënash. Përndryshe, udhëzuesi i fillimit me SO-100 mbulon montimin, udhëzuesi i regjistrimit mbulon kapjen dhe dokumentet e grupit të të dhënave formatin.

1. 1
   Instaloni lerobot me shtesat e duhura

   Regjistrimi kërkon core_scripts, trajnimi training, servot Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Gjeni portën USB të secilit krah

   Ekzekutojeni me të dy krahët të kyçur, duke shkëputur njërin kur të kërkohet. Në Linux mund t'ju duhet të hapni lejet e nyjes.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Vendosni ID-të e motorit dhe shpejtësinë e transmetimit

   Në SO-100 kjo ndodh para montimit: ndryshe nga SO-101, lidhësit janë të paarritshëm pasi të ndërtohet. Skripti ecën nëpër autobus një motor në të njëjtën kohë nga kapësi, duke shkruar ID-të në EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibroni të dy krahët

   Vendosni çdo nyje në mes të diapazonit të saj, shtypni Enter, pastaj kaloni secilën nëpër diapazonin e saj të plotë. Kalibrimi lejon që një politikë e trajnuar në një krah të ekzekutohet në një tjetër. Ripërdorni të njëjtën id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperoni një herë me kamerat ndezur

   Rregulli i përgjithshëm i lerobot: duhet të jeni në gjendje ta kryeni detyrën duke parë vetëm imazhet e kamerës. Nëse nuk mundeni, as ACT nuk mundet. Kjo kap më shumë grupe të dhënash të këqija sesa debugimi i mëvonshëm.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Regjistroni 50 episode

   50 është minimumi i AY-Robots dhe ajo që ALOHA përdori për detyrë. lerobot këshillon 10 për vendndodhje objekti, kamera të fiksuara, kapje konsistente. n përfundon një episod, r ri-regjistron, q ndalon dhe kodon.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Para trajnimit, riprodhoni të paktën pesë episode. ruan transmetimet e kamerës, gjendjet e nyjeve dhe veprimet për , dhe riprodhimi i shtyn ato veprime përsëri te krahu. Nëse riprodhimi nuk e kryen detyrën, të dhënat nuk e përmbajnë atë dhe trajnimi nuk do ta shpikë atë.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Trajnimi i politikës ACT

Ky është komanda e plotë. Gjithçka specifike për ACT është tashmë një parazgjedhje, prandaj faqja e lerobot ACT thotë të filloni me to.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ngarkon ACTConfig, i cili përshtatet me sasinë e motorëve dhe kamerave që ka regjistruar grupi juaj i të dhënave, kështu që nuk deklaroni kurrë formën e vëzhgimit. --wandb.enable=true është opsionale dhe ia vlen: kurba e humbjes është sinjali i vetëm i lirë në një ekzekutim me 100000 hapa. Orari vjen nga konfigurimi i trajnimit i lerobot, jo ACTConfig: 100000 hapa, grup 8, farë 1000, një pikë kontrolli çdo 20000 hapa, regjistrim çdo 200.

Një ekzekutim i plotë lë pesë drejtori pikash kontrolli, 020000 deri në 100000, plus një last symlink. Mbajini të gjitha: politika më e mirë shpesh nuk është e fundit.

Kohëzgjatja: rreth 5 orë në një RTX 2080 Ti me 11 GB në punim, disa orë për 100k hapa sipas faqes ACT të lerobot, 2 deri në 5 orë në nivelin 24 GB të AY-Robots. Mos e shkurtoni. README i depozitës referencë thotë se një politikë e ndërprerë ose me pauza zakonisht ka nevojë vetëm për më shumë trajnim, sepse suksesi dhe butësia vazhdojnë të përmirësohen pasi humbja stabilizohet: për të dhëna të botës reale kërkon të paktën 5000 epoka, ose 3 deri në 4 herë gjatësinë përsëri pas stabilizimit.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Ekzekutimi i politikës së trajnuar në krah

Vendosja përdor lerobot-rollout. Çelësat e kamerës duhet të përputhen me ato të regjistruara: një politikë e trajnuar në front dhe wrist nuk do të pranojë cam0 dhe cam1, dhe rename_map nuk ndihmon, pasi ka nevojë për një pikë kontrolli të paratrajnuar. Vargu i detyrës mund të hiqet; shembulli i vetë lerobot e shënon atë si të anashkalueshëm për ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Për të fiksuar një pikë kontrolli në vend të modelit përfundimtar, shtoni --policy.pretrained_revision. Kjo kërkon që ekzekutimi të ketë filluar me --save_checkpoint_to_hub=true, i çaktivizuar si parazgjedhje: pa të lerobot ngarkon modelin përfundimtar dhe asgjë tjetër. Me të, çdo pikë kontrolli etiketohet me hapin e saj të mbushur me zero, kështu që --policy.pretrained_revision=060000 rikuperon atë të hapit 60000. Krahasimi i tij me 100000 në krahun real është eksperimenti më i lirë i disponueshëm.

Dy rrugë drejt të njëjtës pikë kontrolli

Gjithçka më lart është rruga manuale dhe funksionon. Rruga e platformës shkëmben kontrollin me mos posedimin e një GPU ose një ambienti Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Çfarë shkon vërtet keq

Pothuajse asnjë nga vështirësitë nuk është te komanda e trajnimit. Ato janë te gjërat përreth saj, të renditura sipas shpeshtësisë me të cilën shfaqen për herë të parë.

Dy rreshta meritojnë theksim. ACT trajnohet në LeRobot v3.0 ndërsa ngarkuesi i GR00T-it bllokohet në të dhe ka nevojë për v2.1, kështu që një grup të dhënash që trajnon ACT mund të dështojë një ekzekutim të GR00T. Dhe rreshti i fundit ka dy zgjidhje: autorët e ACT-së i përgjigjen lëvizjes së çrregullt me më shumë trajnim, ndërsa me n_action_steps në 100 një bllokim i vërtetë ndodh në kufirin e bllokut, një pauzë e dukshme çdo 3.3 sekonda në 30 fps. Dy të tjera për të ditur: një nyje e vetme e vdekur është zakonisht një ID servo që nuk u shkrua kurrë, dhe një kapëse që afrohet por nuk mbyllet kurrë do të thotë shumë pak diapazon kapëseje në demonstrime. Indeksi i plotë: faqet e mënyrave të dështimit.

Çfarë kushton një ekzekutim

Ky është argumenti për të filluar me ACT edhe nëse dëshironi një VLA më vonë. Një ekzekutim i dështuar i ACT kushton sa çmimi i një kafeje dhe ju tregon brenda orësh nëse grupi juaj i të dhënave përmban detyrën. Një ekzekutim i dështuar i GR00T kushton katër herë më shumë për të njëjtin mësim. Kalimi në GR00T N1.7 ose SmolVLA më pas është një ndryshim forme, jo një rindërtim. Sfondi: modele vizion-gjuhë-veprim, udhëzuesi i plotë i SO-100, trajnoni politikën tuaj të parë dhe mësimi imitues. Nuk keni krah robotik? Faqja live transmeton një SO-100 real për ta drejtuar pa u regjistruar.