Kā apmācīt ACT SO-100 no nulles

ACT ir izņēmums starp SO-100 politikām. GR00T N1.7 un N1.5 sākas no nvidia/GR00T-N1.7-3B un nvidia/GR00T-N1.5-3B, Pi0.5 no lerobot/pi05_base. ACT sākas no nulles: nav bāzes kontrolpunkta, jo tas nav pamata modelis. Tas ir aptuveni 80 miljonu parametru transformators, ko apmācāt no nulles vienam uzdevumam, uz jūsu rokas, jūsu apgaismojumā.

Tas ir arī iemesls, kāpēc tas veic vadības soli 20 ms laikā, kur 3 miljardu parametru VLA nepieciešami 152 līdz 485 ms, un izmaksā 1 līdz 3 USD par vienu izpildi, nevis 4 līdz 12. Šis ceļvedis apraksta manuālo ceļu ar lerobot uz SO-100: ierakstīt, act konfigurāciju, ko chunk_size un n_action_steps kontrolē, 100000 soļu grafiku, izpildi. Pēc tam tas pats darbs AY-Robots, ieskaitot gadījumus, kad platforma nepalīdz.

Kas ACT patiesībā ir

Action Chunking with Transformers nāk no ALOHA raksta, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, autoriem Zhao, Kumar, Levine un Finn, arXiv, 2023. gada 23. aprīlis. Iekārta ieraksta ar 50 Hz frekvenci, izmantojot četras tīmekļa kameras, kas straumē 480x640 izšķirtspēju ar 30 kadriem sekundē: divas uz satvērējiem, viena augšpusē, viena priekšpusē. Abstraktā tiek apgalvotas sešas prasmes ar 80 līdz 90 procentu panākumu līmeni, tostarp caurspīdīgas garšvielu krūzes atvēršana un baterijas ievietošana, balstoties uz 10 minūšu demonstrācijām.

Pamatteksts ir noderīgāks, plānojot ierakstīšanas sesiju: 50 demonstrācijas katram uzdevumam, izņemot Thread Velcro ar 100, kas ir 10 līdz 20 minūtes datu un 30 līdz 60 minūtes reālā laika, kad tiek ieskaitītas atiestatīšanas. Panākumi arī nav vienmērīgi: Thread Velcro beidzas ar 20 procentiem, Put On Shoe ar 92, Cup Open 84, Prep Tape 64.

Darbību sadalīšana ir visa ideja

Parastā uzvedības klonēšana kartē vienu novērojumu uz vienu darbību, un kļūdas uzkrājas: novirze novirza roku no sadalījuma, radot sliktāku darbību, un trīsdesmit soļus vēlāk satvērējs nav ne tuvu objektam. Darbību sadalīšana prognozē k darbības vienlaikus un izpilda tās, samazinot efektīvo horizontu par k faktoru. Tas arī risina neērtības, kas raksturīgas cilvēka datiem: teleoperatori pauzē, un viena soļa Markova politika nevar modelēt pauzi, kas atkarīga no tā, kas notika iepriekš.

Raksts pēta k, nevis to apgalvo. Ar izslēgtu laika ansambli, vidēji četrās iestatījumos, panākumi pieaug no 1 procenta pie k = 1 līdz 44 procentiem pie k = 100, pēc tam samazinās pie 200 un 400, kad politika tuvojas atvērtā cikla kontrolei. Šī līkne ir iemesls, kāpēc noklusējuma vērtība ir 100.

• chunk_size: cik daudz nākotnes darbību dekodētājs prognozē vienā pārejā uz priekšu. Noklusējums 100.
• n_action_steps: cik daudz no tām izpildāt pirms atkārtotas vaicāšanas. Noklusējums 100, tādējādi lerobot izpilda visu bloku atvērtā cilpā.
• lerobot validē n_action_steps <= chunk_size un izsauc ValueError, ja to ievadāt nepareizi.

Operacionāli svarīga ir chunk_size, dalīta ar kadru ātrumu. Pie 30 kadriem sekundē, ko izmanto lerobot SO-100 piemēri, 100 darbību bloks no viena novērojuma aizņem aptuveni 3,3 sekundes. Ja uzdevumam ir nepieciešama korekcija šajā logā, samaziniet n_action_steps, nevis chunk_size: jūs saglabājat garo prognozi un novērojat biežāk.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kad ACT pārspēj pamata modeli

Piecas apmācāmās politikas blakus, ar skaitļiem, ko AY-Robots mēra un izmanto, lai noteiktu nomātā GPU izmēru.

Izvēlieties ACT, ja uzdevums un aina ir fiksēti un kustībai jābūt ātrai un precīzai. Izvēlieties , ja vienam kontrolpunktam jāaptver vairākas instrukcijas. Divas lapas salīdzina lēmumu tieši: un . Publicētajiem etaloniem, saista katru skaitli ar tā avotu.

Kas jums nepieciešams pirms sākšanas

Viena sekotāja roka, viena vadītāja roka , vismaz viena kamera, 24 GB GPU. ACT nolasa tikai attēlus un savienojumu pozīcijas. Divas kameras ir optimālais risinājums: fiksēts priekšējais skats, lai redzētu, kur atrodas objekti, un plaukstas kamera, lai redzētu, ko grasās pieskarties, kā tas ir ALOHA gadījumā.

No tukšas rokas līdz ierakstītam datu kopumam

Zemāk aprakstītais process attiecas uz lerobot 0.6.x. Izlaidiet to, ja jums ir kalibrēta roka un datu kopa. Pretējā gadījumā SO-100 sākuma rokasgrāmata aptver montāžu, ierakstīšanas pamācība aptver datu iegūšanu un datu kopu dokumentācija formātu.

1. 1
   Instalējiet lerobot ar pareizajiem papildinājumiem

   Ierakstīšanai nepieciešams core_scripts, apmācībai training, Feetech servomotoriem feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Atrodiet katras rokas USB portu

   Palaidiet to ar abām rokām pievienotām, atvienojot vienu, kad tiek prasīts. Linux sistēmā var būt nepieciešams atvērt mezgla atļaujas.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Iestatiet motoru ID un datu pārraides ātrumu

   SO-100 modelim tas notiek pirms montāžas: atšķirībā no SO-101, savienotāji nav sasniedzami pēc uzbūvēšanas. Skripts pārlūko kopni pa vienam motoram, sākot no satvērēja, ierakstot ID EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrējiet abas rokas

   Iestatiet katru savienojumu diapazona vidū, nospiediet Enter, pēc tam izlaidiet katru cauri visam diapazonam. Kalibrēšana ļauj politikai, kas apmācīta uz vienas rokas, darboties uz citas. Atkārtoti izmantojiet to pašu id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Veiciet teleoperāciju vienu reizi ar ieslēgtām kamerām

   Lerobot īkšķa likums: jums vajadzētu spēt veikt uzdevumu, skatoties tikai uz kameras attēliem. Ja jūs to nevarat, tad arī ACT nevar. Tas atklāj vairāk sliktu datu kopu nekā vēlāka atkļūdošana.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Ierakstiet 50 epizodes

   50 ir AY-Robots minimums un tas, ko ALOHA izmantoja katram uzdevumam. lerobot iesaka 10 uz vienu objekta atrašanās vietu, fiksētas kameras, konsekventa satveršana. n beidz epizodi, r ieraksta atkārtoti, q aptur un kodē.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Pirms apmācības atkārtojiet vismaz piecas epizodes. LeRobot datu kopas formāts saglabā kameras plūsmas, savienojumu stāvokļus un darbības katrā epizodē, un atkārtošana atgriež šīs darbības atpakaļ uz roku. Ja atkārtošana neveic uzdevumu, dati to nesatur, un apmācība to neizgudros.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT politikas apmācība

Šī ir visa komanda. Viss, kas ir specifisks ACT, jau ir noklusējuma iestatījums, tāpēc lerobot ACT lapā ir teikts sākt ar tiem.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ielādē ACTConfig, kas pielāgojas jebkuram motoru un kameru skaitam, ko jūsu datu kopa ierakstīja, tāpēc jums nekad nav jādeklarē novērojumu forma. --wandb.enable=true ir neobligāts un ir tā vērts: zudumu līkne ir vienīgais lētais signāls 100000 soļu izpildē. Grafiks nāk no lerobot apmācības konfigurācijas, nevis ACTConfig: 100000 soļi, partija 8, sēkla 1000, pārbaudes punkts ik pēc 20000 soļiem, žurnālēšana ik pēc 200.

Pilna izpilde atstāj piecus pārbaudes punktu direktorijus, no 020000 līdz 100000, plus pēdējo simbolisko saiti. Saglabājiet tos visus: labākā politika bieži vien nav pēdējā.

Ilgums: aptuveni 5 stundas uz 11 GB RTX 2080 Ti, kā norādīts rakstā, dažas stundas 100 tūkstošiem soļu saskaņā ar lerobot ACT lapu, 2 līdz 5 stundas uz AY-Robots 24 GB līmeņa. Nesamaziniet to. Atsauces repozitorija README norāda, ka saraustītai vai apstājošai politikai parasti ir nepieciešams vairāk apmācība, jo panākumi un gludums turpina uzlaboties pēc tam, kad zudums stabilizējas: reālās pasaules datiem ir nepieciešami vismaz 5000 epohu, vai 3 līdz 4 reizes ilgāk pēc stabilizēšanās.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Apmācītās politikas palaišana uz rokas

Izvietošanā tiek izmantots lerobot-rollout. Kameru atslēgām jāatbilst ierakstītajām: politika, kas apmācīta uz front un wrist nepieņems cam0 un cam1, un rename_map nepalīdz, jo tam ir nepieciešams iepriekš apmācīts kontrolpunkts. Uzdevuma virkni var izlaist; lerobot paša piemērs to atzīmē kā izlaižamu priekš ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Lai piesaistītu kontrolpunktu, nevis galīgo modeli, pievienojiet --policy.pretrained_revision. Tam ir nepieciešams, lai izpilde būtu sākta ar --save_checkpoint_to_hub=true, kas pēc noklusējuma ir izslēgts: bez tā lerobot augšupielādē tikai galīgo modeli un neko citu. Ar to katrs kontrolpunkts tiek atzīmēts ar tā nullēm papildināto soli, tāpēc --policy.pretrained_revision=060000 atjauno 60000. soļa kontrolpunktu. Salīdzinot to ar 100000 uz reālās rokas, ir lētākais pieejamais eksperiments.

Divi ceļi uz vienu un to pašu kontrolpunktu

Viss iepriekš minētais ir manuālais ceļš, un tas darbojas. Platformas ceļš apmaina kontroli pret to, ka nav jāpieder GPU vai Python vide.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Kas patiesībā noiet greizi

Gandrīz visas grūtības nav apmācības komandā. Tās ir lietās ap to, sakārtotas pēc tā, cik bieži tās sagādā problēmas pirmajā reizē.

Divas rindas ir jāuzsver. ACT apmācās ar LeRobot v3.0, kamēr GR00T ielādētājs uz tā avarē un tam vajag v2.1, tāpēc datu kopa, kas apmāca ACT, var izgāzt GR00T izpildi. Un pēdējā rindā ir divi labojumi: ACT autori atbild uz rāvienveida kustību ar papildu apmācību, kamēr ar n_action_steps pie 100 īsta apstāšanās notiek bloka robežā, redzama pauze ik pēc 3.3 sekundēm pie 30 kadriem sekundē. Vēl divas lietas, kas jāzina: viens miris savienojums parasti ir servo ID, kas nekad nav ierakstīts, un satvērējs, kas tuvojas, bet nekad neaizveras nozīmē pārāk mazu satvērēja diapazonu demonstrācijās. Pilns indekss: kļūdu režīmu lapas.

Cik maksā izpilde

Šis ir arguments, kāpēc sākt ar ACT, pat ja vēlāk vēlaties VLA. Neveiksmīga ACT izpilde maksā kafijas cenu un dažu stundu laikā paziņo, vai jūsu datu kopa satur uzdevumu. Neveiksmīga GR00T izpilde maksā četras reizes vairāk par to pašu mācību. Pāreja uz GR00T N1.7 vai SmolVLA pēc tam ir formas maiņa, nevis pārbūve. Fons: redzes-valodas-darbības modeļi, pilnīgais SO-100 ceļvedis, apmāciet savu pirmo politiku un imitācijas mācīšanās. Nav rokas? Tiešraides lapa straumē reālu SO-100, ko vadīt bez reģistrēšanās.