Hogyan képezzünk ACT-t az SO-100-on a nulláról

Az ACT kilóg a sorból az SO-100 irányelvek között. A GR00T N1.7 és N1.5 innen indul: nvidia/GR00T-N1.7-3B és nvidia/GR00T-N1.5-3B, a Pi0.5 pedig innen: lerobot/pi05_base. Az ACT a nulláról indul: nincs alap ellenőrzőpont, mert nem alapmodell. Ez egy nagyjából 80 millió paraméteres transzformátor, amit egyetlen feladatra, a saját karodon, a saját világításod mellett képzel el a nulláról.

Ezért is futtat egy vezérlési lépést 20 ms alatt, ahol egy 3 milliárd paraméteres VLA-nak 152-485 ms-ra van szüksége, és futtatásonként 1-3 USD-be kerül 4-12 helyett. Ez az útmutató a manuális útvonalat mutatja be a lerobot segítségével egy SO-100-on: a rögzítés, az act konfiguráció, hogy mit vezérel a chunk_size és a n_action_steps paraméter, a 100000 lépéses ütemezés, a rollout. Majd ugyanez a feladat az AY-Robots platformon, beleértve azokat az eseteket is, ahol a platform nem segít.

Mi is az ACT valójában

Az Action Chunking with Transformers az ALOHA tanulmányból származik, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, Zhao, Kumar, Levine és Finn tollából, arXiv, 2023. április 23. A berendezés 50 Hz-en rögzít négy webkamerával, amelyek 480x640 felbontású videót streamelnek 30 fps sebességgel: kettő a megfogókon, egy felül, egy elöl. Az absztrakt hat készséget állít 80-90 százalékos sikerességgel, köztük egy áttetsző fűszeres pohár kinyitását és egy elem behelyezését, 10 percnyi demonstráció alapján.

A főszöveg hasznosabb a felvételi munkamenet tervezésekor: 50 demonstráció feladatonként, kivéve a Thread Velcro-t 100-nál, ami 10-20 perc adatot és 30-60 perc valós időt jelent, miután a visszaállításokat is beleszámoltuk. A sikeresség sem egységes: A Thread Velcro 20 százalékon, a Put On Shoe 92-n, a Cup Open 84-en, a Prep Tape 64-en végződik.

Az akció darabolás a lényeg

A hagyományos viselkedésklónozás egy megfigyelést egy akcióhoz rendel, és a hibák összeadódnak: egy eltérés a kart elmozdítja az eloszlásból, rosszabb akciót eredményezve, és harminc lépéssel később a megfogó sehol sincs a tárgy közelében. Akció darabolás k akciót jósol meg egyszerre és hajt végre, k-szorosára csökkentve a tényleges horizontot. Kezel egy emberi adatokra jellemző kellemetlenséget is: a teleoperátorok szünetet tartanak, és egy egylépéses Markov-féle szabályzat nem tud modellezni egy olyan szünetet, amely attól függ, ami előtte történt.

A tanulmány k-t ablációval vizsgálja, ahelyett, hogy állítaná. Időbeli együttesítés kikapcsolásával, négy beállítás átlagában, a siker 1 százalékról (k = 1) 44 százalékra (k = 100) emelkedik, majd 200-nál és 400-nál csökken, ahogy a szabályzat megközelíti a nyílt hurkú vezérlést. Ez a görbe az oka annak, hogy az alapértelmezett érték 100.

• chunk_size: hány jövőbeli akciót jósol meg a dekóder egy előremenő lépésben. Alapértelmezett 100.
• n_action_steps: hányat hajt végre ezek közül, mielőtt újra lekérdez. Alapértelmezett 100, így a lerobot a teljes darabot nyílt hurkú módon futtatja.
• lerobot ellenőrzi, hogy n_action_steps <= chunk_size, és ValueError hibát dob, ha fordítva adja meg.

Működési szempontból a chunk_size osztva a képkockasebességgel számít. A lerobot SO-100 példáiban használt 30 képkocka/másodperc sebességnél egy 100-as darab körülbelül 3,3 másodpercet fed le egyetlen megfigyeléstől. Ha a feladat korrekciót igényel ezen az időablakon belül, csökkentse az n_action_steps-t, ne a chunk_size-t: így megtartja a hosszú előrejelzést, és gyakrabban figyel meg újra.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Amikor az ACT felülmúl egy alapmodellt

Az öt betanítható irányelv egymás mellett, az AY-Robots által mért és a bérelt GPU méretezéséhez használt számokkal.

Válaszd az ACT-t, ha a feladat és a jelenet rögzített, és a mozgásnak gyorsnak és pontosnak kell lennie. Válassz egy akkor, ha egy ellenőrzőpontnak több utasítást kell lefednie. Két oldal segít a döntésben fej-fej mellett: és . A közzétett benchmarkokhoz minden számot a forrásához kapcsol.

Amire szükséged van, mielőtt elkezded

Egy követő kar, egy vezető kar a , legalább egy kamera, egy 24 GB-os GPU. Az ACT csak képeket és ízületi pozíciókat olvas. Két kamera az ideális: egy rögzített elölnézet arra, hogy hol vannak a dolgok, egy csuklóra szerelt kamera arra, hogy mit fog megérinteni a , mint az ALOHA-nál.

A csupasz kartól a rögzített adatkészletig

Az alábbi folyamat a lerobot 0.6.x-re vonatkozik. Hagyja ki, ha már van kalibrált karja és adatkészlete. Ellenkező esetben a SO-100 kezdő útmutató tárgyalja az összeszerelést, a rögzítési útmutató a rögzítést, és a adatkészlet dokumentáció a formátumot.

1. 1
   A lerobot telepítése a megfelelő extrákkal

   A felvételhez core_scripts, a képzéshez training, a Feetech szervókhoz feetech szükséges. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Keresse meg az egyes karok USB portját

   Futtassa mindkét kar bedugva, majd húzza ki az egyiket, amikor a rendszer kéri. Linuxon előfordulhat, hogy meg kell nyitnia a csomópont engedélyeit.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Állítsa be a motor azonosítóit és a baudrate-et

   Az SO-100-on ez az összeszerelés előtt történik: az SO-101-gyel ellentétben a csatlakozók az összeszerelés után elérhetetlenné válnak. A szkript a markolótól kezdve egyenként végigjárja a buszt, és az azonosítókat az EEPROM-ba írja.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrálja mindkét kart

   Állítsa az összes ízületet a tartományának közepére, nyomja meg az Entert, majd mozgassa végig mindegyiket a teljes tartományán. A kalibrálás lehetővé teszi, hogy egy karon képzett irányelv egy másikon is fusson. Használja újra ugyanazt az id-t.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperálás egyszer bekapcsolt kamerákkal

   A lerobot ökölszabálya: képesnek kell lennie a feladat elvégzésére kizárólag a kamera képeit nézve. Ha Ön nem képes rá, az ACT sem. Ez több rossz adatkészletet fog ki, mint a későbbi hibakeresés.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Rögzítsen 50 epizódot

   50 az AY-Robots minimuma, és amit az ALOHA használt feladatonként. A lerobot 10-et javasol objektumhelyenként, rögzített kamerákkal, konzisztens fogással. Az n befejez egy epizódot, az r újra felveszi, a q leállítja és kódolja.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

A képzés előtt játsszon le legalább öt epizódot. A LeRobot adatkészlet formátuma tárolja a kamerafolyamokat, az ízületi állapotokat és a műveleteket epizódonként, és a visszajátszás visszatolja ezeket a műveleteket a karra. Ha a visszajátszás nem végzi el a feladatot, az adatok nem tartalmazzák azt, és a képzés sem fogja kitalálni.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Az ACT irányelv betanítása

Ez a teljes parancs. Minden ACT-specifikus dolog már alapértelmezett, ezért javasolja a lerobot ACT oldal, hogy ezekkel kezdje.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act betölti az ACTConfig-ot, amely alkalmazkodik a datasetben rögzített motorok és kamerák számához, így soha nem kell deklarálnia a megfigyelési alakzatot. --wandb.enable=true opcionális és megéri: a veszteséggörbe az egyetlen olcsó jel egy 100000 lépéses futtatás során. Az ütemezés a lerobot train configjából származik, nem az ACTConfig-ból: 100000 lépés, 8-as batch, 1000-es seed, egy ellenőrzőpont minden 20000 lépésenként, naplózás 200-onként.

Egy teljes futtatás öt ellenőrzőpont könyvtárat hagy maga után, 020000-től 100000-ig, plusz egy last szimbolikus linket. Tartsa meg mindet: a legjobb irányelv gyakran nem az utolsó.

Időtartam: körülbelül 5 óra egy 11 GB-os RTX 2080 Ti-n a tanulmány szerint, néhány óra 100k lépésenként a lerobot ACT oldalán, 2-5 óra az AY-Robots 24 GB-os szintjén. Ne vágja rövidre. A referencia tároló README-je szerint egy rángatózó vagy megálló irányelv általában csak több betanítást igényel, mert a siker és a simaság a veszteség platója után is folyamatosan javul: valós adatok esetén legalább 5000 epoch-ra van szükség, vagy a plató után még 3-4-szeres hosszúságra.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

A betanított irányelv futtatása a karon

A telepítés a lerobot-rollout-ot használja. A kamera kulcsoknak meg kell egyezniük a rögzítettekkel: egy irányelv, amelyet a front és wrist alapján képeztek, nem fogadja el a cam0 és cam1-t, és a rename_map nem segít, mivel előre betanított ellenőrzőpontra van szüksége. A feladat string elhagyható; a lerobot saját példája szerint az ACT-hez kihagyható.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Egy ellenőrzőpont rögzítéséhez a végső modell helyett, adja hozzá a --policy.pretrained_revision. Ehhez a futtatásnak a --save_checkpoint_to_hub=true opcióval kellett volna indulnia, ami alapértelmezetten ki van kapcsolva: nélküle a lerobot csak a végső modellt tölti fel, semmi mást. Ezzel minden ellenőrzőpont a nullákkal kiegészített lépésszámával van megjelölve, így a --policy.pretrained_revision=060000 visszaállítja a 60000. lépésnél lévőt. Összehasonlítani azt a 100000. lépésnél lévővel a valós karon a legolcsóbb elérhető kísérlet.

Két út ugyanahhoz az ellenőrzőponthoz

Minden fentebb leírt a manuális út, és működik. A platform út a kontrollt cseréli el azért, hogy ne kelljen GPU-val vagy Python környezettel rendelkeznie.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Mi romlik el valójában

A fájdalom szinte soha nem a betanítási parancsban rejlik. Hanem a körülötte lévő dolgokban, aszerint rendezve, hogy milyen gyakran okoznak problémát elsőre.

Két sor kiemelést érdemel. Az ACT LeRobot v3.0-n tanít, míg a GR00T betöltője összeomlik rajta és v2.1-et igényel, így egy ACT-t betanító adatkészlet meghiúsíthat egy GR00T futtatást. Az utolsó sorban két javítás található: az ACT szerzői a rángatózó mozgásra több betanítással válaszolnak, míg n_action_steps 100-nál egy valódi megakadás egy adatblokk határánál jelentkezik, ami egy látható szünetet jelent 3.3 másodpercenként 30 fps-nél. Még két dolog, amit érdemes tudni: egyetlen halott ízület általában egy soha nem írt szervó azonosító, és egy megközelítő, de soha be nem záró megfogó túl kevés megfogó tartományt jelent a demonstrációkban. Teljes index: a hibamód oldalak.

Mennyibe kerül egy futtatás

Ez az érv amellett, hogy ACT-vel kezdjünk, még akkor is, ha később VLA-t szeretnénk. Egy sikertelen ACT futtatás egy kávé árába kerül, és órákon belül megmondja, hogy az adatkészleted tartalmazza-e a feladatot. Egy sikertelen GR00T futtatás négyszer annyiba kerül ugyanazért a tanulságért. A későbbi váltás GR00T N1.7 vagy SmolVLA utána egy formai változás, nem pedig újjáépítés. Háttér: látás-nyelv-akció modellek, a teljes SO-100 útmutató, képezd az első irányelvedet és utánzásos tanulás. Nincs kar? Az élő oldal valós SO-100-at közvetít, amit regisztráció nélkül vezethet.