Jak trénovat ACT na SO-100 od začátku

ACT je výjimkou mezi politikami SO-100. GR00T N1.7 a N1.5 vycházejí z nvidia/GR00T-N1.7-3B a nvidia/GR00T-N1.5-3B, Pi0.5 z lerobot/pi05_base. ACT začíná od nuly: neexistuje žádný základní kontrolní bod, protože to není základní model. Je to transformátor s přibližně 80 miliony parametrů, který trénujete od začátku na jeden úkol, na vašem rameni, pod vaším osvětlením.

To je také důvod, proč provede řídicí krok za 20 ms, zatímco VLA s 3 miliardami parametrů potřebuje 152 až 485 ms a stojí 1 až 3 USD za běh namísto 4 až 12. Tento průvodce popisuje manuální cestu s lerobot na SO-100: záznam, konfigurace act, co řídí chunk_size a n_action_steps, plán 100000 kroků, rollout. Poté stejná úloha na AY-Robots, včetně toho, kde platforma nepomáhá.

Co je ACT ve skutečnosti

Action Chunking with Transformers pochází z článku ALOHA, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, od Zhao, Kumar, Levine a Finn, arXiv, 23. dubna 2023. Zařízení nahrává při 50 Hz se čtyřmi webkamerami streamujícími 480x640 při 30 fps: dvě na chapadlech, jedna shora, jedna zepředu. Abstrakt uvádí šest dovedností s 80 až 90procentní úspěšností, mezi nimi otevření průsvitného kelímku na koření a vložení baterie, z 10 minut demonstrací.

Hlavní text je užitečnější při plánování nahrávací relace: 50 demonstrací na úkol, kromě Thread Velcro se 100, což je 10 až 20 minut dat a 30 až 60 minut reálného času, jakmile se započítají resety. Úspěšnost také není jednotná: Thread Velcro končí na 20 procentech, Put On Shoe na 92, Cup Open 84, Prep Tape 64.

Chunking akcí je celá myšlenka

Běžné behaviorální klonování mapuje jedno pozorování na jednu akci a chyby se kumulují: odchylka posune rameno mimo distribuci, což vede k horší akci, a o třicet kroků později je chapadlo daleko od objektu. Chunking akcí předpovídá k akcí najednou a provádí je, čímž snižuje efektivní horizont o faktor k. Také řeší nepříjemnost specifickou pro lidská data: teleoperátoři se pozastavují a jednokroková Markovovská politika nemůže modelovat pauzu, která závisí na tom, co předcházelo.

Článek abluje k, spíše než aby ho tvrdil. Při vypnutém časovém ensemblingu, zprůměrováno přes čtyři nastavení, úspěšnost stoupá z 1 percenta při k = 1 na 44 procent při k = 100, poté se snižuje na 200 a 400, jak se politika blíží řízení s otevřenou smyčkou. Tato křivka je důvodem, proč je výchozí hodnota 100.

• chunk_size: kolik budoucích akcí dekodér předpoví na jeden průchod vpřed. Výchozí hodnota 100.
• n_action_steps: kolik z nich provedete před dalším dotazem. Výchozí hodnota 100, takže lerobot provede celý chunk v otevřené smyčce.
• lerobot ověřuje, že n_action_steps <= chunk_size, a vyvolá ValueError, pokud je to naopak.

Co je operačně důležité, je chunk_size děleno snímkovou frekvencí. Při 30 fps, které používají příklady SO-100 od lerobot, chunk o velikosti 100 akcí zabere přibližně 3,3 sekundy od jednoho pozorování. Pokud úkol vyžaduje korekci uvnitř tohoto okna, snižte n_action_steps, nikoli chunk_size: zachováte dlouhou predikci a častěji znovu pozorujete.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Když ACT překonává základní model

Pět trénovatelných politik vedle sebe, s čísly, která AY-Robots měří a používá k dimenzování GPU, které si pronajímá.

Zvolte ACT, když jsou úkol a scéna pevně dané a pohyb musí být rychlý a přesný. Zvolte když jeden kontrolní bod musí pokrýt několik instrukcí. Dvě stránky porovnávají rozhodnutí přímo: a . Pro publikované benchmarky, odkazuje každé číslo na jeho zdroj.

Co potřebujete, než začnete

Jedno následné rameno, jedno vedoucí rameno pro , alespoň jednu kameru, 24 GB GPU. ACT čte pouze obrazy a pozice kloubů. Dvě kamery jsou ideální: pevný přední pohled na to, kde se věci nacházejí, a zápěstní kamera na to, čeho se chystá dotknout, jako u ALOHA.

Od holého ramene k zaznamenanému datovému souboru

Níže uvedený postup je pro lerobot 0.6.x. Přeskočte jej, pokud máte kalibrované rameno a datový soubor. Jinak průvodce začátkem práce s SO-100, pokrývá montáž, návod k nahrávání pokrývá zachycení a dokumentace k datovým souborům formát.

1. 1
   Nainstalujte lerobot se správnými doplňky

   Pro nahrávání je potřeba core_scripts, pro trénink training, pro serva Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Najděte USB port každého ramene

   Spusťte jej s oběma rameny zapojenými, jedno odpojte, když budete vyzváni. Na Linuxu možná budete muset otevřít oprávnění uzlu.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Nastavte ID motorů a přenosovou rychlost

   Na SO-100 se to děje před montáží: na rozdíl od SO-101 jsou konektory po sestavení nedostupné. Skript prochází sběrnici motor po motoru od chapadla a zapisuje ID do EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Zkalibrujte obě ramena

   Nastavte každý kloub do středu jeho rozsahu, stiskněte Enter a poté každý projděte celým jeho rozsahem. Kalibrace umožňuje spuštění politiky trénované na jednom rameni na jiném. Znovu použijte stejné id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperujte jednou se zapnutými kamerami

   Pravidlo lerobota: měli byste být schopni provést úkol pouze pohledem na snímky z kamery. Pokud to nedokážete vy, nedokáže to ani ACT. To odhalí více špatných datových sad než pozdější ladění.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Nahrajte 50 epizod

   50 je minimum AY-Robots a to, co ALOHA používala na úkol. lerobot doporučuje 10 na umístění objektu, kamery pevné, úchop konzistentní. n ukončí epizodu, r znovu nahraje, q zastaví a zakóduje.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Před tréninkem přehrajte alespoň pět epizod. ukládá datové proudy z kamer, stavy kloubů a akce na , a přehrávání tyto akce vrací zpět rameni. Pokud přehrávání úkol neprovede, data jej neobsahují a trénink jej nevytvoří.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Trénování politiky ACT

Toto je celý příkaz. Vše specifické pro ACT je již výchozí, proto stránka lerobot ACT doporučuje začít s nimi.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act načítá ACTConfig, který se přizpůsobí počtu motorů a kamer zaznamenaných ve vašem datasetu, takže nikdy nemusíte deklarovat tvar pozorování. --wandb.enable=true je volitelný a stojí za to: křivka ztráty je jediný levný signál v běhu o 100000 krocích. Plán pochází z konfiguračního souboru lerobot pro trénink, nikoli z ACTConfig: 100000 kroků, dávka 8, seed 1000, checkpoint každých 20000 kroků, logování každých 200.

Úplný běh zanechá pět adresářů s checkpointy, 020000 až 100000, plus symbolický odkaz last. Ponechte je všechny: nejlepší politika často není ta poslední.

Doba trvání: přibližně 5 hodin na 11 GB RTX 2080 Ti v článku, několik hodin pro 100 tisíc kroků podle stránky ACT lerobot, 2 až 5 hodin na úrovni AY-Robots 24 GB. Nezkracujte to. README referenčního repozitáře uvádí, že trhavá nebo přerušovaná politika obvykle potřebuje více tréninku, protože úspěšnost a plynulost se stále zlepšují i po stabilizaci ztráty: pro reálná data je potřeba alespoň 5000 epoch, nebo 3 až 4násobek délky po stabilizaci.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Spuštění natrénované politiky na rameni

Nasazení používá lerobot-rollout. Klíče kamer se musí shodovat s nahranými: politika trénovaná na front a wrist nepřijme cam0 a cam1, a rename_map nepomůže, protože potřebuje předtrénovaný kontrolní bod. Řetězec úlohy lze vynechat; vlastní příklad lerobot jej označuje jako volitelný pro ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Pro připnutí kontrolního bodu namísto finálního modelu přidejte --policy.pretrained_revision. To vyžaduje, aby spuštění začalo s --save_checkpoint_to_hub=true, ve výchozím nastavení vypnuto: bez něj lerobot nahraje finální model a nic jiného. S ním je každý kontrolní bod označen svým krokem s nulovou výplní, takže --policy.pretrained_revision=060000 obnoví ten s 60000 kroky. Porovnání s 100000 na skutečném rameni je nejlevnější dostupný experiment.

Dvě cesty ke stejnému kontrolnímu bodu

Vše výše je manuální cesta a funguje. Cesta přes platformu vyměňuje kontrolu za to, že nemusíte vlastnit GPU nebo Python prostředí.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Co se skutečně pokazí

Téměř žádná bolest není v tréninkovém příkazu. Je v souvisejících věcech, seřazených podle toho, jak často se s nimi poprvé narazí na problém.

Dva řádky si zaslouží zdůraznění. ACT trénuje na LeRobot v3.0, zatímco zavaděč GR00T na něm padá a potřebuje v2.1, takže datová sada, která trénuje ACT, může selhat při spuštění GR00T. A poslední řádek má dvě řešení: autoři ACT reagují na trhaný pohyb dalším tréninkem, zatímco s n_action_steps na 100 se skutečné zasekávání objeví na hranici bloku, viditelná pauza každých 3,3 sekundy při 30 fps. Další dvě věci, které je třeba vědět: jeden mrtvý kloub je obvykle ID serva, které nebylo nikdy zapsáno, a uchopovač, který se přiblíží, ale nikdy se nezavře znamená příliš malý rozsah uchopovače v demonstracích. Úplný index: stránky s režimy selhání.

Co stojí spuštění

Toto je argument pro začátek s ACT, i když později chcete VLA. Neúspěšné spuštění ACT stojí cenu kávy a během několika hodin vám řekne, zda váš datový soubor obsahuje daný úkol. Neúspěšné spuštění GR00T stojí čtyřnásobek za stejnou lekci. Přechod na GR00T N1.7 nebo SmolVLA poté je změna formy, nikoli přestavba. Pozadí: modely vize-jazyka-akce, kompletní průvodce SO-100, natrénujte svou první politiku a učení nápodobou. Nemáte rameno? Živá stránka streamuje skutečné SO-100, které můžete řídit bez registrace.