Jak wytrenować ACT na SO-100 od podstaw

ACT wyróżnia się spośród polityk SO-100. GR00T N1.7 i N1.5 zaczynają od nvidia/GR00T-N1.7-3B i nvidia/GR00T-N1.5-3B, Pi0.5 od lerobot/pi05_base. ACT zaczyna od zera: nie ma bazowego punktu kontrolnego, ponieważ nie jest modelem fundamentalnym. Jest to transformator o około 80 milionach parametrów, który trenujesz od podstaw dla jednego zadania, na swoim ramieniu, w swoim oświetleniu.

Dlatego też wykonuje krok sterowania w 20 ms, podczas gdy VLA z 3 miliardami parametrów potrzebuje od 152 do 485 ms i kosztuje od 1 do 3 USD za uruchomienie zamiast od 4 do 12. Ten przewodnik przedstawia ręczną ścieżkę z lerobot na SO-100: nagrywanie, konfiguracja act, co chunk_size i n_action_steps kontrolują, harmonogram 100000 kroków, wdrożenie. Następnie to samo zadanie na AY-Robots, włączając miejsca, gdzie platforma nie pomaga.

Czym właściwie jest ACT

Action Chunking with Transformers pochodzi z artykułu ALOHA, Uczenie się precyzyjnej manipulacji dwuręcznej za pomocą taniego sprzętu, autorstwa Zhao, Kumara, Levine'a i Finna, arXiv, 23 kwietnia 2023. Urządzenie nagrywa z częstotliwością 50 Hz za pomocą czterech kamer internetowych przesyłających obraz 480x640 przy 30 kl./s: dwie na chwytakach, jedna górna, jedna przednia. Abstrakt twierdzi, że osiągnięto sześć umiejętności z 80 do 90 procentową skutecznością, w tym otwieranie przezroczystego pojemnika na przyprawy i wkładanie baterii, na podstawie 10 minut demonstracji.

Treść jest bardziej przydatna podczas planowania sesji nagraniowej: 50 demonstracji na zadanie, z wyjątkiem Thread Velcro przy 100, co stanowi 10 do 20 minut danych i 30 do 60 minut czasu rzeczywistego po uwzględnieniu resetów. Sukces również nie jest jednolity: Thread Velcro kończy się na 20 procentach, Put On Shoe na 92, Cup Open 84, Prep Tape 64.

Chunking akcji to cała idea

Zwykłe klonowanie behawioralne mapuje jedną obserwację na jedną akcję, a błędy się kumulują: odchylenie powoduje, że ramię znajduje się poza rozkładem, co prowadzi do gorszej akcji, a trzydzieści kroków później chwytak jest daleko od obiektu. Chunking akcji przewiduje k akcji jednocześnie i je wykonuje, zmniejszając efektywny horyzont o czynnik k. Radzi sobie również z uciążliwością specyficzną dla danych ludzkich: teleoperatorzy robią przerwy, a jednokrokowa markowska polityka nie może modelować pauzy, która zależy od tego, co było wcześniej.

Artykuł bada wpływ k, zamiast go narzucać. Przy wyłączonym ensemblowaniu czasowym, uśrednionym dla czterech ustawień, sukces wzrasta z 1 procenta przy k = 1 do 44 procent przy k = 100, a następnie stabilizuje się przy 200 i 400, gdy polityka zbliża się do sterowania w otwartej pętli. Ta krzywa jest powodem, dla którego domyślna wartość to 100.

• chunk_size: ile przyszłych akcji dekoder przewiduje na jedno przejście do przodu. Domyślnie 100.
• n_action_steps: ile z nich wykonujesz przed ponownym zapytaniem. Domyślnie 100, więc lerobot wykonuje cały fragment w otwartej pętli.
• lerobot sprawdza, czy n_action_steps <= chunk_size i zgłasza ValueError, jeśli warunek jest odwrotny.

Operacyjnie liczy się chunk_size podzielone przez liczbę klatek na sekundę (frame rate). Przy 30 fps, używanych w przykładach SO-100 lerobota, fragment 100 akcji obejmuje około 3.3 sekundy od jednej obserwacji. Jeśli zadanie wymaga korekty w tym oknie, zmniejsz n_action_steps, a nie chunk_size: zachowujesz długą predykcję i częściej dokonujesz ponownych obserwacji.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Kiedy ACT przewyższa model bazowy

Pięć możliwych do trenowania polityk obok siebie, z liczbami, które AY-Robots mierzy i wykorzystuje do określenia rozmiaru wynajmowanego GPU.

Wybierz ACT, gdy zadanie i scena są stałe, a ruch musi być szybki i precyzyjny. Wybierz , gdy jeden punkt kontrolny musi obejmować kilka instrukcji. Dwie strony porównują decyzje bezpośrednio: i . Dla opublikowanych benchmarków, łączy każdą liczbę z jej źródłem.

Czego potrzebujesz, zanim zaczniesz

Jedno ramię podążające, jedno ramię wiodące do , co najmniej jedna kamera, GPU 24 GB. ACT odczytuje tylko obrazy i pozycje stawów. Dwie kamery to optymalne rozwiązanie: stały widok z przodu, aby widzieć, gdzie znajdują się obiekty, kamera na nadgarstku, aby widzieć, czego ma dotknąć, podobnie jak w ALOHA.

Od samego ramienia do zarejestrowanego zbioru danych

Poniższy przepływ dotyczy lerobot 0.6.x. Pomiń go, jeśli masz skalibrowane ramię i zbiór danych. W przeciwnym razie przewodnik wprowadzający SO-100 obejmuje montaż, instruktaż nagrywania obejmuje przechwytywanie, a dokumentacja zbiorów danych format.

1. 1
   Zainstaluj lerobot z odpowiednimi dodatkami

   Nagrywanie wymaga core_scripts, trening training, serwa Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Znajdź port USB każdego ramienia

   Uruchom z podłączonymi obydwoma ramionami, odłączając jedno po wyświetleniu monitu. Na Linuksie może być konieczne otwarcie uprawnień węzła.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Ustaw identyfikatory silników i prędkość transmisji

   W przypadku SO-100 dzieje się to przed montażem: w przeciwieństwie do SO-101 złącza są niedostępne po złożeniu. Skrypt przechodzi przez magistralę silnik po silniku, zaczynając od chwytaka, zapisując identyfikatory do EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Skalibruj oba ramiona

   Ustaw każdy staw w środku jego zakresu, naciśnij Enter, a następnie przesuń każdy przez jego pełny zakres. Kalibracja pozwala na uruchomienie polityki wytrenowanej na jednym ramieniu na innym. Użyj ponownie tego samego id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperuj raz z włączonymi kamerami

   Zasada kciuka lerobot: powinieneś być w stanie wykonać zadanie, patrząc tylko na obrazy z kamery. Jeśli nie możesz, ACT również nie może. To wyłapuje więcej złych zbiorów danych niż późniejsze debugowanie.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Nagraj 50 epizodów

   50 to minimum AY-Robots i to, czego ALOHA używała na zadanie. lerobot zaleca 10 na lokalizację obiektu, kamery stałe, chwyt spójny. n kończy epizod, r nagrywa ponownie, q zatrzymuje i koduje.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Przed treningiem odtwórz co najmniej pięć epizodów. przechowuje strumienie z kamer, stany stawów i akcje na , a odtwarzanie przesyła te akcje z powrotem do ramienia. Jeśli odtwarzanie nie wykonuje zadania, dane go nie zawierają, a trening go nie wymyśli.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Trenowanie polityki ACT

To jest całe polecenie. Wszystko, co jest specyficzne dla ACT, jest już domyślne, dlatego strona lerobot ACT zaleca rozpoczęcie od nich.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act wczytuje ACTConfig, który dostosowuje się do liczby silników i kamer zarejestrowanych w Twoim zbiorze danych, więc nigdy nie deklarujesz kształtu obserwacji. --wandb.enable=true jest opcjonalne i warto: krzywa strat jest jedynym tanim sygnałem w przebiegu 100000 kroków. Harmonogram pochodzi z konfiguracji treningowej lerobot, a nie ACTConfig: 100000 kroków, partia 8, ziarno 1000, punkt kontrolny co 20000 kroków, logowanie co 200.

Pełne uruchomienie pozostawia pięć katalogów punktów kontrolnych, od 020000 do 100000, plus dowiązanie symboliczne ostatni. Zachowaj je wszystkie: najlepsza polityka często nie jest tą ostatnią.

Czas trwania: około 5 godzin na karcie RTX 2080 Ti 11 GB (według artykułu), kilka godzin dla 100 tys. kroków na stronie ACT lerobot, 2 do 5 godzin na warstwie 24 GB AY-Robots. Nie skracaj tego. Plik README repozytorium referencyjnego mówi, że niestabilna lub przerywająca się polityka zazwyczaj potrzebuje więcej treningu, ponieważ sukces i płynność nadal się poprawiają po ustabilizowaniu się funkcji straty: dla danych rzeczywistych wymaga co najmniej 5000 epok, czyli 3 do 4 razy dłużej po plateau.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Uruchamianie wytrenowanej polityki na ramieniu

Wdrożenie wykorzystuje lerobot-rollout. Klucze kamer muszą odpowiadać nagranym: polityka wytrenowana na front i wrist nie zaakceptuje cam0 i cam1, a rename_map nie pomoże, ponieważ wymaga wstępnie wytrenowanego punktu kontrolnego. Ciąg znaków zadania można pominąć; własny przykład lerobot oznacza go jako pomijalny dla ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Aby przypiąć punkt kontrolny zamiast końcowego modelu, dodaj --policy.pretrained_revision. Wymaga to, aby uruchomienie rozpoczęło się z --save_checkpoint_to_hub=true, domyślnie wyłączone: bez tego lerobot przesyła tylko końcowy model i nic więcej. Z nim każdy punkt kontrolny jest oznaczony swoim krokiem z wiodącymi zerami, więc --policy.pretrained_revision=060000 odzyskuje ten z kroku 60000. Porównanie go z 100000 na prawdziwym ramieniu to najtańszy dostępny eksperyment.

Dwie drogi do tego samego punktu kontrolnego

Wszystko powyżej to ręczna ścieżka i działa. Ścieżka platformowa wymienia kontrolę na brak konieczności posiadania GPU lub środowiska Pythona.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Co faktycznie idzie nie tak

Prawie żaden problem nie leży w samej komendzie treningowej. Leży on w otaczających ją elementach, uporządkowanych według częstotliwości, z jaką sprawiają problemy za pierwszym razem.

Dwa wiersze zasługują na podkreślenie. ACT trenuje na LeRobot v3.0, podczas gdy loader GR00T zawiesza się na nim i wymaga v2.1, więc zbiór danych, który trenuje ACT, może spowodować błąd w uruchomieniu GR00T. A ostatni wiersz ma dwa rozwiązania: autorzy ACT odpowiadają na szarpany ruch większą ilością treningu, podczas gdy przy n_action_steps równym 100, prawdziwe zacięcie występuje na granicy fragmentu (chunk boundary), widoczna pauza co 3.3 sekundy przy 30 klatkach na sekundę. Jeszcze dwie rzeczy do zapamiętania: pojedynczy martwy staw to zazwyczaj ID serwa, które nigdy nie zostało zapisane, a chwytak, który się zbliża, ale nigdy nie zamyka oznacza zbyt mały zakres chwytaka w demonstracjach. Pełny indeks: strony z trybami awarii.

Ile kosztuje uruchomienie

To jest argument za rozpoczęciem od ACT, nawet jeśli później chcesz VLA. Nieudane uruchomienie ACT kosztuje tyle co kawa i w ciągu kilku godzin informuje, czy Twój zbiór danych zawiera zadanie. Nieudane uruchomienie GR00T kosztuje cztery razy więcej za tę samą lekcję. Przejście na GR00T N1.7 lub SmolVLA później to zmiana formy, a nie przebudowa. Tło: modele wizualno-językowo-akcyjne, kompletny przewodnik po SO-100, trenuj swoją pierwszą politykę i uczenie przez naśladowanie. Brak ramienia? strona na żywo transmituje prawdziwe SO-100 do sterowania bez rejestracji.