Jak trenować SmolVLA na karcie graficznej 24 GB (lerobot 0.6.1)

Większość ludzi, którzy chcą modelu wizualno-językowo-akcyjnego na prawdziwym ramieniu, zatrzymuje się na linii sprzętowej. GR00T N1.7 i Pi0.5 mają po około trzy miliardy parametrów i wymagają A100 80 GB lub H100. Jeśli posiadasz komputer gamingowy z RTX 4090, to koniec drogi. SmolVLA jest wyjątkiem: 450 M parametrów, wewnątrz LeRobot, zbudowany do dostrajania na jednej karcie konsumenckiej i serwowania z procesora.

Najpierw droga manualna: zainstaluj lerobot, pobierz checkpoint lerobot/smolvla_base, uruchom prawdziwe polecenie, obserwuj przebieg. Następnie droga przez platformę i miejsca, gdzie nie pomaga.

Czym jest SmolVLA, w liczbach, które możesz sprawdzić

SmolVLA to dopasowywanie przepływu polityka zaimplementowana w małym wizyjnym modelu językowym. Podstawą jest SmolVLM2-500M-Video-Instruct; artykuł zachowuje tylko pierwsze 16 warstw jego modelu językowego, ogranicza każdą klatkę kamery do 64 tokenów wizualnych z przetasowaniem pikseli zamiast kafelkowania obrazu i przeplata uwagę krzyżową z warstwą uwagi własnej co drugi blok. Koszt wnioskowania był ograniczeniem projektowym, a nie kwestią drugorzędną.

Benchmarki są powodem, dla którego ludzie zawracają sobie głowę modelem 450 M. Na LIBERO osiąga średnio 87,3 procenta w porównaniu do 76,5 dla OpenVLA o rozmiarze 7 B i 86,0 dla wstępnie wytrenowanego w robotyce Pi0 o rozmiarze 3,3 B; na Meta-World, 57,3 w porównaniu do 47,9. Na rzeczywistym sprzęcie SO-100, szkolenie wielozadaniowe daje 75 procent w zadaniach typu pick and place, 90 w układaniu, 70 w sortowaniu, średnio 78,3, gdzie ACT wytrenowany dla każdego zadania osiągnął średnio 48,3. Te same wiersze znajdują się obok każdego opublikowanego VLA w wpisie SmolVLA do areny oraz w porównaniu ACT ze SmolVLA.

Dlaczego karta 24 GB to dobry wybór na początek

LeRobot dostarcza przewodnik po rozmiarach obliczeniowych, najprzydatniejszą stronę w repozytorium w tym celu. Grupują one polityki według rozmiaru backbone i podają jedną kopertę VRAM na grupę, mierzoną przy rozmiarze wsadu 8 z AdamW, domyślnym dla lerobot. Sam stan optymalizatora dodaje od 30 do 100 procent w stosunku do samego przejścia w przód i w tył, więc nie są to wartości uwzględniające tylko wagi.

Argumentem jest dziesięć do szesnastu gigabajtów przy rozmiarze wsadu 8: karta 24 GB mieści to plus dataloader. AY-Robots umieszcza SmolVLA na RTX 4090 lub dowolnej karcie 24 GB, minimum 30 epizodów, LeRobot v3.0 danych, 245 ms na krok akcji. Wynajęte, to jest od 2 do 5 godzin po 0.30 do 0.60 USD za godzinę, około 1 do 3 USD za dostrajanie uruchomienie, w porównaniu do 4 do 12 USD na poziomie 80 GB, którego potrzebują GR00T i Pi0.5 (cennik). Nieudane uruchomienie SmolVLA to koszt kawy; nieudane uruchomienie GR00T to koszt obiadu.

Krok 0: zbiór danych decyduje o uruchomieniu, a nie flagi

Nic poniżej nie ma znaczenia, jeśli nagranie jest złe. Strona LeRobot SmolVLA jest dosadna: referencyjny zbiór danych składał się z 50 epizodów w 5 pozycjach kostki, po 10 na pozycję, a to samo zadanie przy 25 epizodach wypadło źle. Powtórzenia na wariację uogólniają, surowa liczba epizodów nie. Nigdy nie nagrywałeś? Zacznij od nagrywania swojego pierwszego zbioru danych z klientem desktopowym, który zapisuje format LeRobot z sesji teleoperacji, lub pożycz jeden z katalogu zbiorów danych.

• Co najmniej 30 epizodów na AY-Robots, około 50 dla referencyjnej receptury LeRobot.
• Każda wariacja, której oczekujesz podczas wdrożenia, powtórzona kilkukrotnie.
• Jeden ciąg zadania, zapisany identycznie w czasie nagrywania i wdrożenia. Model jest warunkowany tym tekstem.
• Stałe kamery. Kamera przesunięta między nagrywaniem a wdrożeniem jest najczęstszym powodem, dla którego czysta krzywa strat daje nieruchome ramię.
• Wydzielona wariacja, na której nigdy nie trenowałeś, aby mieć coś uczciwego do testowania.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Więcej na ten temat w jak zbierać wysokiej jakości dane treningowe VLA. Krótka wersja: 30 do 50 czystych epizodów jednego zadania z celową wariacją przewyższa 200 niedbałych epizodów trzech, z marginesem, którego żaden hiperparametr nie jest w stanie zamknąć.

Zainstaluj lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Podstawowa instalacja lerobot jest lekka i ukrywa ciężkie zależności za dodatkami: smolvla dodaje transformery, num2words i accelerate, training stos danych i wandb, core_scripts zależności sprzętowe i wizualizacyjne. Na Linuksie ścieżka instalacji decyduje również o wersji CUDA wheel: domyślna wersja PyPI to cu130 wheel z minimalną wersją sterownika 580.65, więc na starszym sterowniku najpierw zainstaluj torch z indeksu cu128, a następnie lerobot.

Przebieg szkolenia, komenda po komendzie

1. 1
   Uwierzytelnij się w Hub

   Bazowy punkt kontrolny pochodzi z Hub, a Twój zestaw danych prawdopodobnie również.

   bash

   hf auth login

2. 2
   Przeczytaj opcje raz

   Każde pole konfiguracji potoku i polityki jest flagą. Przejrzyj je, zanim zagłębisz się w kod źródłowy.

   bash

   lerobot-train --help

3. 3
   Rozpocznij dostrajanie

   Przykład z dokumentacji uruchamia partię 64 na pojedynczym A100; własna kotwica A100 40 GB z przewodnika obliczeniowego to partia 16, a 8 to odpowiednik 24 GB. Celowo brak flagi harmonogramu, patrz poniżej.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Przeczytaj linię logu, nie tylko stratę

   Co --log_freq kroków lerobot wyświetla loss, grdn, lr, updt_s, data_s, smp/s oraz, na CUDA, mem_gb. mem_gb informuje, czy partia mieści się w pamięci, lr czy harmonogram zanika, a data_s zbliżające się do updt_s oznacza, że wąskim gardłem jest dataloader, a nie GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Zbieraj punkty kontrolne, które możesz porównać

   save_freq domyślnie wynosi 20000, więc uruchomienie na 20000 kroków pozostawia jeden punkt kontrolny i nic do porównania. Ustaw 2000. Wypychanie do Hub wymaga --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Wznów, jeśli maszyna się wyłączy

   Wskaż --config_path na train_config.json obok punktu kontrolnego. lerobot odmawia uruchomienia w istniejącym output_dir, chyba że wznawiasz, więc nie możesz przypadkowo nadpisać uruchomienia.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Flagi, które faktycznie zmieniają wynik

Domyślne ustawienia, które dziedziczysz, jeśli niczego nie zmieniasz

Konfiguracja polityki w lerobot zawiera własny optymalizator i predefiniowany harmonogram, i chyba że ustawisz use_policy_training_preset=false te predefiniowane ustawienia mają pierwszeństwo. Połowa pytań, które ludzie zadają na temat treningu SmolVLA, znajduje odpowiedź w domyślnym ustawieniu, o którego istnieniu nie wiedzieli.

Dwie linie, które zaskakują ludzi, to freeze_vision_encoder i train_expert_only, obie ustawione na true. Domyślnie trenujesz około 100 M parametrów, a nie 450 M, dlatego mieści się to na 24 GB. Własne uruchomienie referencyjne LeRobot na klastrze czterech GPU H100 zmienia obie wartości na false; na jednej karcie 24 GB zamienia to działające uruchomienie w awarię z powodu braku pamięci.

Ile trwa uruchomienie i ile kroków wystarczy

LeRobot publikuje punkty odniesienia czasu rzeczywistego dla pięciu epok na zbiorze danych składającym się z około 50 epizodów, około 45000 klatek przy 30 fps. Są to wartości rzędu wielkości, jak podają dokumenty, ale stanowią różnicę między oczekiwaniem godziny a dnia.

Uruchamianie dostrojonej polityki z powrotem na ramieniu

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms na krok akcji łatwo źle zinterpretować: polityka emituje chunk_size = 50 akcji na jedno przejście do przodu i wykonuje n_action_steps = 50 z nich, więc to, jak często ponosisz ten koszt, jest ustalane przez te parametry, a nie przez to, jak często serwa otrzymują polecenie. To właśnie fragmentowanie akcji zapewnia i dlatego model 245 ms może sterować ramieniem 30 Hz. Pozostaje opóźnienie wnioskowania na koniec fragmentu.

Ten trzeci wiersz to coś, co większość opracowań pomija. Asynchroniczne wnioskowanie jest o około 30 procent szybsze i z grubsza podwaja przepustowość w stałym oknie czasowym, a artykuł określa wskaźniki sukcesu jako porównywalne, co średnio jest prawdą. Pod tym, sortowanie spadło z 70 do 50 procent, podczas gdy podnoszenie i umieszczanie zyskało 5. lerobot 0.6.1 zawiera drugą dźwignię w tym samym pliku binarnym: --inference.type=rtc przełącza wykonanie na fragmentowanie w czasie rzeczywistym, co blok użycia skryptu zaleca dla wolnych VLA, Pi0, Pi0.5 i SmolVLA.

Dwie drogi do tego samego punktu kontrolnego

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kiedy SmolVLA jest złym wyborem

Testem na to, czy SmolVLA był właściwym pierwszym uruchomieniem, nie jest to, czy zadziałał, ale to, czy awaria czegoś cię nauczyła. Osiągnij 60 lub 70 procent, a większy model jest rozsądnym kolejnym wydatkiem: dane niosą sygnał. Osiągnij 10 procent, a model 3 B najprawdopodobniej również osiągnie 10 procent, czego właśnie nauczyłeś się za trzy dolary zamiast dwunastu.

Warto przeczytać przed wydaniem więcej: Pi0.5 kontra SmolVLA dla większej pojemności na tej samej idei, oraz GR00T N1.7 kontra SmolVLA dla ścieżki NVIDIA, oba w tierze 80 GB za 4 do 12 USD za uruchomienie. Inna opcja, ACT to tańsza podstawa: 80 M parametrów, 20 ms na krok akcji, bez warunkowania językowego. Wszystkie pięć znajduje się na stronie polityk; arenie ma 85 modeli i 332 wyniki benchmarków.

Lista kontrolna przed skalowaniem czegokolwiek

1. Czy lr osiągnął swój dolny limit 2.5e-6? Poniżej 30000 kroków lerobot przeskalowuje zanik i informuje o tym przy uruchomieniu; powyżej, ustaw --policy.scheduler_decay_steps samodzielnie.
2. Więcej niż jeden punkt kontrolny i epizody wyłączone z --dataset.eval_split, aby strata ewaluacyjna miała sens.
3. Czy polityka w ogóle się porusza? Spadająca strata przy nieruchomym ramieniu ma konkretne przyczyny: strata spada, polityka nic nie robi.
4. Czy przetrwa zmianę sceny? Jeśli nie: polityka działa tylko w jednej konfiguracji.
5. Czy zapisałeś ziarno? lerobot domyślnie ustawia 1000, więc dwa nietknięte uruchomienia pozostają porównywalne.
6. Tylko wtedy: więcej epizodów, więcej wariacji lub większy model. W tej kolejności.

Aby dowiedzieć się, dlaczego te modele istnieją i co robią z danymi językowymi, to podstawa; przeprowadza montaż poprzez do pierwszego uruchomienia . Aby uruchomić ukończony punkt kontrolny, ; jeśli ramię nigdy się nie pojawi, .