Którą politykę VLA powinieneś trenować w 2026 roku?

Pięć polityk można dziś trenować na ramieniu klasy SO-100. Różnią się one czynnikiem 24 w inferencji opóźnienia, 37 w liczbie parametrów i 12 w koszcie uruchomienia, oraz w tym, czy można wysłać wynik. Pięć kart modeli tego nie rozstrzygnie: żadna nie odpowiada na pytanie, które masz, którą uruchomić najpierw?

Każda liczba poniżej została odczytana z artykułów, repozytoriów i kart w sierpniu 2026. Numery platform pochodzą z katalogu polityk AY-Robots; tam, gdzie się różnią, pokazane są obie.

Tabela decyzyjna

Pięciu kandydatów

Wszystkie pięć to polityki: klatki z kamery, pozycje przegubów oraz, dla czterech z nich, instrukcja językowa, mapowana na fragment przyszłych celów przegubów. To, co je różni, to ile zostało nauczone, zanim się pojawiłeś.

GR00T N1.7

Obecny model wizualno-językowo-akcyjny firmy NVIDIA, około 3 mld parametrów, z czego około 40 mln wytrenowano podczas dostrajania. Repozytorium wymienia różnice w stosunku do N1.6: szkielet z modelu Eagle dostarczonego przez dostawcę do Cosmos-Reason2-2B na Qwen3-VL, warstwy dyfuzyjne z 32 do 16, wymiary stanu i akcji z 29 do 132, horyzont akcji z 16 do 40.

W przypadku małego ramienia liczy się względna przestrzeń akcji efektora końcowego: N1.7 przewiduje delty od aktualnej pozycji, co pozwala na przeniesienie 20 tysięcy godzin ludzkich nagrań wideo EgoScale do polityki robota. Specyfikacja na stronie N1.7, procedura w przewodniku N1.7 na SO-100.

GR00T N1.5

Ta sama skala 3 B, rdzeń Eagle 2, SigLip2 i T5, głowica DiT z dopasowaniem przepływu. Istnieje, aby rozszerzyć , który już posiadasz. Dwie rzeczy sprawiają, że jest to słaby wybór domyślny: wagi posiadają jednostronną, niekomercyjną licencję NVIDIA, a obecne wydania LeRobot usunęły wsparcie dla N1.5. Zobacz .

Pi0.5

VLA firmy Physical Intelligence z , typ polityki pi05. Artykuł przedstawia VLM o rozmiarze 2 B zainicjowany z PaliGemma plus eksperta akcji 300 M, sterującego robotem z częstotliwością 50 Hz; konfiguracja pi05 LeRobot domyślnie używa 50-krokowego fragmentu, jednej sekundy przy tej szybkości. Główną zaletą są nieznane miejsca: około 400 godzin mobilnej manipulacji w prawdziwych domach oraz badanie skalowania obejmujące 3, 12, 22, 53, 82 i 104 lokalizacje, gdzie model ze 104 lokalizacji dorównał kontroli wytrenowanej na samych domach testowych.

Jedno ograniczenie, podane na karcie lerobot/pi05_base: port przenosi tylko dopasowującą przepływ głowicę akcji. Przewidywanie podzadań, tokenizacja akcji i RL nie zostały udostępnione upstream, a openpi mówi to samo o swoim własnym repozytorium. Strona Pi0.5 i przewodnik Pi0.5 na SO-100 zawierają resztę.

SmolVLA

450 M parametrów, około 100 M w ekspercie akcji, na SmolVLM-2 z zamrożonym VLM i tylko jego pierwsze 16 warstw modelu językowego. Wstępne szkolenie opierało się na danych społeczności: 481 zbiorów danych, 10.6 M klatek, z tych samych tanich ramion, których używasz. Jedyny VLA tutaj, który mieści się na jednej karcie 24 GB, i jedyny z progiem 30 epizodów. Zobacz stronę SmolVLA.

ACT

Nie jest to model podstawowy. Action Chunking Transformer z ALOHA to około 80 M parametrów trenowanych od podstaw dla każdego zadania, na 50 demonstracjach przy 50 Hz. Artykuł opisuje sześć rzeczywistych zadań dwuręcznych, z około dziesięciu minut demonstracji każde, osiągając 80 do 90 procent na przykładach, które podkreśla. Jego idea, action chunking, jest obecna w każdym modelu na tej stronie, a jego ablacja nadal mierzy najlepiej efekt: w dwóch symulowanych zadaniach z wyłączonym ensemblingiem czasowym, sukces wzrasta z 1 procenta przy k=1 do 44 procent przy k=100. Strona ACT zawiera resztę.

Co faktycznie mówią benchmarki

LIBERO to jeden z benchmarków, o którym raportują trzy z tych pięciu: zadania warunkowane językowo na symulowanym robocie Franka Panda, podzielone na cztery poniższe zestawy po dziesięć zadań każdy. NVIDIA przeprowadziła 200 prób dla każdego zestawu.

SimplerEnv pokazuje rozrzut, czego nie robi LIBERO. NVIDIA porównuje N1.7 z N1.6, co jest najbliższą publiczną rzeczą do generational delta..

Wiersz Bridge jest tym użytecznym: średnio 5.7 punktu zysku, podczas gdy put_eggplant_in_basket stracił 36, a put_eggplant_in_sink spadł z 33 do 2. Nowa generacja przesuwa rozkład zamiast go podnosić, więc jeśli twoje zadanie znajduje się tam, gdzie N1.7 zanotował regres, średnia nic nie mówi.

Spośród pięciu, tylko publikacja SmolVLA raportuje o ramieniu klasy SO-100: 78.3 procent dla SmolVLA i 61.7 dla Pi0 w trzech zadaniach, oba wielozadaniowe, w porównaniu do 48.3 dla ACT trenowanego jednorazowo, co nie jest porównaniem jeden do jednego. Czyste porównanie to oba jednorazowe zadania na SO-101 typu pick-and-place: 90 do 70 w dystrybucji, 50 do 40 poza nią. Porównaj na ACT kontra SmolVLA i Pi0.5 kontra SmolVLA, lub przeglądaj arenę.

Opóźnienie i koszt decydują o wdrożeniu

Opóźnienie wnioskowania to ograniczenie, które ludzie odkrywają na końcu i żałują jako pierwsze. Polityka o pięć punktów lepsza w benchmarku, ale zajmująca pół sekundy na krok akcji, wygląda gorzej na Twoim biurku: dynamika kontaktu nie czeka.

Jedna uwaga: dane GR00T nie zgadzają się z kartą NVIDIA, która mierzy 4 kroki odszumiania i jedną kamerę na 85.8 ms na H100 w trybie eager, 48.6 ms z torch.compile, 27.9 ms przez pełny TensorRT. Wartość 152 ms tutaj to wynik dla całego stosu, uwzględniający narzut serwowania i więcej niż jedną kamerę, a nie tylko przejście w przód.

Jednym ze sposobów na zaoszczędzenie czasu bez zmiany modelu jest to, że artykuł SmolVLA mierzy wykonanie synchroniczne, gdzie polityka kończy fragment przed przewidzeniem następnego, w porównaniu do asynchronicznego, gdzie przewidywanie nakłada się na wykonanie. Sukces jest podobny, 78.3 wobec 73.3, ale to samo zadanie podnoszenia i odkładania zajmuje 9.7 sekundy zamiast 13.75, a w ustalonym oknie robot wykonuje 19 cykli zamiast 9.

Licencje, sprawdzone bo nikt ich nie sprawdza

Wiersz Pi0.5 wymaga uwagi. Dokumentacja LeRobot pi05 podaje Apache 2.0, co jest zgodne z openpi, podczas gdy karta Hub dla lerobot/pi05_base zawiera license: gemma. Obie są aktywne. GR00T N1.7 ma łagodniejszą wersję: plik README Isaac-GR00T mimochodem wspomina, że N1.7 jest w pełni licencjonowalny komercyjnie na podstawie Apache 2.0, podczas gdy jego własna sekcja licencyjna i karta modelu umieszczają tylko kod pod Apache 2.0, a wagi pod NVIDIA Open Model License.

Domyślne ustawienia, które faktycznie uruchomisz

Każda forma trenera dostarcza domyślne ustawienia, które nie są przypadkowe. Ustawienia ACT są własnymi ustawieniami LeRobot: batch 8, lr 1e-5, 100000 kroki treningowe, rozmiar chunka 100, pasujący do ACTConfig upstream i k=100 z artykułu ACT. Jedna kolumna poniżej to pułapka.

Parametr, który ma większe znaczenie niż wybór modelu

Jest to fragment akcji. Dłuższe fragmenty zapewniają płynniejszy ruch i mniej narastających błędów, ale polityka jest zatwierdzona podczas wykonywania bloku, więc reaguje późno na wszystko, co się porusza: pewna siebie na statycznej kostce, beznadziejna na toczącej się. Jeśli przekroczy cel, skrócenie wykonanej części jest lepsze niż ponowne szkolenie i jest darmowe. Staw, który zatrzymuje się za wcześnie, to inny problem; zobacz .

• ACT: ACTConfig domyślnie używa chunk_size 100 i n_action_steps 100. Ensembling czasowy jest wyłączony i wymaga n_action_steps 1.
• GR00T N1.7: wewnętrzny horyzont wzrósł z 16 do 40, jednak przykład SO-101 LeRobota nadal działa z --policy.chunk_size=16 --policy.n_action_steps=16. Flaga rollout została zmieniona na --execution-horizon.
• Pi0.5: fragment 50-krokowy, z którego przepis LIBERO LeRobota wykonuje 10 za pomocą --policy.n_action_steps=10; z --policy.pretrained_path wraca do 50, jeśli pominiesz flagę.
• SmolVLA: 50-akcyjne fragmenty, oba parametry dostępne.

Jak przetestować wszystkich pięć w jedno popołudnie

Najtańsza odpowiedź to nie więcej czytania. Wydaj około 15 USD i pozwól ramieniu ci powiedzieć: nagraj raz, najpierw wytrenuj tani model, a następnie eskaluj, gdy dane okażą się poprawne. Struktura przewyższa objętość, co jest celem i .

1. 1
   Nagraj 50 epizodów raz

   Pięćdziesiąt przygotowuje grunt dla GR00T, Pi0.5 i ACT, oraz 30 dla SmolVLA. Powtórz każdą wariację, zamiast rozpraszać się: 50 epizodów w 5 pozycjach kostki, gdzie 25 nie było trenowanych. Zobacz nagrywanie pierwszego zbioru danych.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Najpierw wytrenuj ACT, ponieważ nie może cię okłamać

   Brak wstępnie wytrenowanych wag, więc jeśli w ogóle wykonuje zadanie, twój zbiór danych zawiera to zadanie. Jeśli ACT nie działa, napraw dane. 1 do 3 USD, 2 do 5 godzin na karcie 24 GB.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   Uruchom SmolVLA na tym samym zbiorze danych, bez zmian

   Te same dane, to samo ramię, 450 M parametrów zamiast 80 M, plus warunkowanie językowe. LeRobot szacuje uruchomienie 20 tys. kroków na około 4 godziny na jednym A100. To właśnie mówi ci, czy wstępne trenowanie cokolwiek daje.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Konwertuj do v2.1 zanim zaczniesz używać GR00T

   GR00T odczytuje wariant formatu LeRobot v2 plus dodatkowy plik meta/modality.json mapujący, jak połączone tablice stanu i akcji dzielą się na nazwane pola. Zbiór danych w wersji v3.0 powoduje awarię tego ładowania, ponieważ v3.0 pakuje wiele epizodów do współdzielonych plików, podczas gdy v2 zapisywało jeden na epizod. Isaac-GR00T dostarcza pomocnika do obniżania wersji jako scripts/lerobot_conversion/convert_v3_to_v2.py; strona odrzucenia v3 to szybka ścieżka.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Przejdź na GR00T N1.7 tylko wtedy, gdy pierwsze dwa rozwiązania nie przyniosły pełnych rezultatów

   Poprzez CLI NVIDIA, pokazane tutaj, lub typ polityki groot LeRobot. NVIDIA zaleca 40 GB lub więcej VRAM do dostrajania, 16 GB do wnioskowania. W przypadku OOM, zobacz stronę OOM.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Dwa sposoby na przeprowadzenie tego wstępnego testu

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Model bazowy czy od podstaw

Prawdziwy dylemat nie polega na wyborze modelu 3 B. Chodzi o to, czy w ogóle używać wstępnie wytrenowanego VLA, biorąc pod uwagę, że ACT nauczył się sześciu rzeczywistych zadań bimanualnych z około dziesięciu minut demonstracji każdego, z 80 milionami parametrów i niczym niewytrenowanym.

Przypadek odtwarzania starego uruchomienia

Dążenie do punktu kontrolnego z 2025 roku sprawia, że wybór modelu jest dokonany za Ciebie i zmienia problem w przypinanie wersji: obecny LeRobot odrzuca N1.5, więc przypinasz lerobot==0.5.1. Bez pola seed i z 5 do 6 procentową wariancją między uruchomieniami, reprodukcja jest z założenia przybliżona. i mają stronę platformy.

Zostały dwa? ACT kontra GR00T N1.7 i GR00T N1.7 kontra SmolVLA. Surowe wiersze znajdują się w wpisach areny: GR00T N1.7, Pi0.5, SmolVLA i ACT.

W czym ta platforma Ci nie pomoże

• Nie może przyspieszyć zdalnego wnioskowania. Pętla od 20 do 485 ms należy do modelu; podróże w obie strony przez internet dodają do tego czasu.
• Nie może dostroić GR00T ani Pi0.5 na Twoim własnym sprzęcie. Oba są tutaj tylko w chmurze; tylko SmolVLA i ACT działają lokalnie.
• Nie może naprawić zbioru danych. Spadek straty, ale polityka nic nie robi to problem z danymi, polityka, która działa tylko w jednej konfiguracji to problem z pokryciem.
• Nie może sprawić, że uruchomienia GR00T będą powtarzalne: konfiguracja nadrzędna nie ma pola seed.

Wybieramy jeden i idziemy dalej

Jedna domyślna opcja: nagraj 50 epizodów, trenuj ACT za 1 do 3 USD, aby udowodnić przydatność zbioru danych, a następnie SmolVLA na tych samych danych. Razem poniżej 6 USD, a odpowiedzą na kluczowe pytanie: czy wstępne szkolenie tutaj pomaga, czy wąskim gardłem są dane. Przejdź na GR00T N1.7 dla zadań wieloetapowych z bogatym kontaktem, na Pi0.5, gdy zmienia się scena.

Przewodnik po platformie: trenuj swoją pierwszą politykę, a następnie uruchom swoją pierwszą politykę. Dokumentacja dotycząca szkolenia oraz dotycząca zbiorów danych obejmuje formę i format; strona SO-100 oraz kompletny przewodnik po SO-100 obejmują budowę i kalibrację. Tło: przegląd VLA oraz artykuł o dopasowywaniu przepływu Pi0. Ten, który zwiększy Twój wskaźnik sukcesu, to przewodnik po jakości danych.