Małe Modele VLA: TinyVLA, SmolVLA i przypadek poniżej 1B

Prawie każdy model wizyjno-językowo-akcyjny o którym się pisze, zakłada kartę do centrum danych. OpenVLA ma 7 B parametrów. GR00T N1.7 i Pi0.5 mają około 3 B i wymagają A100 80 GB do dostrajania. Jeśli karta na Twoim biurku to 4090, ta klasa modeli jest poza zasięgiem.

Dwie prace naukowe dowodzą, że nie jest to potrzebne. TinyVLA (arXiv 2409.12514, przyjęte przez IEEE Robotics and Automation Letters w lutym 2025) buduje VLA z rdzenia od 400 M do 1.3 B plus głowicy akcji dyfuzyjnej. SmolVLA (arXiv 2506.01844, zgłoszone 2 czerwca 2025) dostarcza 450 M parametrów z otwartymi wagami, otwartymi danymi i skryptem, który działa na jednej karcie konsumenckiej. Oto, co oba zmierzyły i gdzie argument o modelach poniżej 1 B przestaje być aktualny.

Co faktycznie liczy się jako mały VLA

Liczba parametrów na karcie modelu nie jest jedną liczbą. Może oznaczać całkowitą liczbę wag, wag załadowanych podczas wnioskowania lub wag, które otrzymują gradienty podczas . TinyVLA raportuje obie wartości, a różnica jest duża: TinyVLA-H ma łącznie 1,3 B, ale 143 M jest trenowalnych, ponieważ wieża wizyjna i większość modelu językowego pozostają zamrożone, podczas gdy adaptery LoRA i głowica akcji się zmieniają. Artykuł podaje, że udział trenowalnych parametrów wynosi około 5 procent.

Dwa wiersze są warte dyskusji. o rozmiarze około 80 M jest mniejszy niż wszystkie inne tutaj, ale nie posiada modelu językowego, więc nie jest VLA: uczy się jednego zadania i nie można mu zlecić innego. o rozmiarze 27 M jest warunkowany przez koder tekstu T5-Base, a nie przez architekturę bazową LLM. Dobre punkty odniesienia, ale żaden z nich nie zapewnia zgodności z instrukcjami, którą sugeruje etykieta.

TinyVLA: szybkość pochodzi z głowicy, nie z rdzenia

Oczywista interpretacja jest taka, że zmniejszyli model językowy, więc stał się szybszy. Ablacja w artykule mówi co innego. Zamiana rdzenia OpenVLA 7 B na rdzeń o rozmiarze około 1 B skróciła czas predykcji na akcję z 292 ms do 140 ms, co stanowi 2-krotny wzrost wydajności. TinyVLA-H, przy porównywalnej liczbie parametrów, działa w 14 ms na tej samej karcie. Pozostałe 10x to głowica akcji.

OpenVLA emituje akcje jako zdyskretyzowane tokeny poprzez głowicę modelu językowego, jeden na wymiar akcji, autoregresywnie. TinyVLA dołącza dekoder dyfuzyjny, który wytwarza cały fragment za jednym razem. Tabela V przedstawia architekturę TinyVLA-H i zamienia tylko głowicę, na tych samych pięciu zadaniach rzeczywistych robotów. Jest to najczystszy dowód w obu artykułach na poparcie argumentu, który dopasowanie przepływu polityki tworzą, oraz powód, dla którego Pi0 odeszło od dekodowania tokenów.

Co osiągnął TinyVLA

Wiersz bimanualny ma nudne wyjaśnienie, które podaje sama praca: OpenVLA jest wstępnie trenowany na Open X-Embodiment, który składa się wyłącznie z danych dla jednej ręki, więc przestrzeń akcji dla dwóch rąk jest poza rozkładem i uzyskuje zero punktów. Podstawowa polityka dyfuzji pokonuje TinyVLA-H w dwóch z tych trzech zadań. Tło w opracowaniu Open X-Embodiment.

Repozytorium TinyVLA, stan na sierpień 2026

Praca jest dobra. Kod to wersja badawcza. Repozytorium to github.com/liyaxuanliyaxuan/TinyVLA; jego README datuje wydanie kodu na 17 lutego 2025, a ostatni commit na 11 marca 2025. Dobre do reprodukcji pracy, problem, jeśli chciałeś utrzymywanej biblioteki.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA również nie odczytuje zbiorów danych LeRobot. Jego format to HDF5 w stylu ACT: akcja, language_raw oraz grupa obserwacji z obrazami wielowidokowymi, joint_positions, qpos i qvel. Repozytorium dostarcza data_utils/rlds_to_h5py.py dla danych wejściowych RLDS, a każde zadanie jest ręcznie rejestrowane w aloha_scripts/constants.py z jego dataset_dir, episode_len i camera_names. Jeśli Twoje epizody pochodziły z lerobot lub klienta desktopowego, to Ty odpowiadasz za konwersję.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 zakłada węzeł z ośmioma kartami. Ustaw na 1 i znacznie zmniejsz rozmiar partii poniżej 32. Żaden wariant z pojedynczym GPU nie jest dostarczany w górę strumienia, więc polecenie nie może być uruchomione dosłownie na 4090.
• --deepspeed scripts/zero2.json wskazuje na plik, który nie znajduje się w katalogu scripts najwyższego poziomu. Konfiguracje DeepSpeed są dostarczane w llava-pythia/scripts/zero2.json. Popraw ścieżkę przed pierwszym uruchomieniem.
• Plik README wymaga, aby nazwa katalogu wyjściowego zawierała llava_pythia, plus lora, jeśli LoRA jest włączona.
• Backbone jest osobnym pobraniem: lesjie/Llava-Pythia-400M, -700M lub -1.3B. Nie ma pojedynczego bazowego punktu kontrolnego, na który wskazuje się politykę w taki sposób, w jaki wskazuje się na lerobot/smolvla_base.

SmolVLA: model poniżej 1 B, który możesz uruchomić dziś po południu

SmolVLA przedstawia ten sam argument w ramach utrzymywanej biblioteki. Ma 450 M parametrów na backbone SmolVLM2-500M-Video-Instruct, a wydajność wynika z ustawień, które można odczytać z configuration_smolvla.py, a nie z twierdzenia o byciu małym.

Wstępne szkolenie wykorzystało 481 społecznościowych zbiorów danych LeRobot, 22,9 tys. epizodów i 10,6 mln klatek na 4 procesorach graficznych, 200000 kroków przy globalnej partii 256; artykuł szacuje cały projekt na około 30 tys. godzin GPU. Jedna liczba do obserwacji: blog startowy Hugging Face podaje 487 wyselekcjonowanych zbiorów danych, podczas gdy tabela w artykule mówi o 481. Używamy danych z artykułu i odnotowujemy rozbieżność.

Jeden przypadek pomaga: tabela Meta-World z artykułu SmolVLA zawiera własne opublikowane liczby TinyVLA jako punkt odniesienia, więc tym razem oba modele znajdują się w jednej tabeli, SmolVLA-0.45B na poziomie 57.3 w porównaniu do TinyVLA-H na poziomie 31.6. Raportuje również, że szkolenie SmolVLA jest około 40 procent szybsze niż Pi0 przy 6-krotnie mniejszym zużyciu pamięci. Wszystko to pochodzi od autorów SmolVLA; wpis na arenie łączy każdą wartość z jej źródłem.

Gdzie SmolVLA spędza swój czas

AY-Robots wymienia SmolVLA na 245 ms na krok akcji, a ACT na 20 ms w katalogu polityk. TinyVLA raportuje 14 ms na przewidywanie akcji. Te liczby nie są porównywalne, a traktowanie ich jako takie jest najczęstszym błędem w tym temacie: niektóre mierzą jedno przejście w przód, inne dzielą to przejście na fragment, gdy dzielenie akcji na fragmenty je amortyzuje.

• SmolVLA emituje 50 akcji na jedno przejście w przód i wykonuje wszystkie 50. Przy 30 klatkach na sekundę, które artykuł wykorzystuje na prawdziwych robotach, jedna inferencja obejmuje około 1.7 sekundy ruchu.
• Asynchroniczna inferencja oblicza następny fragment, podczas gdy bieżący jest nadal wykonywany: średni czas ukończenia zadania 9.7 s w porównaniu do 13.75 s synchronicznie, czyli około 30 procent szybciej, oraz 19 cykli podnoszenia i odkładania w stałym 60-sekundowym oknie w porównaniu do 9.
• Wskaźniki sukcesu były porównywalne, a nie lepsze: 78.3 synchronicznie w porównaniu do 73.3 asynchronicznie. Asynchroniczność zwiększa przepustowość, nie dokładność.
• Dzielenie na fragmenty ukrywa opóźnienia obliczeniowe, a nie opóźnienia sieciowe, i sprawia, że polityka jest mniej reaktywna, ponieważ jest zobowiązana do wykonania 50 akcji.

Dostrajanie SmolVLA na jednej karcie konsumenckiej

Ścieżka manualna, na lerobot 0.6.1, aktualnej wersji PyPI z 23 sierpnia 2026. Wszystko poniżej pochodzi z dokumentacji Hugging Face lerobot SmolVLA, pobranej tego samego dnia; wersja z przewodnikiem jest łagodniejsza.

1. 1
   Zainstaluj lerobot z dodatkiem smolvla

   Zależności SmolVLA są opcjonalnym dodatkiem, nie są częścią podstawowej instalacji. Zainstalowanie bez nich, a następnie zastanawianie się, dlaczego typ polityki jest nieznany, to często stracone pół godziny.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Uzyskaj zbiór danych z wystarczającą liczbą epizodów

   Dokumentacja zaleca około 50 epizodów i stwierdza, że to samo zadanie z 25 epizodami było niewystarczające. AY-Robots ustala minimum na 30. Nagraj własne, lub zacznij od katalogu zbiorów danych.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Rozpocznij dostrajanie

   Polecenie z przewodnika lerobot, bez modyfikacji. Dokumentacja szacuje 20000 kroków na około 4 godziny na jednej A100. Na karcie 24 GB spodziewaj się dłuższego czasu i zmierz go.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Zmniejsz rozmiar partii, aż będzie pasować

   batch_size=64 to udokumentowany przykład, a nie obietnica dotycząca Twojej karty. Dokumentacja zaleca zaczynanie od małych wartości i zwiększanie ich, dopóki czasy ładowania pozostają krótkie.

   bash

   lerobot-train --help

5. 5
   Wdróż punkt kontrolny na ramieniu

   Ta sama biblioteka, jedno polecenie. Flagi do chunkowania w czasie rzeczywistym są skomentowane w dokumentacji i to po nie należy sięgnąć na sprzęcie o niskiej mocy.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dwa sposoby na umieszczenie małego VLA na ramieniu

Kiedy mały model jest złym wyborem

Obie prace są tutaj bardziej ostrożne niż ich streszczenia. Analiza błędów TinyVLA jest specyficzna: wariant 0.4 B trzykrotnie zawiódł, błędnie interpretując instrukcję, co autorzy przypisują ograniczonej zdolności rozumienia języka w mniejszym VLM, a ten tryb zniknął przy 1.3 B. SmolVLA pokazuje tę samą krzywą z drugiej strony: wersja 2.25 B identycznej architektury uzyskuje 88.75 punktów w LIBERO i 68.24 w Meta-World, w porównaniu do 87.3 i 57.3 dla modelu 0.45 B.

Porównanie, które warto przeprowadzić, to nie TinyVLA kontra SmolVLA. To SmolVLA kontra ACT na Twoim własnym zadaniu, a artykuł SmolVLA jest argumentem, dlaczego. Trenowany jednorazowo bez wstępnego trenowania robotyki, SmolVLA uzyskał średnio 40.0 punktów w trzech zadaniach SO-100, gdzie jednorazowy ACT osiągnął 48.3. To, co podnosi go do 78.3, to wstępne trenowanie społecznościowe plus trenowanie wielozadaniowe, a nie sama architektura. W zadaniu SO-101 z klockami lego, oba jednorazowe, SmolVLA wygrywa: 90 do 70 w dystrybucji. Następnie SmolVLA kontra Pi0.5 jeśli budżet na to pozwala.

Tabela decyzyjna, na podstawie której możesz działać

Dla ostatniego wiersza, ramię na żywo przesyła obraz fizycznego SO-100, którym można sterować z przeglądarki bez konta, a trzy sposoby na rozpoczęcie obejmują resztę. SO-100 to ramię referencyjne, kosztujące około 110 do 150 EUR w częściach, z pełnym przewodnikiem konfiguracji.

Co następuje po modelach poniżej 1 B

Zmniejszenie liczby parametrów to jeden ze sposobów na obniżenie kosztów VLA i niekoniecznie ten zwycięski. OpenVLA-OFT (arXiv 2502.19645) zachowuje rdzeń 7 B i zmienia jedynie sposób dekodowania akcji, zgłaszając 26-krotny wzrost przepustowości generowania akcji i wzrost LIBERO z 76,5 do 97,1 procent. BitVLA (arXiv 2506.07530) sprawia, że każda waga 1-bitowego rdzenia BitNet b1.58 2B4T jest trójstanowa, zgłaszając 11,0x mniejsze zużycie pamięci i 4,4x niższe opóźnienie end-to-end, jednocześnie dorównując pełnej precyzji OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) plasuje się na linii 1 B z dopasowaniem przepływu.

Wspólny wątek: to dekoder akcji, a nie model językowy, jest źródłem opóźnień. Zapytaj, jak polityka emituje akcje, zanim zapytasz, ile ma parametrów. arena zawiera 85 modeli i 332 wyniki, każdy połączony ze swoim źródłem; szerszy przegląd znajduje się w naszym wprowadzeniu do VLA.