Malé VLA modely: TinyVLA, SmolVLA a prípad pod 1 miliardu parametrov

Takmer každý vizuálno-jazykovo-akčný model o ktorom sa píše, predpokladá kartu dátového centra. OpenVLA má 7 miliárd parametrov. GR00T N1.7 a Pi0.5 majú okolo 3 miliárd parametrov a na doladenie potrebujú A100 80 GB. Ak je karta na vašom stole 4090, táto trieda modelov je mimo dosahu.

Dva články tvrdia, že to nepotrebujete. TinyVLA (arXiv 2409.12514, prijatý IEEE Robotics and Automation Letters vo februári 2025) stavia VLA z chrbtice s 400 miliónmi až 1,3 miliardami parametrov plus difúznu akčnú hlavu. SmolVLA (arXiv 2506.01844, odoslaný 2. júna 2025) dodáva 450 miliónov parametrov s otvorenými váhami, otvorenými dátami a skriptom, ktorý beží na jednej spotrebiteľskej karte. Tu je to, čo oba modely namerali, a kde argument pod 1 miliardu prestáva platiť.

Čo sa skutočne považuje za malý VLA

Počet parametrov na karte modelu nie je jedno číslo. Môže to znamenať celkové váhy, váhy načítané pri inferencii, alebo váhy, ktoré prijímajú gradienty počas . TinyVLA uvádza oboje a rozdiel je veľký: TinyVLA-H má celkovo 1.3 B, ale 143 M trénovateľných, pretože vizuálna veža a väčšina jazykového modelu zostávajú zmrazené, zatiaľ čo adaptéry LoRA a akčná hlava sa pohybujú. Príspevok uvádza trénovateľný podiel na približne 5 percent.

Dva riadky stoja za diskusiu. s približne 80 M je menší ako všetko ostatné tu, ale nemá jazykový model, takže to nie je VLA: učí sa jednu úlohu a nemožno mu prikázať, aby robil inú. s 27 M je podmienený prostredníctvom textového kódovača T5-Base, nie chrbtice LLM. Dobré základné modely, ani jeden vám neposkytuje dodržiavanie pokynov, ktoré naznačuje štítok.

TinyVLA: rýchlosť pochádza z hlavy, nie z chrbtice

Zjavné čítanie je, že zmenšili jazykový model, takže sa zrýchlil. Ablácia v článku hovorí opak. Výmena 7 B chrbtice OpenVLA za približne 1 B znížila predikciu na akciu z 292 ms na 140 ms, čo je 2x zisk. TinyVLA-H, s porovnateľným počtom parametrov, beží na 14 ms na rovnakej karte. Ďalších 10x je akčná hlava.

OpenVLA emituje akcie ako diskretizované tokeny cez hlavu jazykového modelu, jeden na dimenziu akcie, autoregresívne. TinyVLA pripája difúzny dekodér, ktorý produkuje celý blok naraz. Tabuľka V obsahuje architektúru TinyVLA-H a mení iba hlavu, na rovnakých piatich úlohách skutočného robota. Je to najčistejší dôkaz v oboch článkoch pre argument, ktorý robia politiky párovania toku, a dôvod, prečo sa Pi0 odklonil od dekódovania tokenov.

Čo dosiahla TinyVLA

Riadok pre bimanipuláciu má nudné vysvetlenie, ktoré si článok dáva sám: OpenVLA je predtrenovaný na Open X-Embodiment, ktorý pozostáva výlučne z dát pre jednu ruku, takže akčný priestor pre dve ruky je mimo distribúcie a dosahuje nulové skóre. Základná línia difúznej politiky prekonáva TinyVLA-H na dvoch z týchto troch úloh. Pozadie v článku o Open X-Embodiment.

Repozitár TinyVLA, stav k augustu 2026

Článok je dobrý. Kód je výskumný výstup. Repozitár je github.com/liyaxuanliyaxuan/TinyVLA; jeho README datuje vydanie kódu na 17. februára 2025 a posledný commit je z 11. marca 2025. Dobré na reprodukciu článku, problém, ak by ste chceli udržiavanú knižnicu.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA tiež nečíta LeRobot datasety. Jeho formát je HDF5 v štýle ACT: akcia, language_raw a skupina pozorovaní s viacpohľadovými obrázkami, joint_positions, qpos a qvel. Repozitár obsahuje data_utils/rlds_to_h5py.py pre vstup RLDS a každá úloha je ručne zaregistrovaná v aloha_scripts/constants.py s jej dataset_dir, episode_len a camera_names. Ak vaše epizódy pochádzajú z lerobot alebo z desktopového klienta, konverzia je na vás.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 predpokladá uzol s ôsmimi kartami. Nastavte ho na 1 a znížte veľkosť dávky hlboko pod 32. Žiadny variant pre jednu GPU sa nedodáva upstream, takže príkaz nemožno spustiť doslovne na 4090.
• --deepspeed scripts/zero2.json odkazuje na súbor, ktorý nie je v adresári scripts najvyššej úrovne. Konfigurácie DeepSpeed sa dodávajú v llava-pythia/scripts/zero2.json. Opravte cestu pred prvým spustením.
• README vyžaduje, aby názov výstupného adresára obsahoval llava_pythia, plus lora, ak je povolená LoRA.
• Základná sieť je samostatné stiahnutie: lesjie/Llava-Pythia-400M, -700M alebo -1.3B. Neexistuje žiadny jediný základný kontrolný bod, na ktorý by ste nasmerovali politiku tak, ako smerujete na lerobot/smolvla_base.

SmolVLA: model pod 1 miliardu parametrov, ktorý môžete spustiť už dnes popoludní

SmolVLA predkladá rovnaký argument v rámci udržiavanej knižnice. Má 450 miliónov parametrov na základnej sieti SmolVLM2-500M-Video-Instruct a efektivita pochádza z nastavení, ktoré si môžete prečítať v configuration_smolvla.py, a nie z tvrdenia o tom, že je malý.

Predtréning využil 481 komunitných datasetov LeRobot, 22,9 tisíc epizód a 10,6 milióna snímok na 4 GPU, 200000 krokov pri globálnej dávke 256; článok odhaduje celý projekt na približne 30 tisíc GPU hodín. Jedno číslo, ktoré treba sledovať: blog o spustení Hugging Face uvádza 487 kurátorovaných datasetov, zatiaľ čo tabuľka v článku uvádza 481. Používame údaj z článku a upozorňujeme na nesúlad.

Jedna náhoda pomáha: tabuľka Meta-World v článku SmolVLA obsahuje vlastné publikované čísla TinyVLA ako základ, takže pre raz oba modely sedia v jednej tabuľke, SmolVLA-0.45B na 57.3 proti TinyVLA-H na 31.6. Tiež uvádza, že tréning SmolVLA je približne o 40 percent rýchlejší ako Pi0 s 6x menšou pamäťou. Všetko pochádza od autorov SmolVLA; záznam v aréne odkazuje každú hodnotu na jej zdroj.

Kde SmolVLA trávi svoj čas

AY-Robots uvádza SmolVLA na 245 ms na krok akcie a ACT na 20 ms v katalógu politík. TinyVLA uvádza 14 ms na predikciu akcie. Tieto čísla nie sú porovnateľné a zaobchádzanie s nimi, akoby boli, je najčastejšou chybou v tejto téme: niektoré merajú jeden dopredný prechod, niektoré rozdelia tento prechod cez blok, keď ho rozdelenie akcií na bloky amortizuje.

• SmolVLA vydáva 50 akcií na jeden dopredný prechod a vykonáva všetkých 50. Pri 30 fps, ktoré článok používa na reálnych robotoch, jeden inferenčný prechod pokrýva približne 1.7 sekundy pohybu.
• Asynchrónna inferencia vypočítava ďalší blok, zatiaľ čo aktuálny sa stále vykonáva: 9.7 s priemerný čas dokončenia úlohy oproti 13.75 s synchrónne, približne o 30 percent rýchlejšie, a 19 cyklov uchopenia a umiestnenia v pevnom 60-sekundovom okne oproti 9.
• Miera úspešnosti bola porovnateľná, nie lepšia, 78.3 synchrónne oproti 73.3 asynchrónne. Asynchrónnosť kupuje priepustnosť, nie presnosť.
• Rozdelenie na bloky (chunking) skrýva latenciu výpočtu, nie latenciu siete, a robí politiku menej reaktívnou, pretože je viazaná na 50 akcií.

Jemné ladenie SmolVLA na jednej spotrebiteľskej karte

Manuálna cesta, na lerobot 0.6.1, aktuálnej verzii PyPI k 23. augustu 2026. Všetko nižšie pochádza z dokumentácie Hugging Face lerobot SmolVLA, získanej v ten istý deň; vedená verzia je jemnejšia.

1. 1
   Nainštalujte lerobot s doplnkom smolvla

   Závislosti SmolVLA sú voliteľným doplnkom, nie súčasťou základnej inštalácie. Inštalácia bez nich a následné premýšľanie, prečo je typ politiky neznámy, je bežná strata polhodiny.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Získajte dátovú sadu s dostatočným počtom epizód

   Dokumentácia odporúča približne 50 epizód a uvádza, že rovnaká úloha s 25 epizódami nebola dostatočná. AY-Robots stanovuje minimum na 30. Nahrajte si vlastné, alebo začnite z adresára dátových sád.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Spustite doladenie

   Príkaz z príručky lerobot, neupravený. Dokumentácia uvádza 20000 krokov približne na 4 hodiny na jednej A100. Na 24 GB karte očakávajte dlhší čas a zmerajte ho.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Znížte veľkosť dávky, kým sa nezmestí

   batch_size=64 je zdokumentovaný príklad, nie prísľub týkajúci sa vašej karty. Dokumentácia odporúča začať s malou hodnotou a zvyšovať ju, pokiaľ časy načítania zostávajú krátke.

   bash

   lerobot-train --help

5. 5
   Nasaďte checkpoint na rameno

   Rovnaká knižnica, jeden príkaz. Príznaky pre chunking v reálnom čase sú v dokumentácii zakomentované a sú to tie, po ktorých siahnete na hardvéri s nízkym výkonom.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dva spôsoby, ako dostať malý VLA na rameno

Keď je malý model nesprávna voľba

Oba články sú tu opatrnejšie ako ich zhrnutia. Analýza zlyhaní TinyVLA je špecifická: variant 0,4 B zlyhal trikrát nesprávnym prečítaním inštrukcie, čo autori pripisujú obmedzenému jazykovému porozumeniu v menšom VLM, a tento režim zmizol pri 1,3 B. SmolVLA ukazuje rovnakú krivku z druhého konca: verzia 2,25 B identickej architektúry dosahuje skóre 88,75 na LIBERO a 68,24 na Meta-World oproti 87,3 a 57,3 pre model 0,45 B.

Porovnanie, ktoré stojí za to spustiť, nie je TinyVLA proti SmolVLA. Je to SmolVLA proti ACT na vašej vlastnej úlohe, a článok o SmolVLA je argumentom prečo. Trénovaný na jednej úlohe bez predtrénovania robotiky, SmolVLA dosiahol priemer 40,0 v troch úlohách SO-100, kde jednorazový ACT dosiahol 48,3. To, čo ho pozdvihuje na 78,3, je komunitné predtrénovanie plus viacúlohové trénovanie, nie samotná architektúra. Na úlohe SO-101 s legom, obe jednorazové, SmolVLA vyhráva: 90 proti 70 v distribúcii. Potom SmolVLA proti Pi0.5 ak to rozpočet dovolí.

Rozhodovacia tabuľka, podľa ktorej môžete konať

Pre posledný riadok, živé rameno streamuje fyzický SO-100, ktorý môžete ovládať z prehliadača bez účtu, a tri spôsoby spustenia pokrývajú zvyšok. SO-100 je tu referenčné rameno, približne 110 až 150 EUR v súčiastkach, s kompletným sprievodcom nastavením.

Čo prichádza po modeloch pod 1 B

Zmenšenie počtu parametrov je jedným zo spôsobov, ako urobiť VLA lacným, a nie je to nevyhnutne ten víťazný. OpenVLA-OFT (arXiv 2502.19645) si zachováva 7 B chrbticu a mení len spôsob dekódovania akcií, pričom uvádza 26-násobné zvýšenie priepustnosti generovania akcií a nárast LIBERO zo 76.5 na 97.1 percenta. BitVLA (arXiv 2506.07530) robí každý váhový parameter 1-bitovej chrbtice BitNet b1.58 2B4T ternárnym, pričom uvádza 11.0x menšiu pamäť a 4.4x nižšiu end-to-end latenciu pri zachovaní presnosti OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) sa nachádza na hranici 1 B s flow matchingom.

Spoločná niť: dekodér akcií, nie jazykový model, je miestom, kde sa nachádza latencia. Spýtajte sa, ako politika emituje akcie, predtým než sa spýtate, koľko parametrov má. Aréna má 85 modelov a 332 výsledkov, každý prepojený so svojím zdrojom; širší prehľad nájdete v našom úvode do VLA.