Modele VLA Mici: TinyVLA, SmolVLA și Cazul Sub-1B

Aproape fiecare model de viziune-limbaj-acțiune despre care se scrie presupune o placă de centru de date. OpenVLA are 7 miliarde de parametri. GR00T N1.7 și Pi0.5 au în jur de 3 miliarde de parametri și necesită un A100 de 80 GB pentru reglaj fin. Dacă placa de pe biroul dumneavoastră este un 4090, acea clasă de modele este inaccesibilă.

Două lucrări susțin că nu aveți nevoie de el. TinyVLA (arXiv 2409.12514, acceptat de IEEE Robotics and Automation Letters în februarie 2025) construiește un VLA dintr-o arhitectură de bază de la 400 de milioane la 1,3 miliarde de parametri, plus un cap de acțiune de difuzie. SmolVLA (arXiv 2506.01844, trimis pe 2 iunie 2025) livrează 450 de milioane de parametri cu ponderi deschise, date deschise și un script care rulează pe o singură placă de consumator. Iată ce au măsurat ambele, și unde argumentul sub 1 miliard de parametri nu mai este valabil.

Ce se consideră de fapt un VLA mic

Numărul de parametri de pe un card de model nu este un singur număr. Poate însemna greutăți totale, greutăți încărcate la inferență sau greutăți care primesc gradienți în timpul . TinyVLA raportează ambele, iar diferența este mare: TinyVLA-H are 1,3 B total, dar 143 M antrenabili, deoarece turnul de viziune și cea mai mare parte a modelului lingvistic rămân înghețate în timp ce adaptoarele LoRA și capul de acțiune se mișcă. Lucrarea estimează ponderea antrenabilă la aproximativ 5 procente.

Două rânduri merită discutate. la aproximativ 80 M este mai mic decât orice altceva de aici, dar nu are un model lingvistic, deci nu este un VLA: învață o singură sarcină și nu i se poate cere să facă alta. la 27 M este condiționat printr-un codificator de text T5-Base, nu un backbone LLM. Baze bune, niciunul nu oferă urmărirea instrucțiunilor pe care o implică eticheta.

TinyVLA: viteza vine de la cap, nu de la coloana vertebrală

Interpretarea evidentă este că au redus dimensiunea modelului lingvistic, astfel încât a devenit mai rapid. Ablația din lucrare spune altceva. Înlocuirea coloanei vertebrale de 7 B a OpenVLA cu una de aproximativ 1 B a redus predicția per-acțiune de la 292 ms la 140 ms, un câștig de 2x. TinyVLA-H, cu un număr comparabil de parametri, rulează la 14 ms pe aceeași placă. Celălalt 10x este capul de acțiune.

OpenVLA emite acțiuni ca token-uri discretizate prin capul modelului lingvistic, câte unul per dimensiune de acțiune, autoregresiv. TinyVLA atașează un decodor de difuzie care produce întregul segment dintr-o singură mișcare. Tabelul V prezintă arhitectura la TinyVLA-H și schimbă doar capul, pe aceleași cinci sarcini de robot real. Este cea mai clară dovadă din ambele lucrări pentru argumentul potrivire a fluxului pe care îl fac politicile, și motivul pentru care Pi0 s-a îndepărtat de decodarea token-urilor.

Ce scor a obținut TinyVLA

Rândul bimanual are o explicație plictisitoare pe care lucrarea o oferă singură: OpenVLA este preantrenat pe Open X-Embodiment, care constă în întregime din date cu un singur braț, astfel încât un spațiu de acțiune cu două brațe este în afara distribuției și obține zero. Linia de bază a politicii de difuzie depășește TinyVLA-H la două dintre cele trei sarcini. Context în prezentarea Open X-Embodiment.

Depozitul TinyVLA, la data de august 2026

Lucrarea este bună. Codul este o versiune de cercetare. Depozitul este github.com/liyaxuanliyaxuan/TinyVLA; fișierul său README datează lansarea codului la 17 februarie 2025, iar ultima modificare este din 11 martie 2025. Este în regulă pentru reproducerea unei lucrări, dar o problemă dacă doriți o bibliotecă întreținută.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA, de asemenea, nu citește seturi de date LeRobot. Formatul său este HDF5 în stil ACT: acțiune, language_raw și un grup de observații cu imagini multi-vedere, joint_positions, qpos și qvel. Depozitul include data_utils/rlds_to_h5py.py pentru intrarea RLDS, iar fiecare sarcină este înregistrată manual în aloha_scripts/constants.py cu dataset_dir, episode_len și camera_names. Dacă episoadele au venit de la lerobot sau de la clientul desktop, conversia vă aparține.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 presupune un nod cu opt plăci. Setați-l la 1 și reduceți dimensiunea lotului mult sub 32. Nicio variantă cu un singur GPU nu este livrată upstream, deci comanda nu poate fi rulată verbatim pe un 4090.
• --deepspeed scripts/zero2.json indică un fișier care nu se află în directorul scripts de nivel superior. Configurațiile DeepSpeed sunt livrate la llava-pythia/scripts/zero2.json. Corectați calea înainte de prima rulare.
• README-ul cere ca numele directorului de ieșire să conțină llava_pythia, plus lora dacă LoRA este activat.
• Backbone-ul este o descărcare separată: lesjie/Llava-Pythia-400M, -700M sau -1.3B. Nu există un singur checkpoint de bază către care să îndreptați o politică așa cum o îndreptați către lerobot/smolvla_base.

SmolVLA: modelul sub-1 B pe care îl puteți rula în această după-amiază

SmolVLA susține același argument într-o bibliotecă întreținută. Are 450 M parametri pe un backbone SmolVLM2-500M-Video-Instruct, iar eficiența provine din setările pe care le puteți citi din configuration_smolvla.py, mai degrabă decât dintr-o afirmație despre a fi mic.

Preantrenarea a utilizat 481 de seturi de date LeRobot din comunitate, 22.9 K episoade și 10.6 M cadre pe 4 GPU-uri, 200000 de pași la un lot global de 256; lucrarea estimează întregul proiect la aproximativ 30 K ore GPU. Un număr de urmărit: blogul de lansare Hugging Face menționează 487 de seturi de date curatate, în timp ce tabelul lucrării indică 481. Utilizăm cifra din lucrare și semnalăm discrepanța.

Un accident ajută: tabelul Meta-World din lucrarea SmolVLA conține propriile numere publicate ale TinyVLA ca linie de bază, astfel încât, pentru o dată, ambele modele se află într-un singur tabel, SmolVLA-0.45B la 57.3 față de TinyVLA-H la 31.6. De asemenea, raportează că antrenamentul SmolVLA este cu aproximativ 40 la sută mai rapid decât Pi0, utilizând de 6 ori mai puțină memorie. Toate acestea provin de la autorii SmolVLA; intrarea în arenă leagă fiecare valoare de sursa sa.

Unde își petrece SmolVLA timpul

AY-Robots listează SmolVLA la 245 ms per pas de acțiune și ACT la 20 ms în catalogul de politici. TinyVLA raportează 14 ms per predicție de acțiune. Aceste numere nu sunt comparabile, iar tratarea lor ca atare este cea mai comună greșeală în acest subiect: unii cronometrează o singură trecere înainte, alții împart acea trecere pe un fragment odată ce fragmentarea acțiunilor o amortizează.

• SmolVLA emite 50 de acțiuni per trecere înainte și le execută pe toate cele 50. La cele 30 fps pe care lucrarea le utilizează pe roboți reali, o inferență acoperă aproximativ 1.7 secunde de mișcare.
• Inferența asincronă calculează următorul fragment în timp ce cel curent încă se execută: 9.7 s timp mediu de finalizare a sarcinii față de 13.75 s sincron, aproximativ 30 la sută mai rapid, și 19 cicluri de pick-and-place într-o fereastră fixă de 60 de secunde față de 9.
• Ratele de succes au fost comparabile, nu mai bune, 78.3 sincron față de 73.3 asincron. Asincronul cumpără debit, nu precizie.
• Fragmentarea ascunde latența de calcul, nu latența rețelei, și face politica mai puțin reactivă deoarece este angajată la 50 de acțiuni.

Reglarea fină a SmolVLA pe o singură placă de consumator

Calea manuală, pe lerobot 0.6.1, versiunea curentă PyPI începând cu 23 august 2026. Tot ce urmează provine din documentația Hugging Face lerobot SmolVLA, preluată în aceeași zi; versiunea ghidată este mai blândă.

1. 1
   Instalează lerobot cu extra-ul smolvla

   Dependințele SmolVLA sunt un extra opțional, nu fac parte din instalarea de bază. Instalarea fără ele și apoi întrebarea de ce tipul de politică este necunoscut este o jumătate de oră pierdută frecvent.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Obține un set de date cu suficiente episoade

   Documentația recomandă aproximativ 50 de episoade și afirmă că aceeași sarcină cu 25 nu a fost suficientă. AY-Robots stabilește minimul la 30. Înregistrează-ți propriile, sau începe din directorul de seturi de date.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Începe ajustarea fină

   Comanda din ghidul lerobot, nemodificată. Documentația estimează 20000 de pași la aproximativ 4 ore pe un A100. Pe o placă de 24 GB, așteaptă-te la mai mult și măsoară timpul.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Scade dimensiunea lotului până se potrivește

   batch_size=64 este un exemplu documentat, nu o promisiune legată de placa ta. Documentația sfătuiește să începi cu o valoare mică și să o crești atâta timp cât timpii de încărcare rămân scurți.

   bash

   lerobot-train --help

5. 5
   Rulează punctul de control pe braț

   Aceeași bibliotecă, o singură comandă. Flag-urile de chunking în timp real sunt comentate în documentație și sunt cele la care să apelezi pe hardware cu putere redusă.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Două moduri de a pune un VLA mic pe un braț

Când un model mic este alegerea greșită

Ambele lucrări sunt mai atente aici decât sunt rezumatele. Analiza eșecurilor TinyVLA este specifică: varianta de 0,4 B a eșuat de trei ori prin interpretarea greșită a instrucțiunii, ceea ce autorii atribuie înțelegerii lingvistice limitate în VLM-ul mai mic, iar acel mod a dispărut la 1,3 B. SmolVLA arată aceeași curbă de la celălalt capăt: versiunea de 2,25 B a arhitecturii identice obține 88,75 la LIBERO și 68,24 la Meta-World, față de 87,3 și 57,3 pentru modelul de 0,45 B.

Comparația care merită făcută nu este TinyVLA versus SmolVLA. Este SmolVLA versus ACT pe propria sarcină, iar lucrarea SmolVLA este argumentul pentru aceasta. Antrenat pe o singură sarcină, fără pre-antrenare robotică, SmolVLA a obținut o medie de 40,0 pe trei sarcini SO-100, unde ACT pe o singură sarcină a reușit 48,3. Ceea ce îl ridică la 78,3 este pre-antrenarea comunitară plus antrenamentul multi-task, nu doar arhitectura. Pe sarcina lego SO-101, ambele single-task, SmolVLA câștigă: 90 față de 70 în distribuție. Apoi SmolVLA versus Pi0.5 dacă bugetul permite.

Un tabel decizional pe care îl puteți utiliza

Pentru ultimul rând, brațul live transmite un SO-100 fizic pe care îl poți controla din browser fără cont, iar cele trei moduri de a începe acoperă restul. SO-100 este brațul de referință aici, aproximativ 110 până la 150 EUR în piese, cu un ghid complet de configurare.

Ce urmează după modelele sub 1 miliard

Reducerea numărului de parametri este o modalitate de a face un VLA ieftin și nu este neapărat cea câștigătoare. OpenVLA-OFT (arXiv 2502.19645) păstrează arhitectura de bază de 7 miliarde de parametri și modifică doar modul în care sunt decodificate acțiunile, raportând o creștere de 26x a debitului de generare a acțiunilor și o creștere a LIBERO de la 76.5 la 97.1 procente. BitVLA (arXiv 2506.07530) transformă fiecare pondere a unei arhitecturi de bază BitNet b1.58 2B4T de 1 bit în una ternară, raportând o memorie cu 11.0x mai mică și o latență end-to-end cu 4.4x mai redusă, egalând în același timp OpenVLA-OFT de precizie completă. X-VLA-0.9B (arXiv 2510.10274) se încadrează în linia de 1 miliard de parametri cu potrivire de flux.

Firul comun: decodorul de acțiuni, nu modelul de limbaj, este locul unde se manifestă latența. Întrebați cum o politică emite acțiuni înainte de a întreba câți parametri are. arena are 85 de modele și 332 de rezultate, fiecare legat de sursa sa; există o prezentare mai amplă în introducerea noastră VLA.