Mali VLA Modeli: TinyVLA, SmolVLA i slučaj ispod 1B

Gotovo svaki model vizije-jezika-akcije o kojem se piše pretpostavlja karticu podatkovnog centra. OpenVLA ima 7 milijardi parametara. GR00T N1.7 i Pi0.5 imaju oko 3 milijarde parametara i zahtijevaju A100 80 GB za fino podešavanje. Ako je kartica na vašem stolu 4090, ta klasa modela je izvan dosega.

Dva rada tvrde da vam to ne treba. TinyVLA (arXiv 2409.12514, prihvaćen od strane IEEE Robotics and Automation Letters u veljači 2025.) gradi VLA od okosnice od 400 milijuna do 1.3 milijarde parametara plus glavu za difuzijsku akciju. SmolVLA (arXiv 2506.01844, predan 2. lipnja 2025.) isporučuje 450 milijuna parametara s otvorenim težinama, otvorenim podacima i skriptom koja se pokreće na jednoj potrošačkoj kartici. Evo što su oba izmjerila i gdje argument o manje od 1 milijarde prestaje vrijediti.

Što se zapravo smatra malim VLA-om

Broj parametara na kartici modela nije jedan broj. Može značiti ukupne težine, težine učitane tokom inferencije, ili težine koje primaju gradijente tokom . TinyVLA izvještava o oba, a razlika je velika: TinyVLA-H ima ukupno 1.3 B, ali 143 M je trenabilno, jer vizuelni toranj i većina jezičkog modela ostaju zamrznuti dok se LoRA adapteri i akciona glava pomjeraju. Rad navodi da je trenabilni udio oko 5 posto.

Dvije stavke su vrijedne rasprave. sa otprilike 80 M je manji od svega ostalog ovdje, ali nema jezički model, tako da nije VLA: uči jedan zadatak i ne može mu se reći da radi drugi. sa 27 M je uslovljen preko T5-Base tekstualnog enkodera, a ne LLM okosnice. Dobre bazne linije, nijedna vam ne pruža praćenje instrukcija koje naziv implicira.

TinyVLA: brzina dolazi od glave, ne od okosnice

Očigledno tumačenje je da su smanjili jezički model, pa je postao brži. Ablacija u radu govori suprotno. Zamena OpenVLA-ove okosnice od 7 B za onu od otprilike 1 B smanjila je predviđanje po akciji sa 292 ms na 140 ms, što je dvostruko poboljšanje. TinyVLA-H, sa uporedivim brojem parametara, radi na 14 ms na istoj kartici. Ostalo 10x je akciona glava.

OpenVLA emituje akcije kao diskretizovane tokene kroz glavu jezičkog modela, po jedan za svaku dimenziju akcije, autoregresivno. TinyVLA priključuje difuzioni dekoder koji proizvodi ceo segment u jednom potezu. Tabela V prikazuje arhitekturu TinyVLA-H i menja samo glavu, na istih pet zadataka sa stvarnim robotima. To je najčistiji dokaz u oba rada za argument usklađivanje toka, koji politike stvaraju, i razlog zašto Pi0 se udaljio od dekodiranja tokena.

Šta je TinyVLA postigao

Bimanualni red ima dosadno objašnjenje koje sam rad daje: OpenVLA je predtreniran na Open X-Embodimentu, koji se u potpunosti sastoji od podataka s jednom rukom, tako da je prostor akcija s dvije ruke izvan distribucije i postiže nulu. Osnovna linija difuzijske politike nadmašuje TinyVLA-H na dva od ta tri zadatka. Pozadina u članku o Open X-Embodimentu.

TinyVLA repozitorij, od kolovoza 2026.

Rad je dobar. Kod je istraživački ispad. Repozitorij je github.com/liyaxuanliyaxuan/TinyVLA; njegov README datira izdanje koda na 17. veljače 2025., a zadnji commit je 11. ožujka 2025. Dobro za reprodukciju rada, problem ako ste željeli održavanu biblioteku.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA također ne čita LeRobot skupove podataka. Njegov format je HDF5 u ACT stilu: akcija, language_raw, i grupa zapažanja sa slikama iz više pogleda, joint_positions, qpos i qvel. Repozitorijum isporučuje data_utils/rlds_to_h5py.py za RLDS ulaz, a svaki zadatak je ručno registrovan u aloha_scripts/constants.py sa svojim dataset_dir, episode_len i camera_names. Ako su vaše epizode došle iz lerobota ili desktop klijenta, vi ste odgovorni za konverziju.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 pretpostavlja čvor sa osam kartica. Postavite ga na 1 i smanjite veličinu paketa znatno ispod 32. Nijedna varijanta sa jednim GPU-om ne isporučuje se uzvodno, tako da se komanda ne može pokrenuti doslovno na 4090.
• --deepspeed scripts/zero2.json ukazuje na datoteku koja se ne nalazi u direktorijumu scripts najvišeg nivoa. DeepSpeed konfiguracije se isporučuju na llava-pythia/scripts/zero2.json. Popravite putanju pre prvog pokretanja.
• README zahteva da naziv izlaznog direktorijuma sadrži llava_pythia, plus lora ako je LoRA omogućena.
• Okosnica je zasebno preuzimanje: lesjie/Llava-Pythia-400M, -700M ili -1.3B. Ne postoji jedna osnovna kontrolna tačka na koju usmeravate politiku na način na koji usmeravate na lerobot/smolvla_base.

SmolVLA: model ispod 1 B koji možete pokrenuti danas popodne

SmolVLA iznosi isti argument unutar održavane biblioteke. Ima 450 M parametara na SmolVLM2-500M-Video-Instruct okosnici, a efikasnost dolazi od postavki koje možete pročitati iz configuration_smolvla.py, a ne od tvrdnje da je mali.

Pretrenaža je koristila 481 LeRobot skup podataka iz zajednice, 22.9 K epizoda i 10.6 M okvira na 4 GPU-a, 200000 koraka sa globalnom serijom od 256; rad procjenjuje cijeli projekat na oko 30 K GPU sati. Jedan broj za praćenje: blog o pokretanju Hugging Face-a navodi 487 kuriranih skupova podataka, dok tabela u radu navodi 481. Koristimo brojku iz rada i bilježimo neslaganje.

Jedna slučajnost pomaže: tabela Meta-World iz SmolVLA rada sadrži objavljene brojeve TinyVLA kao osnovu, tako da po prvi put oba modela stoje u jednoj tabeli, SmolVLA-0.45B na 57.3 naspram TinyVLA-H na 31.6. Takođe se navodi da je obuka SmolVLA oko 40 posto brža od Pi0 uz 6 puta manje memorije. Sve to dolazi od autora SmolVLA; unos u arenu povezuje svaku vrednost sa njenim izvorom.

Gdje SmolVLA provodi svoje vrijeme

AY-Robots navodi SmolVLA na 245 ms po koraku akcije i ACT na 20 ms u katalogu politika. TinyVLA izveštava 14 ms po predviđanju akcije. Ti brojevi nisu uporedivi, a tretiranje kao da jesu je najčešća greška u ovoj temi: neki mere jedan prolaz unapred, neki dele taj prolaz kroz deo kada se grupisanje akcija amortizuje.

• SmolVLA emituje 50 akcija po prolazu unapred i izvršava svih 50. Pri 30 fps koje rad koristi na stvarnim robotima, jedno zaključivanje pokriva oko 1.7 sekundi kretanja.
• Asinhrono zaključivanje izračunava sledeći deo dok se trenutni još uvek izvršava: 9.7 s prosečno vreme završetka zadatka naspram 13.75 s sinhronog, otprilike 30 posto brže, i 19 ciklusa uzimanja i postavljanja u fiksnom prozoru od 60 sekundi naspram 9.
• Stope uspešnosti su bile uporedive, a ne bolje, 78.3 sinhrono naspram 73.3 asinhrono. Asinhronost kupuje propusnost, ne tačnost.
• Grupisanje skriva latenciju računanja, a ne latenciju mreže, i čini politiku manje reaktivnom jer je posvećena 50 akcijama.

Fino podešavanje SmolVLA na jednoj potrošačkoj kartici

Ručna putanja, na lerobot 0.6.1, trenutnom PyPI izdanju od 23. avgusta 2026. Sve ispod dolazi iz Hugging Face lerobot SmolVLA dokumentacije, preuzete istog dana; vođena verzija je nježnija.

1. 1
   Instalirajte lerobot sa smolvla dodatkom

   Zavisnosti SmolVLA su opcioni dodatak, nisu dio osnovne instalacije. Instaliranje bez njih, a zatim čuđenje zašto je tip politike nepoznat, često je izgubljenih pola sata.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Nabavite skup podataka sa dovoljno epizoda

   Dokumentacija preporučuje oko 50 epizoda i navodi da ista zadaća sa 25 nije bila dovoljna. AY-Robots postavlja minimum na 30. Snimite svoje, ili počnite iz direktorijuma skupova podataka.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Pokrenite fino podešavanje

   Komanda iz lerobot vodiča, neizmijenjena. Dokumentacija navodi 20000 koraka kao otprilike 4 sata na jednoj A100. Na kartici od 24 GB, očekujte duže i izmjerite.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Smanjite veličinu paketa dok ne stane

   batch_size=64 je dokumentovani primjer, a ne obećanje o vašoj kartici. Dokumentacija savjetuje da počnete sa malim vrijednostima i povećavate dok vremena učitavanja ostaju kratka.

   bash

   lerobot-train --help

5. 5
   Pokrenite kontrolnu tačku na ruci

   Ista biblioteka, jedna komanda. Zastavice za chunking u realnom vremenu su komentarisane u dokumentaciji i one su za koje treba posegnuti na hardveru niske snage.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dva načina da se mali VLA postavi na ruku

Kada je mali model pogrešan izbor

Oba rada su ovdje pažljivija nego što su sažeci. Analiza grešaka TinyVLA-a je specifična: varijanta od 0.4 B je tri puta pogriješila pogrešno tumačeći instrukciju, što autori pripisuju ograničenom razumijevanju jezika u manjem VLM-u, a taj način rada je nestao kod 1.3 B. SmolVLA pokazuje istu krivulju s drugog kraja: verzija identične arhitekture od 2.25 B postiže 88.75 na LIBERO-u i 68.24 na Meta-World-u, naspram 87.3 i 57.3 za model od 0.45 B.

Usporedba koju vrijedi provesti nije TinyVLA protiv SmolVLA-a. To je SmolVLA protiv ACT na vašem vlastitom zadatku, a rad SmolVLA-a je argument zašto. Treniran za jedan zadatak bez predtreniranja robotike, SmolVLA je postigao prosjek od 40.0 na tri SO-100 zadatka gdje je ACT za jedan zadatak postigao 48.3. Ono što ga podiže na 78.3 je predtreniranje zajednice plus višezadaćno treniranje, a ne samo arhitektura. Na SO-101 lego zadatku, oba za jedan zadatak, SmolVLA pobjeđuje: 90 protiv 70 u distribuciji. Zatim SmolVLA protiv Pi0.5 ako budžet dopušta.

Tabela odluka na osnovu koje možete djelovati

Za posljednji red, živa ruka prenosi fizički SO-100 kojim možete upravljati iz preglednika bez računa, a tri načina za početak pokriva ostalo. SO-100 je referentna ruka ovdje, otprilike 110 do 150 EUR u dijelovima, sa potpunim vodičem za postavljanje.

Što dolazi nakon modela ispod 1 B

Smanjenje broja parametara je jedan od načina da se VLA učini jeftinim i ne nužno pobjedničkim. OpenVLA-OFT (arXiv 2502.19645) zadržava 7 B okosnicu i mijenja samo način dekodiranja akcija, izvještavajući o 26x povećanju propusnosti generiranja akcija i porastu LIBERO-a sa 76.5 na 97.1 posto. BitVLA (arXiv 2506.07530) čini svaku težinu 1-bitne BitNet b1.58 2B4T okosnice ternarnom, izvještavajući o 11.0x manjoj memoriji i 4.4x manjoj latenciji od kraja do kraja, dok se podudara s punopreciznim OpenVLA-OFT-om. X-VLA-0.9B (arXiv 2510.10274) nalazi se na liniji od 1 B s podudaranjem toka.

Zajednička nit: dekoder akcija, a ne jezični model, je mjesto gdje se nalazi latencija. Pitajte kako politika emitira akcije prije nego što pitate koliko parametara ima. Arena ima 85 modela i 332 rezultata, svaki povezan sa svojim izvorom; širi pregled nalazi se u našem VLA uvodu.