Mali VLA Modeli: TinyVLA, SmolVLA i slučaj ispod 1B parametara

Gotovo svaki model vizije, jezika i akcije o kojem se piše pretpostavlja karticu za data centar. OpenVLA ima 7 milijardi parametara. GR00T N1.7 i Pi0.5 imaju oko 3 milijarde parametara i zahtevaju A100 80 GB za fino podešavanje. Ako je kartica na vašem stolu 4090, ta klasa modela je van domašaja.

Dva rada tvrde da vam to nije potrebno. TinyVLA (arXiv 2409.12514, prihvaćen od strane IEEE Robotics and Automation Letters u februaru 2025) gradi VLA od okosnice od 400 miliona do 1.3 milijarde parametara plus difuzionu akcionu glavu. SmolVLA (arXiv 2506.01844, podnet 2. juna 2025) isporučuje 450 miliona parametara sa otvorenim težinama, otvorenim podacima i skriptom koja radi na jednoj potrošačkoj kartici. Evo šta su oba izmerila, i gde argument ispod 1 milijarde prestaje da važi.

Šta se zapravo računa kao mali VLA

Broj parametara na kartici modela nije jedan broj. Može značiti ukupne težine, težine učitane tokom inferencije, ili težine koje primaju gradijente tokom . TinyVLA izveštava o oba, a razlika je velika: TinyVLA-H ima ukupno 1.3 B, ali 143 M je trenabilno, jer vizuelni modul i većina jezičkog modela ostaju zamrznuti dok se LoRA adapteri i akciona glava pomeraju. Rad navodi da je trenabilni udeo oko 5 procenata.

Dva reda su vredna rasprave. sa otprilike 80 M je manji od svega ostalog ovde, ali nema jezički model, tako da nije VLA: uči jedan zadatak i ne može mu se reći da radi drugi. sa 27 M je uslovljen preko T5-Base tekstualnog enkodera, a ne LLM okosnice. Dobre polazne tačke, nijedna vam ne pruža praćenje instrukcija koje oznaka podrazumeva.

TinyVLA: brzina dolazi iz glave, a ne iz okosnice

Očigledno tumačenje je da su smanjili jezički model, pa je postao brži. Ablaciona studija u radu govori drugačije. Zamena OpenVLA-ove 7 B okosnice za onu od približno 1 B smanjila je predviđanje po akciji sa 292 ms na 140 ms, što je dvostruko ubrzanje. TinyVLA-H, sa uporedivim brojem parametara, radi na 14 ms na istoj kartici. Ostalo 10x ubrzanje je zasluga akcione glave.

OpenVLA emituje akcije kao diskretizovane tokene kroz glavu jezičkog modela, po jedan za svaku dimenziju akcije, autoregresivno. TinyVLA priključuje difuzioni dekoder koji proizvodi ceo segment u jednom potezu. Tabela V prikazuje arhitekturu TinyVLA-H i menja samo glavu, na istih pet zadataka sa stvarnim robotima. To je najjasniji dokaz u oba rada za argument usklađivanje toka politika donosi, i razlog zašto Pi0 se udaljio od dekodiranja tokena.

Šta je TinyVLA postigao

Red bimanualnih zadataka ima dosadno objašnjenje koje sam rad daje: OpenVLA je predtreniran na Open X-Embodimentu, koji se u potpunosti sastoji od podataka sa jednom rukom, tako da je akcioni prostor sa dve ruke van distribucije i postiže nulu. Osnovna difuziona politika pobeđuje TinyVLA-H na dva od ta tri zadatka. Pozadina u članku o Open X-Embodimentu.

TinyVLA repozitorijum, od avgusta 2026.

Rad je dobar. Kod je istraživački izdanak. Repozitorijum je github.com/liyaxuanliyaxuan/TinyVLA; njegov README datira objavljivanje koda na 17. februar 2025. godine, a poslednji commit je 11. mart 2025. godine. Dobro za reprodukciju rada, problem ako želite održavanu biblioteku.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA takođe ne čita LeRobot skupove podataka. Njegov format je ACT-style HDF5: action, language_raw, i grupa za opservacije sa multi-view slikama, joint_positions, qpos i qvel. Repozitorijum isporučuje data_utils/rlds_to_h5py.py za RLDS ulaz, a svaki zadatak je ručno registrovan u aloha_scripts/constants.py sa svojim dataset_dir, episode_len i camera_names. Ako su vaše epizode došle iz lerobot-a ili desktop klijenta, vi ste odgovorni za konverziju.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 pretpostavlja čvor sa osam kartica. Postavite ga na 1 i smanjite veličinu paketa znatno ispod 32. Nijedna varijanta sa jednim GPU-om ne isporučuje se uzvodno, tako da se komanda ne može pokrenuti doslovno na 4090.
• --deepspeed scripts/zero2.json ukazuje na datoteku koja se ne nalazi u glavnom scripts direktorijumu. DeepSpeed konfiguracije se isporučuju na llava-pythia/scripts/zero2.json. Ispravite putanju pre prvog pokretanja.
• README zahteva da naziv izlaznog direktorijuma sadrži llava_pythia, plus lora ako je LoRA omogućena.
• Okosnica je zasebno preuzimanje: lesjie/Llava-Pythia-400M, -700M ili -1.3B. Ne postoji jedna osnovna kontrolna tačka na koju usmeravate politiku na način na koji usmeravate na lerobot/smolvla_base.

SmolVLA: model ispod 1 B koji možete pokrenuti danas popodne

SmolVLA iznosi isti argument unutar održavane biblioteke. Ima 450 M parametara na SmolVLM2-500M-Video-Instruct okosnici, a efikasnost potiče od podešavanja koja možete pročitati iz configuration_smolvla.py, a ne od tvrdnje da je mali.

Pretrenaža je koristila 481 LeRobot skup podataka iz zajednice, 22.9 K epizoda i 10.6 M frejmova na 4 GPUs, 200000 koraka sa globalnom serijom od 256; rad procenjuje ceo projekat na oko 30 K GPU sati. Jedan broj za praćenje: blog o lansiranju Hugging Face-a navodi 487 kuriranih skupova podataka, dok tabela u radu navodi 481. Koristimo brojku iz rada i beležimo neslaganje.

Jedna slučajnost pomaže: tabela Meta-World iz SmolVLA rada sadrži objavljene brojeve TinyVLA-e kao osnovu, tako da po prvi put oba modela stoje u jednoj tabeli, SmolVLA-0.45B sa 57.3 naspram TinyVLA-H sa 31.6. Takođe se navodi da je obuka SmolVLA-e oko 40 procenata brža od Pi0 uz 6 puta manje memorije. Sve ovo potiče od autora SmolVLA-e; unos u arenu povezuje svaku vrednost sa njenim izvorom.

Gde SmolVLA provodi svoje vreme

AY-Robots navodi SmolVLA na 245 ms po koraku akcije i ACT na 20 ms u katalogu politika. TinyVLA izveštava 14 ms po predviđanju akcije. Ti brojevi nisu uporedivi, a tretiranje kao da jesu je najčešća greška u ovoj temi: neki mere jedan prolaz unapred, neki dele taj prolaz kroz deo kada ga grupisanje akcija amortizuje.

• SmolVLA emituje 50 akcija po prolazu unapred i izvršava svih 50. Pri 30 fps koje rad koristi na stvarnim robotima, jedno zaključivanje pokriva oko 1.7 sekundi kretanja.
• Asinhrono zaključivanje izračunava sledeći deo dok se trenutni još uvek izvršava: 9.7 s prosečno vreme završetka zadatka naspram 13.75 s sinhronog, otprilike 30 procenata brže, i 19 ciklusa uzimanja i postavljanja u fiksnom prozoru od 60 sekundi naspram 9.
• Stope uspešnosti su bile uporedive, a ne bolje, 78.3 sinhrono naspram 73.3 asinhrono. Asinhronost kupuje propusnost, ne tačnost.
• Grupisanje skriva kašnjenje obrade, a ne kašnjenje mreže, i čini politiku manje reaktivnom jer je posvećena 50 akcija.

Fino podešavanje SmolVLA na jednoj potrošačkoj kartici

Ručna putanja, na lerobot 0.6.1, trenutnom PyPI izdanju od 23. avgusta 2026. Sve ispod potiče iz Hugging Face lerobot SmolVLA dokumentacije, preuzete istog dana; vođena verzija je blaža.

1. 1
   Instalirajte lerobot sa smolvla dodatkom

   Zavisnosti SmolVLA su opcioni dodatak, nisu deo osnovne instalacije. Instaliranje bez njih, a zatim čuđenje zašto je tip politike nepoznat, uobičajen je gubitak pola sata.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Nabavite skup podataka sa dovoljno epizoda

   Dokumentacija preporučuje oko 50 epizoda i navodi da ista radnja sa 25 nije bila dovoljna. AY-Robots postavlja minimum na 30. Snimite svoje, ili počnite iz direktorijuma skupova podataka.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Pokrenite fino podešavanje

   Komanda iz lerobot vodiča, neizmenjena. Dokumentacija navodi 20000 koraka kao otprilike 4 sata na jednoj A100 kartici. Na kartici od 24 GB, očekujte duže i izmerite.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Smanjite veličinu paketa dok ne stane

   batch_size=64 je dokumentovani primer, a ne obećanje o vašoj kartici. Dokumentacija savetuje da počnete sa malim vrednostima i povećavate ih dok vremena učitavanja ostaju kratka.

   bash

   lerobot-train --help

5. 5
   Pokrenite kontrolnu tačku na ruci

   Ista biblioteka, jedna komanda. Zastavice za chunking u realnom vremenu su komentarisane u dokumentaciji i one su za koje treba posegnuti na hardveru male snage.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dva načina da se mali VLA postavi na ruku

Kada je mali model pogrešan izbor

Oba rada su ovde pažljivija nego što su to sažeci. Analiza neuspeha TinyVLA-a je specifična: varijanta od 0.4 B je tri puta pogrešno pročitala instrukciju, što autori pripisuju ograničenom razumevanju jezika u manjem VLM-u, a taj režim je nestao kod 1.3 B. SmolVLA pokazuje istu krivu sa drugog kraja: verzija identične arhitekture od 2.25 B postiže 88.75 na LIBERO-u i 68.24 na Meta-World-u, naspram 87.3 i 57.3 za model od 0.45 B.

Poređenje koje vredi sprovesti nije TinyVLA protiv SmolVLA. To je SmolVLA protiv ACT na vašem sopstvenom zadatku, a rad o SmolVLA-u je argument zašto. Treniran za jedan zadatak bez prethodnog treninga iz robotike, SmolVLA je postigao prosečno 40.0 na tri SO-100 zadatka gde je ACT za jedan zadatak postigao 48.3. Ono što ga podiže na 78.3 je prethodni trening u zajednici plus trening za više zadataka, a ne samo arhitektura. Na SO-101 lego zadatku, oba za jedan zadatak, SmolVLA pobeđuje: 90 naspram 70 u distribuciji. Zatim SmolVLA protiv Pi0.5 ako budžet dozvoljava.

Tabela odluka na osnovu koje možete delovati

Za poslednji red, živa ruka strimuje fizički SO-100 kojim možete upravljati iz pretraživača bez naloga, a tri načina za početak pokriva ostalo. SO-100 je referentna ruka ovde, otprilike 110 do 150 EUR u delovima, sa kompletnim vodičem za podešavanje.

Šta dolazi posle modela ispod 1 B

Smanjenje broja parametara je jedan od načina da se VLA učini jeftinim i ne očigledno pobedničkim. OpenVLA-OFT (arXiv 2502.19645) zadržava 7 B okosnicu i menja samo način dekodiranja akcija, prijavljujući 26x povećanje protoka generisanja akcija i rast LIBERO-a sa 76.5 na 97.1 procenat. BitVLA (arXiv 2506.07530) čini svaku težinu 1-bitne BitNet b1.58 2B4T okosnice ternarnom, prijavljujući 11.0x manje memorije i 4.4x nižu latenciju od kraja do kraja, dok se podudara sa OpenVLA-OFT pune preciznosti. X-VLA-0.9B (arXiv 2510.10274) se nalazi na liniji od 1 B sa usklađivanjem toka.

Zajednička nit: dekoder akcija, a ne jezički model, je mesto gde se nalazi latencija. Pitajte kako politika emituje akcije pre nego što pitate koliko parametara ima. arena ima 85 modela i 332 rezultata, svaki povezan sa svojim izvorom; širi pregled se nalazi u našem VLA uvodu.