Mali VLA modeli: TinyVLA, SmolVLA i slučaj ispod 1B parametara

Gotovo svaki model vida-jezika-akcije o kojem se piše pretpostavlja karticu podatkovnog centra. OpenVLA ima 7 milijardi parametara. GR00T N1.7 i Pi0.5 imaju oko 3 milijarde parametara i zahtijevaju A100 80 GB za fino podešavanje. Ako je kartica na vašem stolu 4090, ta klasa modela je izvan dosega.

Dva rada tvrde da vam to ne treba. TinyVLA (arXiv 2409.12514, prihvaćen od strane IEEE Robotics and Automation Letters u veljači 2025.) gradi VLA od okosnice od 400 milijuna do 1.3 milijarde parametara plus difuzijsku akcijsku glavu. SmolVLA (arXiv 2506.01844, predan 2. lipnja 2025.) isporučuje 450 milijuna parametara s otvorenim težinama, otvorenim podacima i skriptom koja se izvodi na jednoj potrošačkoj kartici. Evo što su oba izmjerila i gdje argument o manje od 1 milijarde prestaje vrijediti.

Što se zapravo smatra malim VLA-om

Broj parametara na kartici modela nije jedan broj. Može značiti ukupne težine, težine učitane tijekom inferencije ili težine koje primaju gradijente tijekom . TinyVLA izvještava o oba, a razlika je velika: TinyVLA-H ima ukupno 1.3 B, ali 143 M je trenabilno, jer vizualni toranj i većina jezičnog modela ostaju zamrznuti dok se LoRA adapteri i akcijska glava pomiču. Rad navodi da je udio trenabilnih parametara oko 5 posto.

Dvije su stavke vrijedne rasprave. s otprilike 80 M je manji od svega ostalog ovdje, ali nema jezični model, pa nije VLA: uči jedan zadatak i ne može mu se reći da radi drugi. s 27 M uvjetovan je putem T5-Base tekstualnog kodera, a ne LLM okosnice. Dobre su to polazne točke, ali nijedna ne pruža slijedeće upute koje naziv implicira.

TinyVLA: brzina dolazi iz glave, ne iz okosnice

Očito tumačenje je da su smanjili jezični model, pa je postao brži. Ablacijska studija u radu govori drugačije. Zamjena OpenVLA-ove okosnice od 7 B s onom od otprilike 1 B smanjila je predviđanje po akciji s 292 ms na 140 ms, što je dvostruko poboljšanje. TinyVLA-H, s usporedivim brojem parametara, radi na 14 ms na istoj kartici. Ostali 10x je akcijska glava.

OpenVLA emitira akcije kao diskretizirane tokene kroz glavu jezičnog modela, po jedan za svaku dimenziju akcije, autoregresivno. TinyVLA priključuje difuzijski dekoder koji proizvodi cijeli blok u jednom potezu. Tablica V prikazuje arhitekturu TinyVLA-H i mijenja samo glavu, na istih pet zadataka stvarnog robota. To je najčišći dokaz u oba rada za argument usklađivanje toka, koji politike stvaraju, i razlog Pi0 se odmaknuo od dekodiranja tokena.

Što je TinyVLA postigao

Redak za bimanualne zadatke ima dosadno objašnjenje koje sam rad daje: OpenVLA je prethodno treniran na Open X-Embodimentu, koji se u potpunosti sastoji od podataka s jednom rukom, tako da je akcijski prostor s dvije ruke izvan distribucije i postiže nulu. Osnovna linija difuzijske politike nadmašuje TinyVLA-H na dva od ta tri zadatka. Pozadina u članku o Open X-Embodimentu.

TinyVLA repozitorij, od kolovoza 2026.

Rad je dobar. Kod je istraživački prototip. Repozitorij je github.com/liyaxuanliyaxuan/TinyVLA; njegov README datira izdanje koda na 17. veljače 2025., a zadnji commit je 11. ožujka 2025. Dobro za reprodukciju rada, problem ako ste željeli održavanu biblioteku.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA također ne čita LeRobot skupove podataka. Njegov format je HDF5 u ACT stilu: action, language_raw, i grupa observations s višestrukim slikama, joint_positions, qpos i qvel. Repozitorij isporučuje data_utils/rlds_to_h5py.py za RLDS ulaz, a svaki zadatak je ručno registriran u aloha_scripts/constants.py sa svojim dataset_dir, episode_len i camera_names. Ako su vaši epizode došle iz lerobota ili desktop klijenta, vi ste odgovorni za konverziju.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 pretpostavlja čvor s osam kartica. Postavite ga na 1 i smanjite veličinu serije znatno ispod 32. Nijedna varijanta s jednom GPU-om ne isporučuje se uzvodno, tako da se naredba ne može pokrenuti doslovno na 4090.
• --deepspeed scripts/zero2.json pokazuje na datoteku koja se ne nalazi u glavnom direktoriju scripts. DeepSpeed konfiguracije isporučuju se na llava-pythia/scripts/zero2.json. Popravite putanju prije prvog pokretanja.
• README zahtijeva da naziv izlaznog direktorija sadrži llava_pythia, plus lora ako je LoRA omogućena.
• Okosnica je zasebno preuzimanje: lesjie/Llava-Pythia-400M, -700M ili -1.3B. Ne postoji jedna osnovna kontrolna točka na koju usmjeravate politiku na način na koji usmjeravate na lerobot/smolvla_base.

SmolVLA: model ispod 1 B koji možete pokrenuti danas poslijepodne

SmolVLA iznosi isti argument unutar održavane biblioteke. Ima 450 M parametara na SmolVLM2-500M-Video-Instruct okosnici, a učinkovitost proizlazi iz postavki koje možete pročitati iz configuration_smolvla.py, a ne iz tvrdnje o tome da je mali.

Pretprocesiranje je koristilo 481 skup podataka zajednice LeRobot, 22.9 K epizoda i 10.6 M okvira na 4 GPU-a, 200000 koraka s globalnom serijom od 256; rad procjenjuje cijeli projekt na oko 30 K GPU sati. Jedan broj za praćenje: blog o pokretanju Hugging Facea navodi 487 kuriranih skupova podataka, dok tablica u radu navodi 481. Koristimo brojku iz rada i bilježimo neslaganje.

Jedna slučajnost pomaže: tablica Meta-World u radu SmolVLA-e sadrži vlastite objavljene brojeve TinyVLA-e kao osnovu, tako da po prvi put oba modela sjede u jednoj tablici, SmolVLA-0.45B na 57.3 naspram TinyVLA-H na 31.6. Također izvještava da se SmolVLA trenira oko 40 posto brže od Pi0 s 6 puta manje memorije. Sve to dolazi od autora SmolVLA-e; unos u arenu povezuje svaku vrijednost s njezinim izvorom.

Gdje SmolVLA provodi svoje vrijeme

AY-Robots navodi SmolVLA na 245 ms po koraku akcije i ACT na 20 ms u katalogu politika. TinyVLA izvještava 14 ms po predviđanju akcije. Ti brojevi nisu usporedivi, a tretiranje kao da jesu najčešća je pogreška u ovoj temi: neki mjere jedan prolaz naprijed, neki dijele taj prolaz kroz dio kada ga grupiranje akcija amortizira.

• SmolVLA emitira 50 akcija po prolazu naprijed i izvršava svih 50. Pri 30 fps koje rad koristi na stvarnim robotima, jedno zaključivanje pokriva oko 1.7 sekundi kretanja.
• Asinkrono zaključivanje izračunava sljedeći dio dok se trenutni još uvijek izvršava: 9.7 s prosječnog vremena izvršenja zadatka naspram 13.75 s sinkronog, otprilike 30 posto brže, i 19 ciklusa 'pick-and-place' u fiksnom prozoru od 60 sekundi naspram 9.
• Stope uspješnosti bile su usporedive, a ne bolje, 78.3 sinkrono naspram 73.3 asinkrono. Asinkronost kupuje propusnost, ne točnost.
• Grupiranje skriva latenciju izračuna, a ne latenciju mreže, i čini politiku manje reaktivnom jer je posvećena 50 akcijama.

Fino podešavanje SmolVLA na jednoj potrošačkoj kartici

Ručni put, na lerobot 0.6.1, trenutnom PyPI izdanju od 23. kolovoza 2026. Sve dolje navedeno dolazi iz Hugging Face lerobot SmolVLA dokumentacije, preuzete istog dana; vođena verzija je nježnija.

1. 1
   Instalirajte lerobot s dodatkom smolvla

   Ovisnosti SmolVLA su opcionalni dodatak, nisu dio osnovne instalacije. Instaliranje bez njih, a zatim čuđenje zašto je tip politike nepoznat, uobičajen je gubitak pola sata.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Nabavite skup podataka s dovoljno epizoda

   Dokumentacija preporučuje oko 50 epizoda i navodi da ista zadaća s 25 nije bila dovoljna. AY-Robots postavlja minimum na 30. Snimite vlastite, ili počnite iz direktorija skupova podataka.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Pokrenite fino podešavanje

   Naredba iz lerobot vodiča, neizmijenjena. Dokumentacija navodi 20000 koraka kao otprilike 4 sata na jednom A100. Na kartici od 24 GB očekujte duže i izmjerite.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Smanjite veličinu paketa dok ne stane

   batch_size=64 je dokumentirani primjer, a ne obećanje o vašoj kartici. Dokumentacija savjetuje da počnete s malim vrijednostima i povećavate dok su vremena učitavanja kratka.

   bash

   lerobot-train --help

5. 5
   Pokrenite kontrolnu točku na ruci

   Ista biblioteka, jedna naredba. Zastavice za chunking u stvarnom vremenu su komentirane u dokumentaciji i one su za korištenje na hardveru niske snage.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dva načina za postavljanje malog VLA-a na ruku

Kada je mali model pogrešan izbor

Oba su rada ovdje pažljivija nego što su sažeci. Analiza neuspjeha TinyVLA-e je specifična: varijanta od 0,4 B tri je puta pogriješila u čitanju uputa, što autori pripisuju ograničenom jezičnom razumijevanju u manjem VLM-u, a taj je način nestao kod 1,3 B. SmolVLA pokazuje istu krivulju s drugog kraja: verzija identične arhitekture od 2,25 B postiže 88,75 na LIBERO-u i 68,24 na Meta-Worldu, naspram 87,3 i 57,3 za model od 0,45 B.

Usporedba koju vrijedi provesti nije TinyVLA protiv SmolVLA. To je SmolVLA protiv ACT na vašem vlastitom zadatku, a rad o SmolVLA je argument zašto. Treniran s jednim zadatkom bez predobuke za robotiku, SmolVLA je postigao prosjek od 40,0 na tri SO-100 zadatka gdje je ACT s jednim zadatkom postigao 48,3. Ono što ga podiže na 78,3 je predobuka u zajednici plus višenamjenska obuka, a ne samo arhitektura. Na SO-101 lego zadatku, oba s jednim zadatkom, SmolVLA pobjeđuje: 90 protiv 70 u distribuciji. Zatim SmolVLA protiv Pi0.5 ako budžet dopušta.

Tablica odluka na koju možete djelovati

Za zadnji redak, ruka uživo prenosi fizički SO-100 kojim možete upravljati iz preglednika bez računa, a tri načina za početak pokriva ostalo. SO-100 je referentna ruka ovdje, otprilike 110 do 150 EUR u dijelovima, s potpunim vodičem za postavljanje.

Što dolazi nakon modela ispod 1 B

Smanjenje broja parametara jedan je od načina da se VLA učini jeftinim i ne nužno pobjedničkim. OpenVLA-OFT (arXiv 2502.19645) zadržava okosnicu od 7 B i mijenja samo način dekodiranja akcija, izvještavajući o 26x povećanju propusnosti generiranja akcija i porastu LIBERO-a sa 76.5 na 97.1 posto. BitVLA (arXiv 2506.07530) čini svaku težinu 1-bitne BitNet b1.58 2B4T okosnice ternarnom, izvještavajući o 11.0x manjoj memoriji i 4.4x manjoj latenciji od kraja do kraja, dok se podudara s punopreciznim OpenVLA-OFT-om. X-VLA-0.9B (arXiv 2510.10274) nalazi se na liniji od 1 B s usklađivanjem toka.

Zajednička nit: dekoder akcija, a ne jezični model, je mjesto gdje se nalazi latencija. Pitajte kako politika emitira akcije prije nego što pitate koliko parametara ima. arena ima 85 modela i 332 rezultata, svaki povezan sa svojim izvorom; širi pregled nalazi se u našem VLA uvodu.