Majhni modeli VLA: TinyVLA, SmolVLA in primer pod 1B parametrov

Skoraj vsak vizualno-jezikovni-akcijski model o katerem se piše, predpostavlja kartico podatkovnega centra. OpenVLA ima 7 B parametrov. GR00T N1.7 in Pi0.5 imata okoli 3 B parametrov in za fino učenje potrebujeta A100 80 GB. Če je kartica na vaši mizi 4090, je ta razred modelov nedosegljiv.

Dva članka trdita, da ga ne potrebujete. TinyVLA (arXiv 2409.12514, sprejet s strani IEEE Robotics and Automation Letters februarja 2025) gradi VLA iz hrbtenice od 400 M do 1.3 B plus difuzijsko akcijsko glavo. SmolVLA (arXiv 2506.01844, oddano 2. junija 2025) ponuja 450 M parametrov z odprtimi utežmi, odprtimi podatki in skripto, ki se izvaja na eni potrošniški kartici. Tukaj je, kaj sta oba izmerila in kje argument pod 1 B preneha veljati.

Kaj dejansko šteje kot majhen VLA

Število parametrov na kartici modela ni eno samo število. Lahko pomeni skupno število uteži, uteži naložene med sklepanjem, ali uteži, ki prejemajo gradiente med . TinyVLA poroča o obeh, in razlika je velika: TinyVLA-H ima skupno 1.3 B, vendar 143 M učljivih, ker vizualni stolp in večina jezikovnega modela ostaneta zamrznjena, medtem ko se LoRA adapterji in akcijska glava premikajo. Članek navaja, da je delež učljivih približno 5 odstotkov.

O dveh vrsticah je vredno razpravljati. pri približno 80 M je manjši od vsega ostalega tukaj, vendar nima jezikovnega modela, zato ni VLA: nauči se ene naloge in mu ni mogoče ukazati, naj naredi drugo. pri 27 M je pogojen preko besedilnega kodirnika T5-Base, ne pa hrbtenice LLM. Dobre izhodiščne točke, vendar nobena ne zagotavlja sledenja navodilom, ki jih nakazuje oznaka.

TinyVLA: hitrost prihaja iz glave, ne iz hrbtenice

Očitna razlaga je, da so zmanjšali jezikovni model, zato je postal hitrejši. Ablacijska študija v članku pravi drugače. Zamenjava hrbtenice OpenVLA s 7 B za približno 1 B je zmanjšala predvidevanje na dejanje z 292 ms na 140 ms, kar je 2-kratna izboljšava. TinyVLA-H, s primerljivim številom parametrov, deluje pri 14 ms na isti kartici. Drugih 10-krat je glava za dejanja.

OpenVLA oddaja dejanja kot diskretizirane žetone skozi glavo jezikovnega modela, enega na dimenzijo dejanja, avtoregresivno. TinyVLA priključi difuzijski dekoder, ki proizvede celoten blok v enem posnetku. Tabela V prikazuje arhitekturo pri TinyVLA-H in zamenja samo glavo, na istih petih nalogah s pravimi roboti. To je najčistejši dokaz v obeh člankih za argument, ki ga podpirajo politike ujemanje toka, in razlog, zakaj se je Pi0 oddaljil od dekodiranja žetonov.

Kaj je dosegel TinyVLA

Bimanualna vrstica ima dolgočasno razlago, ki jo podaja sam članek: OpenVLA je predhodno usposobljen na Open X-Embodiment, ki je v celoti sestavljen iz podatkov z eno roko, zato je akcijski prostor z dvema rokama izven distribucije in dosega nič točk. Osnovna linija difuzijske politike premaga TinyVLA-H pri dveh od teh treh nalog. Ozadje v zapisu o Open X-Embodiment.

Repozitorij TinyVLA, stanje avgust 2026

Članek je dober. Koda je raziskovalni izdelek. Repozitorij je github.com/liyaxuanliyaxuan/TinyVLA; njegov README datira izdajo kode na 17. februar 2025, zadnja potrditev pa je 11. marec 2025. Dobro za reprodukcijo članka, problematično, če bi želeli vzdrževano knjižnico.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA prav tako ne bere naborov podatkov LeRobot. Njegov format je HDF5 v slogu ACT: action, language_raw in skupina opazovanj z večpoglednimi slikami, joint_positions, qpos in qvel. Repozitorij vsebuje data_utils/rlds_to_h5py.py za vnos RLDS, in vsaka naloga je ročno registrirana v aloha_scripts/constants.py z njenim dataset_dir, episode_len in camera_names. Če so vaši epizode prišle iz lerobot ali namiznega odjemalca, ste odgovorni za pretvorbo.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 predpostavlja vozlišče z osmimi karticami. Nastavite ga na 1 in zmanjšajte velikost paketa precej pod 32. Nobena različica za eno grafično kartico ni dobavljena navzgor, zato ukaza ni mogoče zagnati dobesedno na 4090.
• --deepspeed scripts/zero2.json kaže na datoteko, ki ni v korenskem imeniku scripts. Konfiguracije DeepSpeed so dobavljene na llava-pythia/scripts/zero2.json. Popravite pot pred prvim zagonom.
• README zahteva, da ime izhodnega imenika vsebuje llava_pythia, plus lora, če je omogočen LoRA.
• Hrbtenica je ločen prenos: lesjie/Llava-Pythia-400M, -700M ali -1.3B. Ni ene same osnovne kontrolne točke, na katero bi usmerili politiko, kot usmerite na lerobot/smolvla_base.

SmolVLA: model pod 1 B, ki ga lahko zaženete danes popoldne

SmolVLA podaja enak argument znotraj vzdrževane knjižnice. Ima 450 M parametrov na hrbtenici SmolVLM2-500M-Video-Instruct, učinkovitost pa izhaja iz nastavitev, ki jih lahko preberete iz configuration_smolvla.py, namesto iz trditve o majhnosti.

Predhodno usposabljanje je uporabilo 481 skupnostnih podatkovnih nizov LeRobot, 22.9 K epizod in 10.6 M sličic na 4 GPU-jih, 200000 korakov pri globalni seriji 256; članek ocenjuje celoten projekt na približno 30 K GPU ur. Ena številka, na katero je treba biti pozoren: blog o lansiranju Hugging Face navaja 487 kuriranih podatkovnih nizov, medtem ko tabela v članku navaja 481. Uporabljamo številko iz članka in opozarjamo na neskladje.

Ena naključna ugodnost: tabela Meta-World v članku o SmolVLA vsebuje objavljene številke TinyVLA kot izhodišče, tako da sta tokrat oba modela v eni tabeli, SmolVLA-0.45B pri 57.3 proti TinyVLA-H pri 31.6. Poroča tudi, da je usposabljanje SmolVLA približno 40 odstotkov hitrejše od Pi0 na 6-krat manj pomnilnika. Vse to prihaja od avtorjev SmolVLA; vnos v areni povezuje vsako vrednost z njenim virom.

Kje SmolVLA porabi svoj čas

AY-Robots navaja SmolVLA pri 245 ms na korak dejanja in ACT pri 20 ms v katalogu politik. TinyVLA poroča 14 ms na napoved dejanja. Te številke niso primerljive, in obravnavanje, kot da bi bile, je najpogostejša napaka na tem področju: nekateri merijo čas enega prehoda naprej, nekateri pa ta prehod razdelijo čez kos, ko ga razdelitev dejanj na kose amortizira.

• SmolVLA odda 50 dejanj na prehod naprej in izvede vseh 50. Pri 30 sličicah na sekundo, ki jih članek uporablja na resničnih robotih, eno sklepanje pokriva približno 1.7 sekunde gibanja.
• Asinhrono sklepanje izračuna naslednji kos, medtem ko se trenutni še izvaja: 9.7 s povprečnega časa dokončanja naloge proti 13.75 s sinhronnega, približno 30 odstotkov hitreje, in 19 ciklov pobiranja in odlaganja v fiksnem 60-sekundnem oknu proti 9.
• Stopnje uspešnosti so bile primerljive, ne pa boljše, 78.3 sinhrono proti 73.3 asinhrono. Asinhronost kupuje prepustnost, ne natančnost.
• Razdelitev na kose skriva latenco izračuna, ne latence omrežja, in zmanjšuje reaktivnost politike, ker je zavezana 50 dejanjem.

Fino uglaševanje SmolVLA na eni potrošniški kartici

Ročna pot, na lerobot 0.6.1, trenutni izdaji PyPI z dne 23. avgusta 2026. Vse spodaj izhaja iz dokumentacije Hugging Face lerobot SmolVLA, pridobljene istega dne; vodena različica je nežnejša.

1. 1
   Namestite lerobot z dodatkom smolvla

   Odvisnosti SmolVLA so izbirni dodatek in niso del osnovne namestitve. Namestitev brez njih in nato spraševanje, zakaj je tip politike neznan, je pogosto izgubljena pol ure.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Pridobite nabor podatkov z dovolj epizodami

   Dokumentacija priporoča okoli 50 epizod in navaja, da ista naloga s 25 ni bila dovolj. AY-Robots določa minimum pri 30. Posnemite svoje ali začnite iz imenika naborov podatkov.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Začnite fino uglasitev

   Ukaz iz lerobot vodnika, nespremenjen. Dokumentacija navaja 20000 korakov kot približno 4 ure na enem A100. Na 24 GB kartici pričakujte daljši čas in ga izmerite.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Zmanjšajte velikost paketa, dokler se ne prilega

   batch_size=64 je dokumentiran primer, ne obljuba glede vaše kartice. Dokumentacija svetuje začetek z majhno vrednostjo in povečevanje, dokler so časi nalaganja kratki.

   bash

   lerobot-train --help

5. 5
   Uporabite kontrolno točko na roki

   Ista knjižnica, en ukaz. Zastavice za razdeljevanje v realnem času so v dokumentaciji zakomentirane in so tiste, ki jih je treba uporabiti na strojni opremi z nizko porabo energije.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dva načina za namestitev majhnega VLA na roko

Ko je majhen model napačna izbira

Oba članka sta tukaj bolj previdna kot povzetki. Analiza napak TinyVLA je specifična: različica 0,4 B je trikrat spodletela zaradi napačnega branja navodil, kar avtorji pripisujejo omejenemu razumevanju jezika v manjšem VLM, in ta način je izginil pri 1,3 B. SmolVLA prikazuje isto krivuljo z drugega konca: različica 2,25 B identične arhitekture dosega 88,75 na LIBERO in 68,24 na Meta-World proti 87,3 in 57,3 za model 0,45 B.

Primerjava, ki jo je vredno izvesti, ni TinyVLA proti SmolVLA. Je SmolVLA proti ACT na vaši lastni nalogi, in članek SmolVLA je argument, zakaj. Usposobljen za eno nalogo brez predhodnega usposabljanja za robotiko, je SmolVLA dosegel povprečno 40,0 na treh nalogah SO-100, kjer je enojna naloga ACT dosegla 48,3. Kar ga dvigne na 78,3, je predhodno usposabljanje skupnosti plus večopravilno usposabljanje, ne samo arhitektura. Pri nalogi SO-101 lego, obe enojni nalogi, SmolVLA zmaga: 90 proti 70 v distribuciji. Nato SmolVLA proti Pi0.5 če proračun dopušča.

Tabela odločitev, po kateri lahko ukrepate

Za zadnjo vrstico, živa roka pretaka fizični SO-100, ki ga lahko upravljate iz brskalnika brez računa, in trije načini za začetek pokriva ostalo. SO-100 je referenčna roka tukaj, približno 110 do 150 EUR v delih, s celotnim vodnikom za namestitev.

Kaj sledi modelom pod 1 B

Zmanjšanje števila parametrov je eden od načinov, kako narediti VLA poceni, vendar ni očitno zmagovalen. OpenVLA-OFT (arXiv 2502.19645) ohranja 7 B hrbtenico in spreminja le način dekodiranja dejanj, pri čemer poroča o 26-kratnem povečanju prepustnosti generiranja dejanj in dvigu LIBERO iz 76,5 na 97,1 odstotka. BitVLA (arXiv 2506.07530) naredi vsako utež 1-bitne BitNet b1.58 2B4T hrbtenice ternarno, pri čemer poroča o 11,0-krat manj pomnilnika in 4,4-krat nižji celoviti zakasnitvi, medtem ko se ujema s polno natančnostjo OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) se nahaja na liniji 1 B z ujemanje toka.

Skupna nit: dekoder dejanj, ne jezikovni model, je tisto, kjer se nahaja zakasnitev. Vprašajte, kako politika oddaja dejanja, preden vprašate, koliko parametrov ima. arena ima 85 modelov in 332 rezultatov, vsak povezan s svojim virom; širši pregled je na voljo v našem uvodu v VLA.