Väikesed VLA mudelid: TinyVLA, SmolVLA ja alla 1B parameetri juhtum

Peaaegu iga nägemis-keele-tegevuse mudel millest kirjutatakse, eeldab andmekeskuse kaarti. OpenVLA on 7 miljardit parameetrit. GR00T N1.7 ja Pi0.5 on umbes 3 miljardit ja vajavad peenhäälestamiseks A100 80 GB. Kui teie laual olev kaart on 4090, on see mudeliklass kättesaamatu.

Kaks artiklit väidavad, et seda pole vaja. TinyVLA (arXiv 2409.12514, aktsepteeritud IEEE Robotics and Automation Letters poolt veebruaris 2025) ehitab VLA 400 miljonist kuni 1,3 miljardist selgroost pluss difusioonitegevuse pea. SmolVLA (arXiv 2506.01844, esitatud 2. juunil 2025) tarnib 450 miljonit parameetrit avatud kaalude, avatud andmete ja skriptiga, mis töötab ühel tarbijakaardil. Siin on see, mida mõlemad mõõtsid, ja kus alla 1 miljardi argument enam ei kehti.

Mis tegelikult loeb väikeseks VLA-ks

Mudelikaardi parameetrite arv ei ole üks number. See võib tähendada kaalu koguarvu, järeldamise ajal laaditud kaalusid või kaalusid, mis saavad gradienti . TinyVLA raporteerib mõlemat ja vahe on suur: TinyVLA-H on kokku 1,3 B, kuid treenitav on 143 M, sest nägemistorn ja enamik keelemudelist jäävad külmutatuks, samal ajal kui LoRA adapterid ja tegevuspea liiguvad. Artikkel paigutab treenitava osa umbes 5 protsendi juurde.

Kaks rida väärivad arutelu. umbes 80 M juures on väiksem kui kõik muu siin, kuid sellel puudub keelemudel, seega ei ole see VLA: see õpib ühe ülesande ja seda ei saa käskida teist teha. 27 M juures on tingitud T5-Base tekstikodeerija kaudu, mitte LLM-i tugivõrgu kaudu. Head baasjooned, kumbki ei anna teile juhiste järgimist, mida silt eeldab.

TinyVLA: kiirus tuleb peast, mitte selgroost

Ilmselge tõlgendus on, et nad tegid keelemudeli väiksemaks, nii et see muutus kiiremaks. Artiklis toodud ablatsioonanalüüs ütleb vastupidist. OpenVLA 7 B põhiosa asendamine ligikaudu 1 B suurusega vähendas tegevuse ennustamise aega 292 ms-lt 140 ms-le, mis on 2-kordne kiirendus. TinyVLA-H, võrreldava parameetrite arvuga, töötab samal kaardil 14 ms-ga. Ülejäänud 10-kordne kiirendus tuleb tegevuspeast.

OpenVLA väljastab tegevusi diskreetsete tokenitena läbi keelemudeli pea, üks tegevusdimensiooni kohta, autoregressiivselt. TinyVLA lisab difusioondekoodri, mis toodab kogu tüki ühe korraga. Tabel V näitab TinyVLA-H arhitektuuri ja vahetab ainult pea, samadel viiel reaalse roboti ülesandel. See on kõige selgem tõend kummaski artiklis argumendi kohta, mida voolu sobitamise poliitikad esitavad, ja põhjus, miks Pi0 loobus tokenite dekodeerimisest.

Mida TinyVLA saavutas

Bimanuaalsel real on igav selgitus, mille paber ise annab: OpenVLA on eelkoolitatud Open X-Embodimentil, mis koosneb täielikult ühekäelistest andmetest, seega on kahekäeline tegevusruum jaotusest väljas ja see saab null punkti. Difusioonipoliitika baasjoon ületab TinyVLA-H-d kahel kolmest ülesandest. Taust on Open X-Embodimenti ülevaates.

TinyVLA repo, seisuga august 2026

Paber on hea. Kood on uurimistöö väljalase. Repositoorium on github.com/liyaxuanliyaxuan/TinyVLA; selle README dateerib koodi väljalaske 17. veebruarile 2025 ja viimane commit on 11. märts 2025. Sobib paberi reprodutseerimiseks, probleemiks, kui soovite hooldatud teeki.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA ei loe ka LeRoboti andmestikke. Selle formaat on ACT-stiilis HDF5: action, language_raw ja vaatluste grupp mitmevaateliste piltide, joint_positions, qpos ja qvel-iga. Repositooriumis on kaasas data_utils/rlds_to_h5py.py RLDS sisendi jaoks ja iga ülesanne registreeritakse käsitsi failis aloha_scripts/constants.py koos oma dataset_dir, episode_len ja camera_names. Kui teie episoodid pärinevad lerobotist või töölauakliendist, siis teisenduse eest vastutate teie.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 eeldab kaheksakaardilist sõlme. Määra see 1-le ja vähenda paketi suurust tunduvalt alla 32. Ühe GPU-ga varianti ei tarnita ülesvoolu, seega ei saa käsku 4090-l sõna-sõnalt käivitada.
• --deepspeed scripts/zero2.json viitab failile, mis ei asu ülemise taseme scripts kataloogis. DeepSpeedi konfiguratsioonid asuvad llava-pythia/scripts/zero2.json. Paranda tee enne esimest käivitust.
• README nõuab, et väljundkataloogi nimi sisaldaks llava_pythia, pluss lora, kui LoRA on lubatud.
• Selgroog on eraldi allalaaditav: lesjie/Llava-Pythia-400M, -700M või -1.3B. Puudub üks baaskontrollpunkt, millele poliitikat suunata, nagu suunaksid lerobot/smolvla_base'ile.

SmolVLA: alla 1 B mudel, mida saad täna pärastlõunal käivitada

SmolVLA esitab sama argumendi hooldatud teegi sees. See on 450 M parameetrit SmolVLM2-500M-Video-Instruct selgrool ja efektiivsus tuleneb seadetest, mida saab lugeda failist configuration_smolvla.py, mitte väitest, et see on väike.

Eelõpe kasutas 481 kogukonna LeRobot andmestikku, 22,9 K episoodi ja 10,6 M kaadrit 4 GPU-l, 200000 sammu globaalse partii suurusega 256; artikli kohaselt oli kogu projekti maht umbes 30 K GPU tundi. Üks number, mida jälgida: Hugging Face'i käivitusblogi mainib 487 kureeritud andmestikku, samas kui artikli tabelis on 481. Me kasutame artikli numbrit ja märgime lahknevuse.

Üks juhus aitab: SmolVLA artikli Meta-World tabelis on TinyVLA enda avaldatud numbrid baasjoonena, nii et seekord on mõlemad mudelid ühes tabelis, SmolVLA-0.45B 57.3 vastu TinyVLA-H 31.6. Samuti teatatakse, et SmolVLA treenimine on umbes 40 protsenti kiirem kui Pi0, kasutades 6 korda vähem mälu. Kõik see pärineb SmolVLA autoritelt; arena kirje lingib iga väärtuse selle allikaga.

Kus SmolVLA oma aega veedab

AY-Robots loetleb SmolVLA-d 245 ms tegevussammu kohta ja ACT 20 ms kohta poliitikate kataloogis. TinyVLA teatab 14 ms tegevuse ennustuse kohta. Need numbrid ei ole võrreldavad ja nende käsitlemine võrreldavatena on selle teema kõige levinum viga: mõned ajastavad ühe edasisuunalise läbipääsu, mõned jagavad selle läbipääsu tüki peale, kui tegevuste tükeldamine selle amortiseerib.

• SmolVLA väljastab 50 tegevust ühe edasisuunalise läbipääsu kohta ja täidab kõik 50. 30 kaadrit sekundis, mida artikkel reaalsetel robotitel kasutab, katab üks järeldus umbes 1.7 sekundit liikumist.
• Asünkroonne järeldus arvutab järgmise tüki, samal ajal kui praegune veel täitub: 9.7 s keskmine ülesande täitmine võrreldes 13.75 s sünkroonsega, umbes 30 protsenti kiirem, ja 19 korjamis- ja paigutustsüklit fikseeritud 60-sekundilises aknas võrreldes 9-ga.
• Edukad määrad olid pigem võrreldavad kui paremad, 78.3 sünkroonne võrreldes 73.3 asünkroonsega. Asünkroonsus ostab läbilaskevõimet, mitte täpsust.
• Tükeldamine peidab arvutuslatentsust, mitte võrgulatentsust, ja see muudab poliitika vähem reaktiivseks, sest see on pühendunud 50 tegevusele.

SmolVLA peenhäälestamine ühel tarbijakaardil

Käsitsi tee, lerobot 0.6.1-l, praegune PyPI väljalase seisuga 23. august 2026. Kõik allolev pärineb Hugging Face lerobot SmolVLA dokumentatsioonist, mis on samal päeval alla laaditud; juhendatud versioon on leebem.

1. 1
   Paigalda lerobot koos smolvla lisaga

   SmolVLA sõltuvused on valikuline lisa, mis ei kuulu põhipaigalduse hulka. Paigaldamine ilma nendeta ja seejärel imestamine, miks poliisi tüüp on tundmatu, on tavaline pool tundi kaotatud aega.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Hangi piisava episoodide arvuga andmestik

   Dokumentatsioon soovitab umbes 50 episoodi ja märgib, et sama ülesande puhul 25 episoodiga ei piisanud. AY-Robots määrab miinimumiks 30. Salvesta oma andmed või alusta andmestiku kataloogist.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Alusta peenhäälestust

   Käsk lerobot juhendist, muutmata. Dokumentatsioon hindab 20000 sammu umbes 4 tunniks ühel A100-l. 24 GB kaardil oota pikemat aega ja mõõda seda.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Vähenda paketi suurust, kuni see sobib

   batch_size=64 on dokumenteeritud näide, mitte lubadus teie kaardi kohta. Dokumentatsioon soovitab alustada väikselt ja suurendada, kuni laadimisaeg püsib lühike.

   bash

   lerobot-train --help

5. 5
   Käivita kontrollpunkt robotkäel

   Sama teek, üks käsk. Reaalajas tükeldamise lipud on dokumentatsioonis kommenteeritud ja need on need, mida kasutada madala võimsusega riistvaral.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Kaks viisi väikese VLA robotkäele saamiseks

Kui väike mudel on vale valik

Mõlemad artiklid on siin hoolikamad kui kokkuvõtted. TinyVLA veaanalüüs on spetsiifiline: 0,4 B variant ebaõnnestus kolm korda juhise valesti lugemise tõttu, mida autorid omistavad väiksema VLM-i piiratud keelelisele mõistmisele, ja see režiim kadus 1,3 B juures. SmolVLA näitab sama kõverat teisest otsast: identse arhitektuuri 2,25 B versioon saavutab LIBERO-l 88,75 ja Meta-Worldil 68,24 punkti, võrreldes 0,45 B mudeli 87,3 ja 57,3-ga.

Võrdlus, mida tasub teha, ei ole TinyVLA SmolVLA vastu. See on SmolVLA vastu ACT teie enda ülesandel, ja SmolVLA artikkel on argument, miks. Ühe ülesande jaoks treenitud ilma robootika eeltreeninguta saavutas SmolVLA kolmel SO-100 ülesandel keskmiselt 40,0, samas kui ühe ülesande ACT saavutas 48,3. See, mis tõstab selle 78,3-ni, on kogukonna eeltreening pluss mitme ülesande treening, mitte ainult arhitektuur. SO-101 lego ülesandel, mõlemad ühe ülesande jaoks, SmolVLA võidab: 90 versus 70 jaotuses. Seejärel SmolVLA vastu Pi0.5 kui eelarve seda võimaldab.

Otsustustabel, mille järgi saate tegutseda

Viimase rea jaoks, reaalajas käsi voogedastab füüsilist SO-100, mida saate brauserist ilma kontota juhtida, ja kolm alustamisviisi katab ülejäänu. SO-100 on siin referentskäsi, osade maksumus umbes 110 kuni 150 EUR, koos täieliku seadistusjuhendiga.

Mis tuleb pärast alla 1 B mudeleid

Parameetrite arvu vähendamine on üks viis VLA odavaks muutmiseks ja mitte ilmtingimata võidukas. OpenVLA-OFT (arXiv 2502.19645) säilitab 7 B selgroo ja muudab ainult seda, kuidas tegevusi dekodeeritakse, teatades 26-kordsest tegevuste genereerimise läbilaskevõime suurenemisest ja LIBERO tõusust 76,5-lt 97,1 protsendile. BitVLA (arXiv 2506.07530) muudab iga 1-bitise BitNet b1.58 2B4T selgroo kaalu ternaarseks, teatades 11,0x vähem mälu ja 4,4x madalama otsast-lõpuni latentsuse, samal ajal sobitudes täppis-OpenVLA-OFT-ga. X-VLA-0.9B (arXiv 2510.10274) asub 1 B joonel voolu sobitamisega.

Ühine joon: latentsus asub tegevusdekoodris, mitte keelemudelis. Küsige, kuidas poliitika tegevusi väljastab, enne kui küsite, mitu parameetrit sellel on. Areen sisaldab 85 mudelit ja 332 tulemust, millest igaüks on lingitud oma allikaga; laiem ülevaade on meie VLA sissejuhatuses.