Pienet VLA-mallit: TinyVLA, SmolVLA ja alle 1B tapaus

Lähes jokainen visio-kieli-toimintamalli josta kirjoitetaan, olettaa datakeskuskortin. OpenVLA:ssa on 7 miljardia parametria. GR00T N1.7 ja Pi0.5 ovat noin 3 miljardia ja vaativat A100 80 GB:n hienosäätöön. Jos työpöydälläsi oleva kortti on 4090, kyseinen malliluokka on ulottumattomissa.

Kaksi artikkelia väittää, ettei sitä tarvita. TinyVLA (arXiv 2409.12514, hyväksytty IEEE Robotics and Automation Letters -julkaisuun helmikuussa 2025) rakentaa VLA:n 400 miljoonasta 1,3 miljardiin parametrin runko-osasta ja diffuusiotoimintapäästä. SmolVLA (arXiv 2506.01844, lähetetty 2. kesäkuuta 2025) sisältää 450 miljoonaa parametria avoimilla painoilla, avoimella datalla ja skriptillä, joka toimii yhdellä kuluttajakortilla. Tässä on, mitä molemmat mittasivat, ja missä alle 1 miljardin argumentti lakkaa pitämästä paikkaansa.

Mikä todella lasketaan pieneksi VLA:ksi

Mallikortin parametrien määrä ei ole yksi luku. Se voi tarkoittaa kokonaispainoja, päättelyssä ladattuja painoja tai painoja, jotka vastaanottavat gradientteja aikana. TinyVLA raportoi molemmat, ja ero on suuri: TinyVLA-H on yhteensä 1,3 B, mutta 143 M on koulutettavissa, koska näkötorni ja suurin osa kielimallista pysyvät jäädytettyinä, kun taas LoRA-adapterit ja toimintapää liikkuvat. Tutkimus asettaa koulutettavan osuuden noin 5 prosenttiin.

Kahdesta rivistä kannattaa keskustella. noin 80 M on pienempi kuin kaikki muut tässä, mutta siinä ei ole kielimallia, joten se ei ole VLA: se oppii yhden tehtävän eikä sille voi käskeä toista. 27 M on ehdollistettu T5-Base-tekstikooderin kautta, ei LLM-runkoverkon. Hyviä vertailukohtia, kumpikaan ei anna sinulle ohjeiden noudattamista, mitä nimi antaa ymmärtää.

TinyVLA: nopeus tulee päästä, ei rungosta

Ilmeinen tulkinta on, että he tekivät kielimallista pienemmän, joten se nopeutui. Artikkelin ablaatiotutkimus sanoo toisin. OpenVLA:n 7 B rungon vaihtaminen noin 1 B runkoon leikkasi toimintakohtaisen ennustuksen 292 ms:sta 140 ms:iin, mikä on 2-kertainen parannus. TinyVLA-H, vastaavalla parametrimäärällä, toimii 14 ms:ssa samalla kortilla. Toinen 10-kertainen parannus tulee toimintapäästä.

OpenVLA lähettää toimintoja diskretoituina tunnuksina kielimallin pään kautta, yksi toimintadimensiota kohti, autoregressiivisesti. TinyVLA liittää diffuusiodekooderin, joka tuottaa koko palan yhdellä kertaa. Taulukko V esittää TinyVLA-H:n arkkitehtuurin ja vaihtaa vain pään, samoissa viidessä todellisen robotin tehtävässä. Se on puhtain todiste kummassakin artikkelissa argumentille virtaussovitus -politiikkojen puolesta, ja syy miksi Pi0 siirtyi pois tunnusten dekoodauksesta.

TinyVLA:n tulokset

Bimanuaalirivillä on tylsä selitys, jonka artikkeli antaa itse: OpenVLA on esikoulutettu Open X-Embodiment -datalla, joka koostuu kokonaan yksikätisestä datasta, joten kaksihaarainen toimintatila on jakautuman ulkopuolella ja sen pistemäärä on nolla. Diffuusiopolitiikan peruslinja voittaa TinyVLA-H:n kahdessa näistä kolmesta tehtävästä. Taustatietoa Open X-Embodiment -kirjoituksessa.

TinyVLA-repo, elokuussa 2026

Artikkeli on hyvä. Koodi on tutkimusjulkaisu. Repositorio on github.com/liyaxuanliyaxuan/TinyVLA; sen README-tiedosto ajoittaa koodin julkaisun 17. helmikuuta 2025 ja viimeisen commitin 11. maaliskuuta 2025. Sopii artikkelin toistamiseen, mutta ongelma, jos haluaisit ylläpidetyn kirjaston.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA ei myöskään lue LeRobot-aineistoja. Sen formaatti on ACT-tyylinen HDF5: action, language_raw ja havaintoryhmä, jossa on moninäkymäkuvia, joint_positions, qpos ja qvel. Arkisto sisältää data_utils/rlds_to_h5py.py:n RLDS-syötteelle, ja jokainen tehtävä rekisteröidään käsin aloha_scripts/constants.py-tiedostoon sen dataset_dir, episode_len ja camera_names -tietojen kanssa. Jos sinun episodisi tulivat lerobotista tai työpöytäasiakasohjelmasta, omistat muunnoksen.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 oletetaan kahdeksan kortin solmu. Aseta se arvoon 1 ja pudota eräkoko reilusti alle 32:n. Yksittäisen GPU:n varianttia ei toimiteta ylävirtaan, joten komentoa ei voi suorittaa sellaisenaan 4090:llä.
• --deepspeed scripts/zero2.json osoittaa tiedostoon, joka ei ole ylimmän tason scripts-hakemistossa. DeepSpeed-konfiguraatiot toimitetaan osoitteessa llava-pythia/scripts/zero2.json. Korjaa polku ennen ensimmäistä ajoa.
• README edellyttää, että tuloshakemiston nimi sisältää llava_pythia:n sekä lora:n, jos LoRA on käytössä.
• Runkoverkko on erillinen lataus: lesjie/Llava-Pythia-400M, -700M or -1.3B. Ei ole olemassa yhtä peruscheckpointia, johon osoitat käytännön sillä tavalla kuin osoitat lerobot/smolvla_base:een.

SmolVLA: alle 1 miljardin parametrin malli, jonka voit ajaa tänä iltapäivänä

SmolVLA esittää saman argumentin ylläpidetyssä kirjastossa. Se on 450 miljoonan parametrin malli SmolVLM2-500M-Video-Instruct-runkoverkon päällä, ja tehokkuus johtuu asetuksista, jotka voit lukea tiedostosta configuration_smolvla.py, eikä väitteestä olla pieni.

Esikoulutus käytti 481 yhteisön LeRobot-aineistoa, 22,9 K jaksoa ja 10,6 M kehystä 4 GPU:lla, 200000 askelta globaalilla eräkoolla 256; julkaisu arvioi koko projektin noin 30 K GPU-tunnin laajuiseksi. Yksi huomioitava luku: Hugging Face -julkaisublogi mainitsee 487 kuratoitua aineistoa, kun julkaisun taulukossa sanotaan 481. Käytämme julkaisun lukua ja merkitsemme erimielisyyden.

Yksi sattuma auttaa: SmolVLA-paperin Meta-World-taulukko sisältää TinyVLA:n omat julkaistut luvut vertailukohtana, joten kerrankin molemmat mallit ovat samassa taulukossa, SmolVLA-0.45B 57.3 vastaan TinyVLA-H 31.6. Se raportoi myös SmolVLA:n koulutuksen olevan noin 40 prosenttia nopeampaa kuin Pi0:n 6x vähemmällä muistilla. Kaikki tämä on peräisin SmolVLA:n tekijöiltä; areenamerkintä linkittää jokaisen arvon sen lähteeseen.

Mihin SmolVLA käyttää aikansa

AY-Robots listaa SmolVLA:n 245 ms per toimintavaihe ja ACT 20 ms käytäntöluettelossa. TinyVLA raportoi 14 ms per toimintaennustus. Nämä luvut eivät ole vertailukelpoisia, ja niiden käsitteleminen sellaisina on yleisin virhe tässä aiheessa: jotkut mittaavat yhden eteenpäinsyötön ajan, jotkut jakavat sen syötön osaan, kun toimintojen paloittelu amortisoi sen.

• SmolVLA lähettää 50 toimintoa per eteenpäinsyöttö ja suorittaa kaikki 50. Paperin käyttämällä 30 fps:llä oikeissa roboteissa yksi päättely kattaa noin 1.7 sekuntia liikettä.
• Asynkroninen päättely laskee seuraavan palan samalla kun nykyinen vielä suoritetaan: 9.7 s keskimääräinen tehtävän suoritus synkronisen 13.75 s sijaan, noin 30 prosenttia nopeammin, ja 19 poiminta- ja sijoittelusykliä kiinteässä 60 sekunnin ikkunassa 9:ää vastaan.
• Onnistumisprosentit olivat vertailukelpoisia parempien sijaan, 78.3 synkroninen vastaan 73.3 asynkroninen. Asynkronisuus ostaa läpimenokykyä, ei tarkkuutta.
• Paloittelu piilottaa laskentaviiveen, ei verkon viivettä, ja se tekee käytännöstä vähemmän reaktiivisen, koska se on sitoutunut 50 toimintoon.

SmolVLA:n hienosäätö yhdellä kuluttajakortilla

Manuaalinen polku, lerobot 0.6.1:ssä, nykyinen PyPI-julkaisu 23. elokuuta 2026. Kaikki alla oleva on peräisin Hugging Face lerobot SmolVLA -dokumentaatiosta, haettu samana päivänä; opastettu versio on lempeämpi.

1. 1
   Asenna lerobot smolvla-lisäosan kanssa

   SmolVLA:n riippuvuudet ovat valinnainen lisäosa, eivät osa perusasennusta. Asentaminen ilman niitä ja sitten ihmettely, miksi käytännön tyyppi on tuntematon, on yleinen puolen tunnin ajanhukka.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Hanki aineisto riittävillä jaksoilla

   Dokumentaatio suosittelee noin 50 jaksoa ja toteaa, että sama tehtävä 25 jaksolla ei ollut riittävä. AY-Robots asettaa minimin 30:een. Tallenna omasi tai aloita aineistohakemistosta.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Aloita hienosäätö

   Komento lerobot-oppaasta, muokkaamattomana. Dokumentaation mukaan 20000 askelta kestää noin 4 tuntia yhdellä A100:lla. 24 GB:n kortilla odota pidempää kestoa ja mittaa se.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Pienennä eräkokoa, kunnes se sopii

   batch_size=64 on dokumentoitu esimerkki, ei lupaus korttisi suorituskyvystä. Dokumentaatio neuvoo aloittamaan pienestä ja kasvattamaan arvoa niin kauan kuin latausajat pysyvät lyhyinä.

   bash

   lerobot-train --help

5. 5
   Ota tarkistuspiste käyttöön varressa

   Sama kirjasto, yksi komento. Reaaliaikaiset palastelun liput on kommentoitu pois dokumentaatiosta ja niitä kannattaa käyttää vähätehoisella laitteistolla.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Kaksi tapaa saada pieni VLA varteen

Kun pieni malli on väärä valinta

Molemmat artikkelit ovat tässä varovaisempia kuin tiivistelmät. TinyVLA:n vika-analyysi on tarkka: 0,4 B variantti epäonnistui kolme kertaa tulkitsemalla ohjeen väärin, minkä kirjoittajat selittävät pienemmän VLM:n rajallisella kielen ymmärtämisellä, ja tämä tila katosi 1,3 B:ssä. SmolVLA näyttää saman käyrän toisesta päästä: identtisen arkkitehtuurin 2,25 B versio saa 88,75 pistettä LIBEROssa ja 68,24 Meta-Worldissa verrattuna 0,45 B mallin 87,3 ja 57,3 pisteeseen.

Vertailu, joka kannattaa tehdä, ei ole TinyVLA vastaan SmolVLA. Se on SmolVLA vastaan ACT omassa tehtävässäsi, ja SmolVLA-artikkeli on perustelu sille, miksi. Yksittäistehtävänä ilman robotiikan esikoulutusta koulutettu SmolVLA sai keskimäärin 40,0 pistettä kolmessa SO-100-tehtävässä, joissa yksittäistehtävä-ACT sai 48,3. Se, mikä nostaa sen 78,3:een, on yhteisön esikoulutus ja monitehtäväkoulutus, ei pelkkä arkkitehtuuri. SO-101 lego -tehtävässä, molemmat yksittäistehtävinä, SmolVLA voittaa: 90 vastaan 70 jakaumassa. Sitten SmolVLA vastaan Pi0.5 jos budjetti sallii.

Päätöstaulukko, jonka pohjalta voit toimia

Viimeisen rivin osalta, reaaliaikainen robottikäsi striimaa fyysisen SO-100:n, jota voit ohjata selaimesta ilman tiliä, ja kolme tapaa aloittaa kattaa loput. SO-100 on tässä referenssikäsi, osien hinta noin 110–150 EUR, ja siihen kuuluu täydellinen asennusopas.

Mitä tulee alle 1 B -mallien jälkeen

Parametrimäärän pienentäminen on yksi tapa tehdä VLA:sta edullinen, eikä se ole ilmeisesti voittava tapa. OpenVLA-OFT (arXiv 2502.19645) säilyttää 7 B -runkoverkon ja muuttaa vain sitä, miten toiminnot dekoodataan, raportoiden 26-kertaisen kasvun toimintojen generoinnin suorituskyvyssä ja LIBERO:n nousun 76,5:stä 97,1 prosenttiin. BitVLA (arXiv 2506.07530) tekee jokaisesta 1-bittisen BitNet b1.58 2B4T -runkoverkon painosta ternaarisen, raportoiden 11,0-kertaisesti vähemmän muistia ja 4,4-kertaisesti pienemmän päästä päähän -viiveen samalla kun se vastaa täsmällisyyden OpenVLA-OFT:ää. X-VLA-0.9B (arXiv 2510.10274) sijoittuu 1 B -linjalle virtaussovituksen kanssa.

Yhteinen nimittäjä: toimintojen dekooderi, ei kielimalli, on se, missä viive piilee. Kysy, miten toimintaperiaate lähettää toimintoja, ennen kuin kysyt, kuinka monta parametria sillä on. Areena sisältää 85 mallia ja 332 tulosta, joista jokainen on linkitetty lähteeseensä; laajempi yleiskatsaus löytyy VLA-esittelyssämme.