Klein VLA Modelle: TinyVLA, SmolVLA en die Sub-1B Geval

Byna elke visie-taal-aksie-model waaroor geskryf word, neem 'n datasentrumkaart aan. OpenVLA is 7 B parameters. GR00T N1.7 en Pi0.5 is ongeveer 3 B en benodig 'n A100 80 GB om fyn te stel. As die kaart op jou lessenaar 'n 4090 is, is daardie klas model buite bereik.

Twee referate argumenteer dat jy dit nie nodig het nie. TinyVLA (arXiv 2409.12514, aanvaar deur IEEE Robotics and Automation Letters in Februarie 2025) bou 'n VLA uit 'n 400 M tot 1.3 B ruggraat plus 'n diffusie-aksiekop. SmolVLA (arXiv 2506.01844, ingedien 2 Junie 2025) lewer 450 M parameters met oop gewigte, oop data en 'n skrip wat op een verbruikerskaart loop. Hier is wat albei gemeet het, en waar die sub-1 B argument ophou geld.

Wat werklik as 'n klein VLA tel

Die parameter telling op 'n modelkaart is nie een nommer nie. Dit kan totale gewigte, gewigte gelaai tydens inferensie, of gewigte wat gradiënte ontvang tydens . TinyVLA rapporteer beide, en die gaping is groot: TinyVLA-H is 1.3 B totaal maar 143 M opleibaar, omdat die visietoring en die meeste van die taalmodel gevries bly terwyl LoRA-adapters en die aksiekop beweeg. Die referaat stel die opleibare deel op ongeveer 5 persent.

Twee rye is die moeite werd om oor te argumenteer. teen ongeveer 80 M is kleiner as alles anders hier, maar het geen taalmodel nie, so dit is nie 'n VLA nie: dit leer een taak en kan nie aangesê word om 'n ander te doen nie. teen 27 M word gekondisioneer deur 'n T5-Base teksenkodeerder, nie 'n LLM-ruggraat nie. Goeie basislyne, nie een gee jou die instruksievolging wat die etiket impliseer nie.

TinyVLA: die spoed kom van die hoof, nie die ruggraat nie

Die ooglopende interpretasie is dat hulle die taalmodel kleiner gemaak het, sodat dit vinniger geword het. Die referaat se ablasie sê anders. Die ruil van OpenVLA se 7 B ruggraat vir 'n ongeveer 1 B een het per-aksie voorspelling van 292 ms na 140 ms verminder, 'n 2x wins. TinyVLA-H, met 'n vergelykbare parameter telling, loop teen 14 ms op dieselfde kaart. Die ander 10x is die aksiehoof.

OpenVLA stuur aksies uit as gediskretiseerde tokens deur die taalmodelhoof, een per aksiedimensie, outoregressief. TinyVLA heg 'n diffusie-dekodeerder aan wat die hele stuk in een slag produseer. Tabel V bevat die argitektuur by TinyVLA-H en ruil slegs die hoof, op dieselfde vyf regte-robot take. Dit is die skoonste bewyse in enige van die referate vir die argument vloeipas-passing beleide maak, en die rede Pi0 het wegbeweeg van token-dekodering.

Wat TinyVLA behaal het

Die bimanuële ry het 'n vervelige verduideliking wat die referaat self gee: OpenVLA is vooraf opgelei op Open X-Embodiment, wat geheel en al uit enkelarmdata bestaan, so 'n twee-arm aksiespasie is buite verspreiding en dit behaal nul. Die diffusiebeleid-basislyn klop TinyVLA-H op twee van daardie drie take. Agtergrond in die Open X-Embodiment-verslag.

Die TinyVLA-repo, soos van Augustus 2026

Die referaat is goed. Die kode is 'n navorsingsvrystelling. Die bewaarplek is github.com/liyaxuanliyaxuan/TinyVLA; sy README dateer die kodestelling na 17 Februarie 2025 en die laaste commit is 11 Maart 2025. Goed vir die reproduksie van 'n referaat, 'n probleem as jy 'n onderhoude biblioteek wou hê.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA lees ook nie LeRobot datastelle. Die formaat daarvan is ACT-styl HDF5: action, language_raw, en 'n waarnemingsgroep met multi-aansig beelde, joint_positions, qpos en qvel. Die bewaarplek verskaf data_utils/rlds_to_h5py.py vir RLDS-invoer, en elke taak word met die hand geregistreer in aloha_scripts/constants.py met sy dataset_dir, episode_len en camera_names. As jou episodes gekom het van lerobot of die rekenaarkliënt, besit jy die omskakeling.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 aanvaar 'n agt-kaart nodus. Stel dit op 1 en verlaag die bondelgrootte ver onder 32. Geen enkel-GPU variant word stroomop verskeep nie, so die opdrag kan nie woordeliks op 'n 4090 uitgevoer word nie.
• --deepspeed scripts/zero2.json wys na 'n lêer wat nie in die topvlak scripts-gids is nie. Die DeepSpeed-konfigurasies word by llava-pythia/scripts/zero2.json verskeep. Maak die pad reg voor jou eerste lopie.
• Die README vereis dat die uitvoergidsnaam llava_pythia moet bevat, plus lora as LoRA geaktiveer is.
• Die ruggraat is 'n aparte aflaai: lesjie/Llava-Pythia-400M, -700M of -1.3B. Daar is geen enkele basiskontrolepunt waarna jy 'n beleid wys op dieselfde manier as wat jy na lerobot/smolvla_base wys nie.

SmolVLA: die sub-1 B model wat jy vanmiddag kan uitvoer

SmolVLA maak dieselfde argument binne 'n onderhoude biblioteek. Dit is 450 M parameters op 'n SmolVLM2-500M-Video-Instruct ruggraat, en die doeltreffendheid kom van instellings wat jy uit configuration_smolvla.py kan lees eerder as van 'n bewering oor klein wees.

Vooropleiding het 481 gemeenskaps LeRobot datastelle, 22.9 K episodes en 10.6 M rame op 4 GPU's, 200000 stappe teen 'n globale bondel van 256 gebruik; die referaat skat die hele projek op ongeveer 30 K GPU-ure. 'n Getal om dop te hou: die Hugging Face bekendstellingsblog sê 487 saamgestelde datastelle waar die referaat se tabel 481 sê. Ons gebruik die referaat se syfer en dui die verskil aan.

Een toeval help: die SmolVLA-artikel se Meta-World-tabel bevat TinyVLA se eie gepubliseerde syfers as 'n basislyn, sodat vir eers albei modelle in een tabel verskyn, SmolVLA-0.45B teen 57.3 teenoor TinyVLA-H teen 31.6. Dit rapporteer ook dat SmolVLA-opleiding ongeveer 40 persent vinniger is as Pi0 op 6x minder geheue. Alles kom van die SmolVLA-outeurs; die arena-inskrywing koppel elke waarde aan sy bron.

Waar SmolVLA sy tyd spandeer

AY-Robots lys SmolVLA teen 245 ms per aksiestap en ACT teen 20 ms in die beleidskatalogus. TinyVLA rapporteer 14 ms per aksievoorspelling. Daardie syfers is nie vergelykbaar nie, en om dit te behandel asof dit wel is, is die mees algemene fout in hierdie onderwerp: sommige meet een vorentoe-pas, sommige verdeel daardie pas oor 'n brokkie sodra aksie-segmentering dit amortiseer.

• SmolVLA stuur 50 aksies per vorentoe-pas uit en voer al 50 uit. Teen die 30 fps wat die artikel op regte robotte gebruik, dek een inferensie ongeveer 1.7 sekondes se beweging.
• Asinchrone inferensie bereken die volgende brokkie terwyl die huidige een nog uitvoer: 9.7 s gemiddelde taakvoltooiing teenoor 13.75 s sinchroon, ongeveer 30 persent vinniger, en 19 optel-en-plaas-siklusse in 'n vaste 60-sekonde-venster teenoor 9.
• Sukseskoerse was vergelykbaar eerder as beter, 78.3 sinchroon teenoor 73.3 asinchroon. Asinchroon koop deurset, nie akkuraatheid nie.
• Segmentering verberg berekeningslatensie, nie netwerklatensie nie, en dit maak die beleid minder reaktief omdat dit tot 50 aksies verbind is.

Fyninstelling van SmolVLA op een verbruikerskaart

Die handmatige pad, op lerobot 0.6.1, die huidige PyPI-vrystelling soos op 23 Augustus 2026. Alles hieronder kom uit die Hugging Face lerobot SmolVLA-dokumentasie, op dieselfde dag afgehaal; die begeleide weergawe is sagter.

1. 1
   Installeer lerobot met die smolvla-ekstra

   Die SmolVLA-afhanklikhede is 'n opsionele ekstra, nie deel van die basisinstallasie nie. Om dit sonder dit te installeer en dan te wonder hoekom die beleidstipe onbekend is, is 'n algemene halfuur verlore.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Kry 'n datastel met genoeg episodes

   Die dokumentasie beveel ongeveer 50 episodes aan en meld dat dieselfde taak met 25 nie genoeg was nie. AY-Robots stel die minimum op 30. Neem jou eie op, of begin by die dataskikking-gids.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Begin die fyninstelling

   Die opdrag uit die lerobot-gids, ongewysig. Die dokumentasie stel 20000 stappe op ongeveer 4 uur op een A100. Op 'n 24 GB kaart, verwag langer en meet dit.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Verlaag die bondelgrootte totdat dit pas

   batch_size=64 is 'n gedokumenteerde voorbeeld, nie 'n belofte oor jou kaart nie. Die dokumentasie raad aan om klein te begin en te verhoog solank laaitye kort bly.

   bash

   lerobot-train --help

5. 5
   Rol die kontrolepunt uit op die arm

   Dieselfde biblioteek, een opdrag. Die intydse stukke-vlae is in die dokumentasie uitkommentaar en is dié om te gebruik op lae-krag hardeware.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Twee maniere om 'n klein VLA op 'n arm te kry

Wanneer 'n klein model die verkeerde keuse is

Beide referate is hier versigtiger as wat die opsommings is. TinyVLA se foutanalise is spesifiek: die 0.4 B-variant het drie keer misluk deur die instruksie verkeerd te lees, wat die outeurs toeskryf aan beperkte taalbegrip in die kleiner VLM, en daardie modus het by 1.3 B verdwyn. SmolVLA toon dieselfde kurwe van die ander kant af: die 2.25 B-weergawe van dieselfde argitektuur behaal 88.75 op LIBERO en 68.24 op Meta-World teenoor 87.3 en 57.3 vir die 0.45 B-model.

Die vergelyking wat die moeite werd is om te doen, is nie TinyVLA teen SmolVLA nie. Dit is SmolVLA teen ACT op jou eie taak, en die SmolVLA-referaat is die argument hoekom. SmolVLA, enkel-taak opgelei sonder robotika-vooropleiding, het 'n gemiddeld van 40.0 behaal oor drie SO-100 take waar enkel-taak ACT 48.3 behaal het. Wat dit tot 78.3 verhoog, is gemeenskapsvooropleiding plus multi-taak opleiding, nie die argitektuur alleen nie. Op die SO-101 lego-taak, albei enkel-taak, wen SmolVLA wel: 90 teen 70 in verspreiding. Dan SmolVLA teen Pi0.5 as die begroting dit toelaat.

’n Besluitstabel waarop jy kan optree

Vir die laaste ry, die lewendige arm stroom 'n fisiese SO-100 wat jy vanuit die blaaier kan beheer sonder 'n rekening, en die drie maniere om te begin dek die res. Die SO-100 is die verwysingsarm hier, ongeveer 110 tot 150 EUR in onderdele, met 'n volledige opstelgids.

Wat kom na die sub-1 B modelle

Die vermindering van die parameter telling is een manier om 'n VLA goedkoop te maak en nie noodwendig die wenner nie. OpenVLA-OFT (arXiv 2502.19645) behou die 7 B ruggraat en verander slegs hoe aksies gedekodeer word, en rapporteer 'n 26x toename in aksiegenerasie-deurset en LIBERO wat styg van 76.5 tot 97.1 persent. BitVLA (arXiv 2506.07530) maak elke gewig van 'n 1-bis BitNet b1.58 2B4T ruggraat ternêr, en rapporteer 11.0x minder geheue en 4.4x laer end-tot-end latensie terwyl dit volpresisie OpenVLA-OFT ewenaar. X-VLA-0.9B (arXiv 2510.10274) sit op die 1 B lyn met vloeipas.

Die gemene deler: die aksiedekodeerder, nie die taalmodel nie, is waar die latensie lê. Vra hoe 'n beleid aksies uitstuur voordat jy vra hoeveel parameters dit het. Die arena het 85 modelle en 332 resultate, elk gekoppel aan sy bron; daar is 'n breër oorsig in ons VLA-inleiding.