Kis VLA modellek: TinyVLA, SmolVLA és az 1 milliárd paraméter alatti eset

Szinte minden látás-nyelv-akció modell amiről írnak, adatközponti kártyát feltételez. Az OpenVLA 7 milliárd paraméterrel rendelkezik. GR00T N1.7 és Pi0.5 körülbelül 3 milliárd paraméterrel rendelkeznek, és egy A100 80 GB-os kártyát igényelnek finomhangoláshoz. Ha az asztalán lévő kártya egy 4090-es, akkor az ilyen típusú modell elérhetetlen.

Két tanulmány is amellett érvel, hogy nincs rá szükség. A TinyVLA (arXiv 2409.12514, elfogadta az IEEE Robotics and Automation Letters 2025 februárjában) egy VLA-t épít egy 400 millió és 1,3 milliárd paraméter közötti gerinchálózatból, plusz egy diffúziós akciófejből. SmolVLA (arXiv 2506.01844, benyújtva 2025. június 2-án) 450 millió paramétert szállít nyílt súlyokkal, nyílt adatokkal és egy szkripttel, amely egyetlen fogyasztói kártyán fut. Íme, amit mindkettő mért, és hol szűnik meg érvényes lenni az 1 milliárd alatti paraméterekre vonatkozó érv.

Mi számít valójában kis VLA-nak

A modellkártyán szereplő paraméterszám nem egyetlen szám. Jelentheti az összes súlyt, az inferencia során betöltött súlyokat, vagy azokat a súlyokat, amelyek gradienseket kapnak a során. A TinyVLA mindkettőt jelenti, és a különbség nagy: a TinyVLA-H összesen 1,3 B, de 143 M tanítható, mert a látásmodul és a nyelvi modell nagy része befagyasztva marad, miközben a LoRA adapterek és az akciófej mozognak. A tanulmány a tanítható rész arányát körülbelül 5 százalékra teszi.

Két sorról érdemes vitatkozni. Az körülbelül 80 M-mal kisebb, mint bármi más itt, de nincs nyelvi modellje, így nem VLA: egy feladatot tanul meg, és nem lehet neki mást mondani. Az 27 M-mal egy T5-Base szövegkódolón keresztül van kondicionálva, nem LLM gerincen keresztül. Jó alapmodellek, de egyik sem adja meg az utasításkövetést, amit a címke sugall.

TinyVLA: a sebesség a fejből jön, nem a gerincmodulból

A nyilvánvaló értelmezés az, hogy kisebbé tették a nyelvi modellt, így gyorsabb lett. A tanulmány ablációs vizsgálata mást mutat. Az OpenVLA 7 B-s gerincmoduljának egy körülbelül 1 B-sre cserélése az akciónkénti előrejelzést 292 ms-ról 140 ms-ra csökkentette, ami 2-szeres gyorsulás. A TinyVLA-H, hasonló paraméterszámmal, 14 ms alatt fut ugyanazon a kártyán. A másik 10-szeres gyorsulás az akciófejnek köszönhető.

Az OpenVLA diszkretizált tokenekként bocsát ki akciókat a nyelvi modell fején keresztül, akciódimenziónként egyet, autoregresszíven. A TinyVLA egy diffúziós dekódert csatol, amely egyetlen lépésben állítja elő a teljes adatcsomagot. Az V. táblázat a TinyVLA-H architektúráját mutatja be, és csak a fejet cseréli ki, ugyanazon az öt valós robotfeladaton. Ez a legtisztább bizonyíték bármelyik tanulmányban arra az érvre, amit az áramlásillesztés alapú stratégiák támasztanak alá, és az ok, amiért a a Pi0 elmozdult a tokenalapú dekódolástól.

Mit ért el a TinyVLA

A kétkezes sorra a cikk maga ad unalmas magyarázatot: Az OpenVLA az Open X-Embodimenten van előképzve, ami kizárólag egykarú adatokat tartalmaz, így a kétkarú akciótér eloszlásán kívül esik, és nulla pontot ér el. A diffúziós policy alapvonal a TinyVLA-H-t veri ezen három feladat közül kettőn. Háttérinformációk itt: az Open X-Embodiment összefoglalóban.

A TinyVLA repó, 2026 augusztusi állapot szerint

A cikk jó. A kód egy kutatási kiadás. A tároló a github.com/liyaxuanliyaxuan/TinyVLA; a README-je szerint a kód 2025. február 17-én jelent meg, az utolsó commit pedig 2025. március 11-én történt. Egy cikk reprodukálásához megfelelő, de problémás, ha egy karbantartott könyvtárat szeretnénk.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

A TinyVLA nem olvassa be a LeRobot adathalmazokat. Formátuma ACT-stílusú HDF5: action, language_raw, és egy observations csoport több nézetű képekkel, joint_positions, qpos és qvel adatokkal. A repository tartalmazza a data_utils/rlds_to_h5py.py fájlt RLDS bemenethez, és minden feladat manuálisan van regisztrálva az aloha_scripts/constants.py fájlban a dataset_dir, episode_len és camera_names paraméterekkel. Ha az Ön epizódjai a lerobotból vagy az asztali kliensből származnak, akkor Ön felel a konverzióért.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 nyolc kártyás csomópontot feltételez. Állítsa 1-re, és csökkentse a kötegméretet jóval 32 alá. Nincs egyetlen GPU-s változat sem a fő ágon, így a parancs nem futtatható szó szerint egy 4090-en.
• --deepspeed scripts/zero2.json egy olyan fájlra mutat, amely nincs a legfelső szintű scripts könyvtárban. A DeepSpeed konfigurációk a llava-pythia/scripts/zero2.json útvonalon találhatók. Javítsa ki az útvonalat az első futtatás előtt.
• A README megköveteli, hogy a kimeneti könyvtár neve tartalmazza a llava_pythia-t, plusz a lora-t, ha a LoRA engedélyezve van.
• A gerinc külön letöltés: lesjie/Llava-Pythia-400M, -700M vagy -1.3B. Nincs egyetlen alap ellenőrzőpont, amire egy irányelvet mutatna, ahogy a lerobot/smolvla_base-re mutat.

SmolVLA: az 1 B alatti modell, amit ma délután futtathat

A SmolVLA ugyanazt az érvet fogalmazza meg egy karbantartott könyvtáron belül. 450 M paraméterrel rendelkezik egy SmolVLM2-500M-Video-Instruct gerincen, és a hatékonyság a configuration_smolvla.py fájlból kiolvasható beállításokból ered, nem pedig abból az állításból, hogy kicsi.

Az előképzés 481 közösségi LeRobot adatkészletet, 22,9 K epizódot és 10,6 M képkockát használt 4 GPU-n, 200000 lépésben, 256-os globális köteggel; a tanulmány szerint a teljes projekt körülbelül 30 K GPU órát vett igénybe. Egy szám, amire érdemes figyelni: a Hugging Face indító blogja 487 kurált adatkészletet említ, ahol a tanulmány táblázata 481-et. Mi a tanulmány adatait használjuk, és jelezzük az eltérést.

Egy véletlen segít: a SmolVLA tanulmány Meta-World táblázata a TinyVLA saját publikált számait tartalmazza alapként, így egyszerre mindkét modell egy táblázatban szerepel, a SmolVLA-0.45B 57.3-mal a TinyVLA-H 31.6-tal szemben. Azt is jelenti, hogy a SmolVLA képzése körülbelül 40 százalékkal gyorsabb, mint a Pi0-é, 6-szor kevesebb memóriával. Mindez a SmolVLA szerzőitől származik; az aréna bejegyzés linkeli az egyes értékeket a forrásához.

Hol tölti idejét a SmolVLA

Az AY-Robots a SmolVLA-t 245 ms/akciólépés, az ACT pedig 20 ms-ra sorolja a szabályzat katalógusban. A TinyVLA 14 ms-ot jelent akciós előrejelzésenként. Ezek a számok nem összehasonlíthatók, és a leggyakoribb hiba ebben a témában, ha úgy kezeljük őket, mintha azok lennének: egyesek egy előremenő passz idejét mérik, mások ezt a passzt egy darabra osztják, miután az akció darabolás amortizálja.

• A SmolVLA 50 akciót bocsát ki előremenő passzonként, és mind az 50-et végrehajtja. A tanulmányban valós robotokon használt 30 fps mellett egy következtetés körülbelül 1,7 másodperc mozgást fed le.
• Az aszinkron következtetés a következő darabot számítja ki, miközben az aktuális még fut: 9,7 s átlagos feladatvégrehajtás a 13,75 s szinkronnal szemben, nagyjából 30 százalékkal gyorsabb, és 19 felvételi és elhelyezési ciklus egy rögzített 60 másodperces ablakban 9-cel szemben.
• A sikerességi arányok inkább összehasonlíthatók voltak, mint jobbak: 78,3 szinkron a 73,3 aszinkronnal szemben. Az aszinkron átviteli sebességet vásárol, nem pontosságot.
• A darabolás elrejti a számítási késleltetést, nem a hálózati késleltetést, és kevésbé reaktívvá teszi a szabályzatot, mert 50 akcióra van elkötelezve.

SmolVLA finomhangolása egy fogyasztói kártyán

A manuális út, a lerobot 0.6.1-en, a jelenlegi PyPI kiadás 2026. augusztus 23-i állapot szerint. Minden alábbi információ a Hugging Face lerobot SmolVLA dokumentációjából származik, amelyet ugyanazon a napon töltöttek le; az irányított verzió kíméletesebb.

1. 1
   A lerobot telepítése a smolvla extrával

   A SmolVLA függőségek opcionális extrák, nem részei az alaptelepítésnek. Ha ezek nélkül telepítjük, majd azon tűnődünk, miért ismeretlen a házirend típusa, az gyakran fél óra elvesztegetett idő.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Szerezzen be elegendő epizódot tartalmazó adatkészletet

   A dokumentáció körülbelül 50 epizódot javasol, és kijelenti, hogy ugyanaz a feladat 25 epizóddal nem volt elegendő. Az AY-Robots 30-ban határozza meg a minimumot. Rögzítsen sajátot, vagy kezdje az adatkészlet-könyvtárból.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Indítsa el a finomhangolást

   A lerobot útmutatóból származó parancs, módosítás nélkül. A dokumentáció szerint 20000 lépés körülbelül 4 órát vesz igénybe egy A100-on. Egy 24 GB-os kártyán hosszabb időre számítson, és mérje meg.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Csökkentse a kötegméretet, amíg bele nem fér

   A batch_size=64 egy dokumentált példa, nem ígéret a kártyájával kapcsolatban. A dokumentáció azt tanácsolja, hogy kezdje kicsivel, és növelje, amíg a betöltési idők rövidek maradnak.

   bash

   lerobot-train --help

5. 5
   Telepítse a checkpointot a karra

   Ugyanaz a könyvtár, egy parancs. A valós idejű darabolási jelzők ki vannak kommentelve a dokumentációban, és ezeket kell használni alacsony teljesítményű hardver esetén.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Két módja van egy kis VLA karra juttatásának

Amikor egy kis modell a rossz választás

Mindkét tanulmány óvatosabb itt, mint az összefoglalók. A TinyVLA hibaelemzése specifikus: a 0.4 B változat háromszor hibázott az utasítás félreolvasásával, amit a szerzők a kisebb VLM korlátozott nyelvi megértésének tulajdonítanak, és ez a hiba 1.3 B-nél eltűnt. A SmolVLA ugyanezt a görbét mutatja a másik végéről: az azonos architektúra 2.25 B-s verziója 88.75 pontot ér el a LIBERO-n és 68.24-et a Meta-World-ön, szemben a 0.45 B-s modell 87.3 és 57.3 pontjával.

A futtatásra érdemes összehasonlítás nem a TinyVLA a SmolVLA ellen. Hanem a SmolVLA a ACT a saját feladatán, és a SmolVLA tanulmány az érv amellett, hogy miért. Egyfeladatosan, robotikai előképzés nélkül tréningezve a SmolVLA átlagosan 40.0 pontot ért el három SO-100 feladatban, ahol az egyfeladatos ACT 48.3-at. Ami 78.3-ra emeli, az a közösségi előképzés plusz a többfeladatos tréning, nem pedig önmagában az architektúra. Az SO-101 lego feladatban, mindkettő egyfeladatosan, a SmolVLA nyer: 90 a 70 ellen eloszlásban. Aztán a SmolVLA a Pi0.5 ellen, ha a költségvetés engedi.

Egy döntési táblázat, amely alapján cselekedhet

Az utolsó sorhoz, az élő kar egy fizikai SO-100-at streamel, amit fiók nélkül is vezérelhetsz a böngészőből, és a három indítási mód lefedi a többit. Az SO-100 itt a referencia kar, nagyjából 110-150 EUR alkatrészekben, egy teljes beállítási útmutatóval.

Mi jön az 1 milliárd alatti modellek után

A paraméterszám csökkentése az egyik módja annak, hogy egy VLA olcsó legyen, de nem feltétlenül ez a nyerő. OpenVLA-OFT (arXiv 2502.19645) megtartja a 7 B gerincet, és csak az akciók dekódolásának módját változtatja meg, 26-szoros növekedést jelentve az akciógenerálási átviteli sebességben, és a LIBERO 76,5-ről 97,1 százalékra emelkedését. BitVLA (arXiv 2506.07530) egy 1-bites BitNet b1.58 2B4T gerinc minden súlyát ternárissá teszi, 11,0-szer kevesebb memóriát és 4,4-szer alacsonyabb végpontok közötti késleltetést jelentve, miközben megegyezik a teljes pontosságú OpenVLA-OFT-tel. X-VLA-0.9B (arXiv 2510.10274) az 1 B vonalon helyezkedik el áramlásillesztéssel.

A közös szál: az akciódekóder, nem a nyelvi modell, az, ahol a késleltetés rejlik. Kérdezd meg, hogyan bocsát ki akciókat egy irányelv, mielőtt megkérdeznéd, hány paramétere van. Az aréna 85 modellt és 332 eredményt tartalmaz, mindegyik a forrásához kapcsolódik; egy szélesebb áttekintés található VLA bevezetőnkben.