Lítil VLA líkön: TinyVLA, SmolVLA og tilfellið undir 1 milljarði færibreyta

Næstum hvert sjón-tungumál-aðgerðarlíkan sem skrifað er um gerir ráð fyrir gagnamiðstöðvarkorti. OpenVLA er 7 milljarðar færibreytna. GR00T N1.7 og Pi0.5 eru um 3 milljarðar og þurfa A100 80 GB til fínstillingar. Ef kortið á skrifborðinu þínu er 4090, er sú gerð líkana utan seilingar.

Tvær greinar halda því fram að þú þurfir það ekki. TinyVLA (arXiv 2409.12514, samþykkt af IEEE Robotics and Automation Letters í febrúar 2025) byggir VLA úr 400 milljóna til 1,3 milljarða burðarás ásamt dreifingaraðgerðarhaus. SmolVLA (arXiv 2506.01844, sent inn 2. júní 2025) sendir 450 milljónir færibreytna með opnum þyngdum, opnum gögnum og skriftu sem keyrir á einu neytendakorti. Hér er það sem báðir mældu, og hvar röksemdin um undir-1 milljarð hættir að halda.

Hvað telst í raun lítið VLA

Fjöldi færibreyta á líkanakorti er ekki ein tala. Það getur þýtt heildarþyngdir, þyngdir sem hlaðnar eru við ályktun, eða þyngdir sem fá halla meðan á stendur. TinyVLA skýrir frá báðum, og bilið er mikið: TinyVLA-H er 1.3 B samtals en 143 M þjálfanlegt, vegna þess að sjónkerfið og mest af málalíkaninu haldast frosin á meðan LoRA millistykki og aðgerðarhausinn hreyfast. Greinin setur þjálfanlega hlutann í um 5 prósent.

Tvær raðir eru umdeildar. sem er um 80 M er minna en allt annað hér en hefur ekkert málalíkan, svo það er ekki VLA: það lærir eitt verkefni og er ekki hægt að segja að það geri annað. sem er 27 M er skilyrt í gegnum T5-Base textakóðara, ekki LLM burðarvirki. Góðir grunnlínur, hvorugur gefur þér leiðbeiningarnar sem merkið gefur til kynna.

TinyVLA: hraðinn kemur frá hausnum, ekki burðarásnum

Augljós lestur er að þeir gerðu tungumálalíkanið minna, svo það varð hraðara. Ablation rannsókn greinarinnar segir annað. Að skipta út 7 B burðarás OpenVLA fyrir um það bil 1 B minnkaði spá á hverja aðgerð úr 292 ms í 140 ms, 2x aukning. TinyVLA-H, með sambærilegan fjölda færibreyta, keyrir á 14 ms á sama korti. Hin 10x aukningin er aðgerðarhausinn.

OpenVLA gefur frá sér aðgerðir sem stakrænar tákn í gegnum tungumálalíkanhausinn, eitt fyrir hverja aðgerðarvídd, sjálfvirkt. TinyVLA tengir dreifingarkóðara sem framleiðir allan hlutann í einu lagi. Tafla V sýnir arkitektúrinn í TinyVLA-H og skiptir aðeins um hausinn, á sömu fimm raunverulegu vélmennaverkefnunum. Þetta eru hreinustu sannanirnar í hvorri greininni fyrir röksemdafærsluna flæðisjöfnun sem stefnur byggðar á flæðisjöfnun gera, og ástæðan fyrir því að Pi0 færði sig frá táknkóðun.

Hvað TinyVLA skoraði

Tvíhandaröðin hefur leiðinlega skýringu sem greinin sjálf gefur: OpenVLA er forþjálfað á Open X-Embodiment, sem samanstendur eingöngu af einarma gögnum, svo tvíarma aðgerðarými er utan dreifingar og fær núll stig. Grunnlína dreifingarstefnunnar slær TinyVLA-H í tveimur af þessum þremur verkefnum. Bakgrunnur í greininni um Open X-Embodiment.

TinyVLA geymslan, frá ágúst 2026

Greinin er góð. Kóðinn er rannsóknarútgáfa. Geymslan er github.com/liyaxuanliyaxuan/TinyVLA; README skrá hennar dagsetur kóðaútgáfuna til 17. febrúar 2025 og síðasta commit er 11. mars 2025. Gott til að endurtaka grein, vandamál ef þú vildir viðhaldið safn.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA les heldur ekki LeRobot gagnasöfn. Snið þess er ACT-stíll HDF5: action, language_raw, og athugunarhópur með fjölmyndamyndum, joint_positions, qpos og qvel. Geymslan sendir með data_utils/rlds_to_h5py.py fyrir RLDS inntak, og hvert verkefni er skráð handvirkt í aloha_scripts/constants.py með dataset_dir, episode_len og camera_names. Ef þínir þættir komu frá lerobot eða skjáborðsforritinu, þá átt þú umbreytinguna.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 gerir ráð fyrir átta korta hnút. Stilltu það á 1 og lækkaðu lotustærðina vel undir 32. Engin ein-GPU útgáfa er send uppstreymis, svo skipunina er ekki hægt að keyra orðrétt á 4090.
• --deepspeed scripts/zero2.json vísar á skrá sem er ekki í efstu scripts möppunni. DeepSpeed stillingarnar eru sendar með á llava-pythia/scripts/zero2.json. Lagaðu slóðina fyrir fyrstu keyrslu.
• README skjalið krefst þess að nafn úttaksmöppunnar innihaldi llava_pythia, auk lora ef LoRA er virkt.
• Burðarvirkið er sér niðurhal: lesjie/Llava-Pythia-400M, -700M eða -1.3B. Það er enginn einn grunnathugunarpunktur sem þú vísar stefnu á eins og þú vísar á lerobot/smolvla_base.

SmolVLA: líkanið undir 1 B sem þú getur keyrt í dag

SmolVLA færir sömu rök innan viðhaldins safns. Það er 450 M færibreytur á SmolVLM2-500M-Video-Instruct burðarvirki, og skilvirkni kemur frá stillingum sem þú getur lesið úr configuration_smolvla.py frekar en frá fullyrðingu um að vera lítið.

Forþjálfun notaði 481 LeRobot gagnasöfn samfélagsins, 22.9 K þætti og 10.6 M ramma á 4 GPUum, 200000 skrefum í alþjóðlegri lotu upp á 256; greinin metur allt verkefnið á um 30 K GPU klukkustundir. Eitt númer til að fylgjast með: Hugging Face kynningarbloggið segir 487 safnaðar gagnasöfn þar sem tafla greinarinnar segir 481. Við notum tölu greinarinnar og merkjum ósamræmið.

Eitt tilviljun hjálpar: Meta-World tafla SmolVLA greinarinnar inniheldur birtar tölur TinyVLA sem grunnlínu, svo í eitt skipti sitja báðar gerðirnar í einni töflu, SmolVLA-0.45B á 57.3 á móti TinyVLA-H á 31.6. Hún greinir einnig frá því að SmolVLA þjálfun sé um 40 prósent hraðari en Pi0 á 6x minna minni. Allt þetta kemur frá höfundum SmolVLA; skráningin í vettvanginum tengir hvert gildi við uppruna sinn.

Hvar SmolVLA eyðir tíma sínum

AY-Robots skráir SmolVLA á 245 ms á hvert aðgerðarskref og ACT á 20 ms í stefnuskrá. TinyVLA greinir frá 14 ms á hverja aðgerðarspá. Þessar tölur eru ekki sambærilegar, og að meðhöndla þær eins og þær væru er algengustu mistökin í þessu efni: sumir mæla einn framsendingarferil, sumir deila þeim ferli yfir hluta þegar aðgerðarhlutun hefur afskrifað hann.

• SmolVLA gefur frá sér 50 aðgerðir á hverjum framsendingarferli og framkvæmir allar 50. Við 30 ramma á sekúndu sem greinin notar á raunverulegum vélmennum, nær ein ályktun yfir um 1.7 sekúndur af hreyfingu.
• Ósamstillt ályktun reiknar næsta hluta á meðan sá núverandi er enn í framkvæmd: 9.7 s meðalverkefnalokun á móti 13.75 s samstilltri, um 30 prósent hraðari, og 19 taka-og-setja hringrásir í föstum 60 sekúndna glugga á móti 9.
• Árangurshlutfall var sambærilegt frekar en betra, 78.3 samstillt á móti 73.3 ósamstilltu. Ósamstilling kaupir afköst, ekki nákvæmni.
• Hlutun felur tölvuviðbragðstíma, ekki netviðbragðstíma, og hún gerir stefnuna minna viðbragðsgóða vegna þess að hún er bundin við 50 aðgerðir.

Fínstilling SmolVLA á einu neytendakorti

Handvirka leiðin, á lerobot 0.6.1, núverandi PyPI útgáfa frá 23. ágúst 2026. Allt hér að neðan kemur frá Hugging Face lerobot SmolVLA skjölunum, sótt sama dag; leiðbeinda útgáfan er mildari.

1. 1
   Setja upp lerobot með smolvla viðbótinni

   SmolVLA-háðir pakkar eru valfrjáls viðbót, ekki hluti af grunnuppsetningu. Að setja upp án þeirra og velta því svo fyrir sér hvers vegna stefnugerðin er óþekkt er algeng hálftíma töf.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Fáðu gagnasafn með nægum þáttum

   Skjölin mæla með um 50 þáttum og segja að sama verkefni með 25 hafi ekki verið nóg. AY-Robots setur lágmarkið við 30. Taktu upp þína eigin, eða byrjaðu frá gagnasafnaskránni.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Hefja fínstillingu

   Skipunin úr lerobot leiðbeiningunum, óbreytt. Skjölin segja að 20000 skref taki um það bil 4 klukkustundir á einu A100. Á 24 GB korti, búist við lengri tíma og mælið hann.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Lækka lotustærðina þar til hún passar

   batch_size=64 er skjalfest dæmi, ekki loforð um kortið þitt. Skjölin ráðleggja að byrja smátt og auka á meðan hleðslutímar haldast stuttir.

   bash

   lerobot-train --help

5. 5
   Keyra gátpunktinn út á arminn

   Sama safn, ein skipun. Rauntíma skiptingarflöggin eru útskýrð í skjölunum og eru þau sem á að nota á vélbúnaði með litla aflgjafa.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Tvær leiðir til að koma litlum VLA á arm

Þegar lítið líkan er rangur kostur

Báðar greinarnar eru varkárari hér en samantektirnar. Bilunargreining TinyVLA er sértæk: 0,4 B afbrigðið mistókst þrisvar sinnum með því að lesa leiðbeiningarnar rangt, sem höfundar rekja til takmarkaðs málskilnings í minni VLM, og sá háttur hvarf við 1,3 B. SmolVLA sýnir sömu ferilinn frá hinum endanum: 2,25 B útgáfan af sömu arkitektúr skorar 88,75 á LIBERO og 68,24 á Meta-World á móti 87,3 og 57,3 fyrir 0,45 B líkanið.

Samanburðurinn sem vert er að keyra er ekki TinyVLA á móti SmolVLA. Það er SmolVLA á móti ACT á þínu eigin verkefni, og SmolVLA greinin er röksemdin fyrir því hvers vegna. Þjálfað í einu verkefni án forþjálfunar í vélfærafræði, náði SmolVLA að meðaltali 40,0 yfir þrjú SO-100 verkefni þar sem ACT í einu verkefni náði 48,3. Það sem lyftir því í 78,3 er forþjálfun samfélagsins ásamt fjölverkavinnsla, ekki arkitektúrinn einn. Í SO-101 legóverkefninu, bæði í einu verkefni, vinnur SmolVLA: 90 á móti 70 í dreifingu. Síðan SmolVLA á móti Pi0.5 ef fjárhagsáætlunin leyfir.

Ákvörðunartafla sem þú getur byggt á

Fyrir síðustu röð, lifandi armurinn streymir líkamlegum SO-100 sem þú getur stýrt úr vafranum án reiknings, og þrjár leiðir til að byrja fjallar um restina. SO-100 er viðmiðunararmurinn hér, um það bil 110 til 150 EUR í hlutum, með fullkominni uppsetningarleiðbeiningu.

Hvað kemur eftir líkönin undir 1 B

Að minnka fjölda færibreyta er ein leið til að gera VLA ódýrt og ekki augljóslega sú vinnandi. OpenVLA-OFT (arXiv 2502.19645) heldur 7 B burðarásnum og breytir aðeins hvernig aðgerðir eru afkóðaðar, og greinir frá 26x aukningu í gegnumstreymi aðgerðamyndunar og LIBERO hækkar úr 76,5 í 97,1 prósent. BitVLA (arXiv 2506.07530) gerir hverja þyngd 1-bita BitNet b1.58 2B4T burðarásar þrígilda, og greinir frá 11,0x minni minni og 4,4x lægri heildarleynd á meðan hún passar við fullnákvæmni OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) situr á 1 B línunni með flæðisjöfnun.

Sameiginlegi þráðurinn: aðgerðarafkóðarinn, ekki tungumálalíkanið, er þar sem leyndin býr. Spyrðu hvernig stefna gefur frá sér aðgerðir áður en þú spyrð hversu margar færibreytur hún hefur. Vettvangurinn hefur 85 líkön og 332 niðurstöður, hver tengd uppruna sínum; það er víðtækara yfirlit í VLA kynningu okkar.