Mifumo Midogo ya VLA: TinyVLA, SmolVLA na Kesi ya Chini ya Bilioni 1

Karibu kila modeli ya maono-lugha-vitendo ambayo huandikwa kuihusu hudhani kadi ya kituo cha data. OpenVLA ina vigezo bilioni 7. GR00T N1.7 na Pi0.5 zina takriban vigezo bilioni 3 na zinahitaji A100 80 GB kwa urekebishaji mzuri. Ikiwa kadi iliyo mezani kwako ni 4090, aina hiyo ya modeli haiwezi kufikiwa.

Makala mbili zinabishana kuwa hauitaji. TinyVLA (arXiv 2409.12514, iliyokubaliwa na IEEE Robotics and Automation Letters mnamo Februari 2025) inajenga VLA kutoka uti wa mgongo wa 400 M hadi 1.3 B pamoja na kichwa cha vitendo cha usambazaji. SmolVLA (arXiv 2506.01844, iliwasilishwa Juni 2, 2025) inatoa vigezo milioni 450 na uzito wazi, data wazi na hati inayoendeshwa kwenye kadi moja ya mtumiaji. Hapa ndio walichopima wote, na mahali ambapo hoja ya chini ya bilioni 1 inakoma kushikilia.

Ni nini hasa kinachukuliwa kuwa VLA ndogo

Idadi ya vigezo kwenye kadi ya modeli si namba moja. Inaweza kumaanisha jumla ya uzito, uzito uliopakiwa wakati wa inference, au uzito unaopokea gradients wakati wa . TinyVLA inaripoti zote mbili, na tofauti ni kubwa: TinyVLA-H ina jumla ya 1.3 B lakini 143 M inaweza kufunzwa, kwa sababu mnara wa kuona na sehemu kubwa ya modeli ya lugha hubaki imegandishwa huku adapta za LoRA na kichwa cha hatua vikisonga. Karatasi inaweka sehemu inayoweza kufunzwa kuwa karibu asilimia 5.

Safu mbili zinafaa kujadiliwa. yenye takriban 80 M ni ndogo kuliko zingine zote hapa lakini haina modeli ya lugha, kwa hivyo si VLA: inajifunza kazi moja na haiwezi kuambiwa kufanya nyingine. yenye 27 M inaendeshwa kupitia T5-Base text encoder, si LLM backbone. Ni baselines nzuri, lakini hakuna hata moja inayokupa ufuasi wa maelekezo kama lebo inavyomaanisha.

TinyVLA: kasi inatoka kwenye kichwa, si uti wa mgongo

Ufafanuzi wa wazi ni kwamba walifanya modeli ya lugha kuwa ndogo, hivyo ikawa haraka zaidi. Uchambuzi wa karatasi unasema vinginevyo. Kubadilisha uti wa mgongo wa OpenVLA wa 7 B na ule wa takriban 1 B kulipunguza utabiri wa kila kitendo kutoka 292 ms hadi 140 ms, faida ya mara 2. TinyVLA-H, ikiwa na idadi sawa ya vigezo, huendeshwa kwa 14 ms kwenye kadi hiyo hiyo. Mara 10 nyingine ni kichwa cha kitendo.

OpenVLA hutoa vitendo kama tokeni zilizogawanywa kupitia kichwa cha modeli ya lugha, moja kwa kila kipimo cha kitendo, kwa kujitegemea. TinyVLA huambatanisha kidekodisha cha usambazaji kinachozalisha kipande chote kwa mpigo mmoja. Jedwali V lina usanifu wa TinyVLA-H na hubadilisha kichwa tu, kwenye kazi tano zile zile za roboti halisi. Ni ushahidi safi zaidi katika karatasi yoyote kwa hoja ulinganishaji wa mtiririko sera zinazofanya, na sababu Pi0 iliondoka kwenye usimbaji wa tokeni.

Nini TinyVLA ilipata

Safu ya bimanual ina maelezo ya kuchosha ambayo karatasi yenyewe inatoa: OpenVLA imefunzwa awali kwenye Open X-Embodiment, ambayo inajumuisha data ya mkono mmoja pekee, hivyo nafasi ya hatua ya mikono miwili iko nje ya usambazaji na inapata alama sifuri. Msingi wa sera ya usambazaji unashinda TinyVLA-H kwenye kazi mbili kati ya hizo tatu. Maelezo zaidi katika makala ya Open X-Embodiment.

Hifadhi ya TinyVLA, kufikia Agosti 2026

Karatasi ni nzuri. Msimbo ni toleo la utafiti. Hifadhi ni github.com/liyaxuanliyaxuan/TinyVLA; README yake inaonyesha tarehe ya kutolewa kwa msimbo kuwa Februari 17, 2025 na commit ya mwisho ni Machi 11, 2025. Inafaa kwa kuzalisha tena karatasi, tatizo ikiwa unataka maktaba inayotunzwa.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA pia haisomi seti za data za LeRobot. Umbizo lake ni HDF5 ya mtindo wa ACT: action, language_raw, na kikundi cha observations chenye picha za mitazamo mingi, joint_positions, qpos na qvel. Hazina inatoa data_utils/rlds_to_h5py.py kwa ingizo la RLDS, na kila kazi imesajiliwa kwa mkono katika aloha_scripts/constants.py na dataset_dir, episode_len na camera_names zake. Ikiwa vipindi vilitoka lerobot au mteja wa kompyuta ya mezani, unamiliki ubadilishaji.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 inachukulia nodi ya kadi nane. Iweke kuwa 1 na punguza ukubwa wa bechi chini ya 32. Hakuna lahaja ya GPU moja inayotumwa juu, kwa hivyo amri haiwezi kutekelezwa kama ilivyo kwenye 4090.
• --deepspeed scripts/zero2.json inaelekeza kwenye faili ambayo haipo kwenye saraka kuu ya scripts. Mipangilio ya DeepSpeed inapatikana kwenye llava-pythia/scripts/zero2.json. Rekebisha njia kabla ya kukimbia kwako kwa mara ya kwanza.
• README inahitaji jina la saraka ya pato liwe na llava_pythia, pamoja na lora ikiwa LoRA imewezeshwa.
• Utiaji mgongo unapakuliwa kando: lesjie/Llava-Pythia-400M, -700M au -1.3B. Hakuna sehemu moja ya msingi unayoelekeza sera kama unavyoelekeza kwenye lerobot/smolvla_base.

SmolVLA: modeli ya chini ya 1 B unayoweza kuendesha mchana huu

SmolVLA inatoa hoja hiyo hiyo ndani ya maktaba inayotunzwa. Ina vigezo 450 M kwenye uti wa mgongo wa SmolVLM2-500M-Video-Instruct, na ufanisi unatokana na mipangilio unayoweza kusoma kutoka configuration_smolvla.py badala ya madai ya kuwa ndogo.

Mafunzo ya awali yalitumiwa na seti data 481 za jumuiya ya LeRobot, vipindi 22.9 K na fremu 10.6 M kwenye GPU 4, hatua 200000 kwa kundi la kimataifa la 256; karatasi inaweka mradi mzima kwa takriban saa 30 K za GPU. Nambari moja ya kuzingatia: blogu ya uzinduzi ya Hugging Face inasema seti data 487 zilizoratibiwa ambapo jedwali la karatasi linasema 481. Tunatumia takwimu ya karatasi na kuashiria kutokubaliana.

Ajali moja inasaidia: jedwali la Meta-World la karatasi ya SmolVLA lina nambari zilizochapishwa za TinyVLA kama msingi, kwa hivyo kwa mara moja mifano yote miwili inakaa kwenye jedwali moja, SmolVLA-0.45B kwa 57.3 dhidi ya TinyVLA-H kwa 31.6. Pia inaripoti mafunzo ya SmolVLA kuwa karibu asilimia 40 haraka kuliko Pi0 kwenye kumbukumbu ndogo mara 6. Yote haya yanatoka kwa waandishi wa SmolVLA; kiingilio cha uwanja inaunganisha kila thamani na chanzo chake.

SmolVLA Hutumia Muda Wake Wapi

AY-Robots inaorodhesha SmolVLA kwa 245 ms kwa hatua ya kitendo na ACT kwa 20 ms katika orodha ya sera. TinyVLA inaripoti 14 ms kwa utabiri wa kitendo. Nambari hizo hazilinganishwi, na kuzichukulia kama zilivyo ni kosa la kawaida katika mada hii: zingine hupima pasi moja ya mbele, zingine hugawanya pasi hiyo katika kipande mara tu ugawaji wa vitendo unapoilipa.

• SmolVLA hutoa vitendo 50 kwa kila pasi ya mbele na kutekeleza vyote 50. Kwa 30 fps ambayo karatasi inatumia kwenye roboti halisi, hitimisho moja hufunika takriban sekunde 1.7 za mwendo.
• Hitimisho lisilosawazishwa huhesabu kipande kinachofuata wakati kile cha sasa bado kinafanya kazi: 9.7 s wastani wa kukamilisha kazi dhidi ya 13.75 s sawazishwa, takriban asilimia 30 haraka, na mizunguko 19 ya kuchukua na kuweka ndani ya dirisha la sekunde 60 lililowekwa dhidi ya 9.
• Viwango vya mafanikio vilikuwa vinavyolingana badala ya bora, 78.3 sawazishwa dhidi ya 73.3 isiyosawazishwa. Async hununua uwezo wa kupitisha data, si usahihi.
• Ugawaji wa vitendo huficha ucheleweshaji wa kompyuta, si ucheleweshaji wa mtandao, na hufanya sera kuwa isiyojibu haraka kwa sababu imejitolea kwa vitendo 50.

Kurekebisha SmolVLA kwenye kadi moja ya mtumiaji

Njia ya mwongozo, kwenye lerobot 0.6.1, toleo la sasa la PyPI kufikia Agosti 23, 2026. Kila kitu kilicho hapa chini kinatoka kwenye nyaraka za Hugging Face lerobot SmolVLA, zilizopatikana siku hiyo hiyo; toleo lililoongozwa ni rahisi zaidi.

1. 1
   Sakinisha lerobot na nyongeza ya smolvla

   Vitegemezi vya SmolVLA ni nyongeza ya hiari, si sehemu ya usakinishaji wa msingi. Kusakinisha bila hivyo na kisha kujiuliza kwa nini aina ya sera haijulikani ni upotevu wa nusu saa wa kawaida.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Pata hifadhidata yenye vipindi vya kutosha

   Nyaraka zinapendekeza takriban vipindi 50 na zinasema kuwa kazi hiyo hiyo na vipindi 25 haikutosha. AY-Robots huweka kiwango cha chini cha 30. Rekodi yako mwenyewe, au anza kutoka saraka ya hifadhidata.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Anza urekebishaji mzuri

   Amri kutoka kwa mwongozo wa lerobot, bila kubadilishwa. Nyaraka zinaweka hatua 20000 kwa takriban saa 4 kwenye A100 moja. Kwenye kadi ya 24 GB, tarajia muda mrefu zaidi na upime.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Punguza ukubwa wa bechi hadi ulingane

   batch_size=64 ni mfano uliorekodiwa, si ahadi kuhusu kadi yako. Nyaraka zinashauri kuanza kidogo na kuongeza huku nyakati za upakiaji zikiendelea kuwa fupi.

   bash

   lerobot-train --help

5. 5
   Toa kituo cha ukaguzi kwenye mkono

   Maktaba ile ile, amri moja. Bendera za kugawanya kwa wakati halisi zimetolewa maoni katika nyaraka na ndizo za kutumia kwenye vifaa vya nguvu ya chini.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Njia mbili za kuweka VLA ndogo kwenye mkono

Wakati modeli ndogo si chaguo sahihi

Karatasi zote mbili ziko makini zaidi hapa kuliko muhtasari. Uchambuzi wa kushindwa wa TinyVLA ni maalum: lahaja ya 0.4 B ilishindwa mara tatu kwa kusoma vibaya maelekezo, jambo ambalo waandishi wanahusisha na uelewa mdogo wa lugha katika VLM ndogo, na hali hiyo ilitoweka kwenye 1.3 B. SmolVLA inaonyesha mkunjo huo huo kutoka upande mwingine: toleo la 2.25 B la usanifu unaofanana linafunga 88.75 kwenye LIBERO na 68.24 kwenye Meta-World dhidi ya 87.3 na 57.3 kwa modeli ya 0.45 B.

Ulinganisho unaostahili kufanywa si TinyVLA dhidi ya SmolVLA. Ni SmolVLA dhidi ya ACT kwenye kazi yako mwenyewe, na karatasi ya SmolVLA ndiyo hoja ya kwanini. Imefunzwa kazi moja bila mafunzo ya awali ya robotiki, SmolVLA ilipata wastani wa 40.0 katika kazi tatu za SO-100 ambapo ACT ya kazi moja ilipata 48.3. Kinachoipandisha hadi 78.3 ni mafunzo ya awali ya jamii pamoja na mafunzo ya majukumu mengi, si usanifu pekee. Kwenye kazi ya lego ya SO-101, zote zikiwa kazi moja, SmolVLA inashinda: 90 dhidi ya 70 katika usambazaji. Kisha SmolVLA dhidi ya Pi0.5 ikiwa bajeti inaruhusu.

Jedwali la maamuzi unaloweza kutekeleza

Kwa safu ya mwisho, mkono wa moja kwa moja huonyesha SO-100 halisi unayoweza kuendesha kutoka kwa kivinjari bila akaunti, na njia tatu za kuanza inashughulikia mengine. SO-100 ndio mkono wa rejea hapa, takriban EUR 110 hadi 150 kwa sehemu, pamoja na mwongozo kamili wa usanidi.

Nini kinachokuja baada ya mifumo ya chini ya 1 B

Kupunguza idadi ya vigezo ni njia moja ya kufanya VLA kuwa nafuu na si dhahiri kuwa ndiyo yenye kushinda. OpenVLA-OFT (arXiv 2502.19645) huweka uti wa mgongo wa 7 B na hubadilisha tu jinsi vitendo vinavyofumbuliwa, ikiripoti ongezeko la 26x katika uwezo wa kuzalisha vitendo na LIBERO ikipanda kutoka asilimia 76.5 hadi 97.1. BitVLA (arXiv 2506.07530) hufanya kila uzito wa uti wa mgongo wa 1-bit BitNet b1.58 2B4T kuwa wa tatu, ikiripoti kumbukumbu ndogo kwa 11.0x na ucheleweshaji wa chini wa 4.4x kutoka mwanzo hadi mwisho huku ikilingana na OpenVLA-OFT ya usahihi kamili. X-VLA-0.9B (arXiv 2510.10274) inakaa kwenye mstari wa 1 B na ulinganifu wa mtiririko.

Uzi wa kawaida: kidekoda cha vitendo, si mfumo wa lugha, ndipo ucheleweshaji unapoishi. Uliza jinsi sera inavyotoa vitendo kabla hujauliza ina vigezo vingapi. uwanja una mifumo 85 na matokeo 332, kila moja ikiwa imeunganishwa na chanzo chake; kuna muhtasari mpana zaidi katika utangulizi wetu wa VLA.