Mazi VLA modeļi: TinyVLA, SmolVLA un zem 1B parametru gadījums

Gandrīz katrs redzes-valodas-darbības modelis, par ko tiek rakstīts, pieņem datu centra karti. OpenVLA ir 7 miljardi parametru. GR00T N1.7 un Pi0.5 ir aptuveni 3 miljardi un prasa A100 80 GB karti precizēšanai. Ja uz jūsu galda ir 4090 karte, šāda modeļu klase ir nesasniedzama.

Divi pētījumi apgalvo, ka jums tas nav vajadzīgs. TinyVLA (arXiv 2409.12514, pieņemts IEEE Robotics and Automation Letters 2025. gada februārī) veido VLA no 400 miljonu līdz 1,3 miljardu parametru pamata plus difūzijas darbības galvu. SmolVLA (arXiv 2506.01844, iesniegts 2025. gada 2. jūnijā) piedāvā 450 miljonus parametru ar atvērtiem svariem, atvērtiem datiem un skriptu, kas darbojas uz vienas patērētāju kartes. Lūk, ko abi izmērīja, un kur arguments par mazāk nekā 1 miljardu parametru vairs nav spēkā.

Kas patiesībā tiek uzskatīts par mazu VLA

Parametru skaits modeļa kartītē nav viens skaitlis. Tas var nozīmēt kopējo svaru skaitu, inferencē ielādētos svarus vai svarus, kas saņem gradientus laikā. TinyVLA ziņo par abiem, un atšķirība ir liela: TinyVLA-H ir 1.3 B kopā, bet 143 M apmācāmi, jo redzes tornis un lielākā daļa valodu modeļa paliek iesaldēti, kamēr LoRA adapteri un darbības galva kustas. Rakstā apmācāmā daļa ir aptuveni 5 procenti.

Divas rindas ir vērts apspriest. ar aptuveni 80 M ir mazāks par visu pārējo šeit, taču tam nav valodu modeļa, tāpēc tas nav VLA: tas apgūst vienu uzdevumu un tam nevar likt darīt citu. ar 27 M tiek kondicionēts, izmantojot T5-Base teksta kodētāju, nevis LLM pamatstruktūru. Labas bāzes līnijas, neviena no tām nenodrošina instrukciju izpildi, ko norāda etiķete.

TinyVLA: ātrums nāk no galvas, nevis no mugurkaula

Acīmredzamais secinājums ir, ka viņi samazināja valodu modeli, tāpēc tas kļuva ātrāks. Raksta ablācija liecina par pretējo. Aizstājot OpenVLA 7 B mugurkaulu ar aptuveni 1 B, samazinājās prognozēšana par darbību no 292 ms līdz 140 ms, kas ir 2x pieaugums. TinyVLA-H, ar salīdzināmu parametru skaitu, darbojas ar 14 ms uz tās pašas kartes. Pārējais 10x ir darbības galva.

OpenVLA izstaro darbības kā diskretizētus žetonus caur valodu modeļa galvu, pa vienam katrai darbības dimensijai, autoregresīvi. TinyVLA pievieno difūzijas dekoderi, kas rada visu gabalu vienā piegājienā. V tabulā ir TinyVLA-H arhitektūra un tiek mainīta tikai galva, veicot tos pašus piecus reālo robotu uzdevumus. Tas ir tīrākais pierādījums abos rakstos par argumentu plūsmas saskaņošana politikām, un iemesls, kāpēc Pi0 atteicās no žetonu dekodēšanas.

Ko sasniedza TinyVLA

Bimanualā rinda ir ar garlaicīgu paskaidrojumu, ko sniedz pats raksts: OpenVLA ir iepriekš apmācīts uz Open X-Embodiment, kas pilnībā sastāv no vienas rokas datiem, tāpēc divu roku darbību telpa ir ārpus izplatīšanas un tā iegūst nulli punktu. Difūzijas politikas bāzes līnija pārspēj TinyVLA-H divos no šiem trim uzdevumiem. Fons Open X-Embodiment aprakstā.

TinyVLA repozitorijs, uz 2026. gada augustu

Raksts ir labs. Kods ir pētniecības izlaidums. Repozitorijs ir github.com/liyaxuanliyaxuan/TinyVLA; tā README norāda koda izlaišanas datumu 2025. gada 17. februārī un pēdējo izmaiņu 2025. gada 11. martā. Tas ir piemērots raksta reproducēšanai, bet problēma, ja vēlējāties uzturētu bibliotēku.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA arī nelasa LeRobot datu kopas. Tās formāts ir ACT stila HDF5: action, language_raw un novērojumu grupa ar vairāku skatu attēliem, joint_positions, qpos un qvel. Repozitorijs piegādā data_utils/rlds_to_h5py.py RLDS ievadei, un katrs uzdevums tiek reģistrēts manuāli aloha_scripts/constants.py ar savu dataset_dir, episode_len un camera_names. Ja jūsu epizodes nāca no lerobot vai darbvirsmas klienta, konversija ir jūsu ziņā.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 pieņem astoņu karšu mezglu. Iestatiet to uz 1 un samaziniet pakešu izmēru krietni zem 32. Neviena viena GPU versija netiek piegādāta augšup, tāpēc komandu nevar palaist burtiski uz 4090.
• --deepspeed scripts/zero2.json norāda uz failu, kas nav augšējā līmeņa scripts direktorijā. DeepSpeed konfigurācijas tiek piegādātas llava-pythia/scripts/zero2.json. Pirms pirmās palaišanas izlabojiet ceļu.
• README prasa, lai izvades direktorija nosaukums saturētu llava_pythia, kā arī lora, ja LoRA ir iespējota.
• Pamatmodelis ir atsevišķa lejupielāde: lesjie/Llava-Pythia-400M, -700M vai -1.3B. Nav viena bāzes kontrolpunkta, uz kuru jūs norādāt politiku tā, kā jūs norādāt uz lerobot/smolvla_base.

SmolVLA: zem 1 B modelis, ko varat palaist šopēcpusdien

SmolVLA izvirza to pašu argumentu uzturētā bibliotēkā. Tam ir 450 M parametri uz SmolVLM2-500M-Video-Instruct pamatmodeļa, un efektivitāte nāk no iestatījumiem, ko varat nolasīt no configuration_smolvla.py, nevis no apgalvojuma par tā mazumu.

Iepriekšējā apmācībā tika izmantotas 481 kopienas LeRobot datu kopas, 22,9 K epizodes un 10,6 M kadri uz 4 GPU, 200000 soļi ar globālo partiju 256; rakstā viss projekts tiek lēsts ap 30 K GPU stundām. Viens skaitlis, kam jāpievērš uzmanība: Hugging Face palaišanas emuārā minētas 487 atlasītas datu kopas, kur raksta tabulā minētas 481. Mēs izmantojam raksta skaitli un atzīmējam neatbilstību.

Viens nejaušs palīgs: SmolVLA raksta Meta-World tabulā ir iekļauti TinyVLA paši publicētie skaitļi kā bāzes līnija, tāpēc vienreiz abi modeļi atrodas vienā tabulā, SmolVLA-0.45B ar 57.3 pret TinyVLA-H ar 31.6. Tas arī ziņo, ka SmolVLA apmācība ir aptuveni par 40 procentiem ātrāka nekā Pi0, izmantojot 6 reizes mazāk atmiņas. Viss tas nāk no SmolVLA autoriem; arēnas ieraksts saista katru vērtību ar tās avotu.

Kur SmolVLA pavada savu laiku

AY-Robots norāda SmolVLA ar 245 ms par darbības soli un ACT ar 20 ms politiku katalogā. TinyVLA ziņo par 14 ms par darbības prognozi. Šie skaitļi nav salīdzināmi, un to uzskatīšana par salīdzināmiem ir visbiežākā kļūda šajā tēmā: daži mēra vienu pāreju uz priekšu, daži sadala šo pāreju pa gabalu, kad darbību sadalīšana gabalos to amortizē.

• SmolVLA izdod 50 darbības vienā pārejā uz priekšu un izpilda visas 50. Pie 30 kadriem sekundē, ko raksts izmanto reālos robotos, viena secinājumu veikšana aptver aptuveni 1.7 sekundes kustības.
• Asinhronā secinājumu veikšana aprēķina nākamo gabalu, kamēr pašreizējais vēl tiek izpildīts: vidējais uzdevuma pabeigšanas laiks 9.7 s pret 13.75 s sinhronā režīmā, aptuveni par 30 procentiem ātrāk, un 19 paņemšanas un novietošanas cikli fiksētā 60 sekunžu logā pret 9.
• Veiksmes rādītāji bija salīdzināmi, nevis labāki: 78.3 sinhronā režīmā pret 73.3 asinhronā režīmā. Asinhronā darbība nodrošina caurlaidspēju, nevis precizitāti.
• Sadalīšana gabalos slēpj aprēķinu latentumu, nevis tīkla latentumu, un tas padara politiku mazāk reaktīvu, jo tā ir apņēmusies veikt 50 darbības.

SmolVLA precizēšana uz vienas patērētāju kartes

Manuālais ceļš, izmantojot lerobot 0.6.1, pašreizējo PyPI izlaidumu no 2026. gada 23. augusta. Viss zemāk minētais nāk no Hugging Face lerobot SmolVLA dokumentācijas, kas iegūta tajā pašā dienā; vadītā versija ir maigāka.

1. 1
   Instalējiet lerobot ar smolvla papildinājumu

   SmolVLA atkarības ir papildu opcija, kas nav daļa no pamata instalācijas. Instalēšana bez tām un pēc tam brīnīšanās, kāpēc politikas tips nav zināms, ir bieži zaudēta pusstunda.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Iegūstiet datu kopu ar pietiekami daudzām epizodēm

   Dokumentācija iesaka aptuveni 50 epizodes un norāda, ka tas pats uzdevums ar 25 epizodēm nebija pietiekams. AY-Robots nosaka minimumu 30. Ierakstiet savus datus vai sāciet no datu kopu direktorija.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Sāciet precizēšanu

   Komanda no lerobot ceļveža, nemodificēta. Dokumentācija norāda, ka 20000 soļi aizņem aptuveni 4 stundas uz viena A100. Uz 24 GB kartes sagaidiet ilgāku laiku un izmēriet to.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Samaziniet partijas lielumu, līdz tas der

   batch_size=64 ir dokumentēts piemērs, nevis solījums par jūsu karti. Dokumentācija iesaka sākt ar mazu vērtību un palielināt to, kamēr ielādes laiks paliek īss.

   bash

   lerobot-train --help

5. 5
   Izvietojiet kontrolpunktu uz rokas

   Tā pati bibliotēka, viena komanda. Reāllaika sadalīšanas karodziņi ir komentēti dokumentācijā un ir tie, kas jāizmanto mazjaudas aparatūrā.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Divi veidi, kā iegūt mazu VLA uz rokas

Kad mazs modelis ir nepareizā izvēle

Abi raksti šeit ir rūpīgāki nekā to kopsavilkumi. TinyVLA kļūdu analīze ir specifiska: 0,4 B variants trīs reizes kļūdījās, nepareizi nolasot instrukciju, ko autori saista ar ierobežotu valodu izpratni mazākajā VLM, un šis režīms pazuda pie 1,3 B. SmolVLA parāda to pašu līkni no otra gala: identiskās arhitektūras 2,25 B versija iegūst 88,75 punktus LIBERO un 68,24 punktus Meta-World, salīdzinot ar 87,3 un 57,3 punktiem 0,45 B modelim.

Salīdzinājums, ko ir vērts veikt, nav TinyVLA pret SmolVLA. Tas ir SmolVLA pret ACT jūsu pašu uzdevumā, un SmolVLA raksts ir arguments, kāpēc. Apmācīts vienam uzdevumam bez robotikas iepriekšējas apmācības, SmolVLA vidēji ieguva 40,0 punktus trīs SO-100 uzdevumos, kur vienuzdevuma ACT ieguva 48,3. Tas, kas to paceļ līdz 78,3, ir kopienas iepriekšējā apmācība plus daudzuzdevumu apmācība, nevis tikai arhitektūra. SO-101 lego uzdevumā, abos vienuzdevuma režīmos, SmolVLA uzvar: 90 pret 70 izplatībā. Pēc tam SmolVLA pret Pi0.5 ja budžets atļauj.

Lēmumu tabula, pēc kuras varat rīkoties

Pēdējai rindai, tiešraides roka straumē fizisku SO-100, ko var vadīt no pārlūkprogrammas bez konta, un trīs veidi, kā sākt aptver pārējo. Šeit SO-100 ir atsauces roka, aptuveni 110 līdz 150 EUR detaļās, ar pilnu iestatīšanas rokasgrāmatu.

Kas nāk pēc modeļiem, kas mazāki par 1 B

Parametru skaita samazināšana ir viens veids, kā padarīt VLA lētu, un tas nav acīmredzami uzvarošais veids. OpenVLA-OFT (arXiv 2502.19645) saglabā 7 B pamatu un maina tikai to, kā tiek atšifrētas darbības, ziņojot par 26x darbību ģenerēšanas caurlaidības pieaugumu un LIBERO pieaugumu no 76.5 līdz 97.1 procentiem. BitVLA (arXiv 2506.07530) padara katru 1 bita BitNet b1.58 2B4T pamata svaru trīskāršu, ziņojot par 11.0x mazāku atmiņu un 4.4x zemāku gala-līdz-galam latentumu, vienlaikus atbilstot pilnas precizitātes OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) atrodas uz 1 B līnijas ar plūsmas saskaņošanu.

Kopīgais pavediens: darbību dekodētājs, nevis valodu modelis, ir vieta, kur rodas latentums. Jautājiet, kā politika izstaro darbības, pirms jautājat, cik parametru tai ir. Arēna ir 85 modeļi un 332 rezultāti, katrs saistīts ar savu avotu; plašāks pārskats ir atrodams mūsu VLA ievadā.