Modele të Vogla VLA: TinyVLA, SmolVLA dhe Rasti Nën-1B

Pothuajse çdo model vizion-gjuhë-veprim për të cilin shkruhet, supozon një kartë qendre të dhënash. OpenVLA ka 7 B parametra. GR00T N1.7 dhe Pi0.5 janë rreth 3 B dhe kërkojnë një A100 80 GB për t'u rregulluar (fine-tune). Nëse karta në tavolinën tuaj është një 4090, ajo klasë modelesh është e paarritshme.

Dy punime argumentojnë se nuk ju duhet. TinyVLA (arXiv 2409.12514, pranuar nga IEEE Robotics and Automation Letters në shkurt 2025) ndërton një VLA nga një shtyllë kurrizore (backbone) 400 M deri në 1.3 B plus një kokë veprimi difuzioni. SmolVLA (arXiv 2506.01844, dorëzuar më 2 qershor 2025) ofron 450 M parametra me pesha të hapura, të dhëna të hapura dhe një skript që funksionon në një kartë konsumatore. Ja çfarë matën të dy, dhe ku argumenti nën-1 B pushon së qeni i vlefshëm.

Çfarë konsiderohet në të vërtetë një VLA e vogël

Numri i parametrave në një kartë modeli nuk është një numër i vetëm. Ai mund të nënkuptojë pesha totale, pesha të ngarkuara gjatë inferencës, ose pesha që marrin gradientë gjatë . TinyVLA raporton të dyja, dhe hendeku është i madh: TinyVLA-H është 1.3 B total por 143 M i trajnueshëm, sepse kulla e vizionit dhe shumica e modelit të gjuhës mbeten të ngrira ndërsa adaptuesit LoRA dhe koka e veprimit lëvizin. Punimi e vendos pjesën e trajnueshme në rreth 5 përqind.

Dy rreshta vlejnë të diskutohen. me rreth 80 M është më i vogël se çdo gjë tjetër këtu, por nuk ka model gjuhe, kështu që nuk është një VLA: ai mëson një detyrë dhe nuk mund t'i thuhet të bëjë një tjetër. me 27 M është i kushtëzuar përmes një koduesi teksti T5-Base, jo një shtylle kurrizore LLM. Baza të mira, asnjëra nuk ju jep ndjekjen e udhëzimeve që nënkupton etiketa.

TinyVLA: shpejtësia vjen nga koka, jo nga shtylla kurrizore

Leximi i dukshëm është se ata e bënë modelin e gjuhës më të vogël, kështu që u bë më i shpejtë. Ablacioni i punimit thotë të kundërtën. Zëvendësimi i shtyllës kurrizore 7 B të OpenVLA-s me një rreth 1 B e uli parashikimin për veprim nga 292 ms në 140 ms, një fitim 2x. TinyVLA-H, me një numër të krahasueshëm parametrash, funksionon në 14 ms në të njëjtën kartë. 10x tjetër është koka e veprimit.

OpenVLA lëshon veprime si shenja të diskretizuara përmes kokës së modelit të gjuhës, një për dimension veprimi, në mënyrë autoregresive. TinyVLA bashkëngjit një dekoder difuzioni që prodhon të gjithë bllokun në një goditje të vetme. Tabela V përmban arkitekturën në TinyVLA-H dhe zëvendëson vetëm kokën, në të njëjtat pesë detyra reale të robotit. Është prova më e qartë në të dyja punimet për argumentin përputhja e rrjedhës që bëjnë politikat, dhe arsyeja Pi0 u largua nga dekodimi i shenjave.

Çfarë rezultati arriti TinyVLA

Rreshti bimanual ka një shpjegim të mërzitshëm që vetë punimi jep: OpenVLA është i paratrajnuar në Open X-Embodiment, i cili përbëhet tërësisht nga të dhëna me një krah, kështu që një hapësirë veprimi me dy krahë është jashtë shpërndarjes dhe shënon zero. Baza e politikës së difuzionit mund TinyVLA-H në dy nga ato tre detyra. Sfondi në shkrimi i Open X-Embodiment.

Depoja TinyVLA, që nga gushti 2026

Punimi është i mirë. Kodi është një lëshim kërkimor. Depoja është github.com/liyaxuanliyaxuan/TinyVLA; README-ja e saj daton lëshimin e kodit në 17 shkurt 2025 dhe komitimi i fundit është 11 mars 2025. Mirë për riprodhimin e një punimi, një problem nëse do të dëshironit një bibliotekë të mirëmbajtur.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA gjithashtu nuk lexon grupet e të dhënave LeRobot. Formati i tij është HDF5 i stilit ACT: action, language_raw, dhe një grup vëzhgimesh me imazhe me shumë pamje, joint_positions, qpos dhe qvel. Depozita përmban data_utils/rlds_to_h5py.py për inputin RLDS, dhe çdo detyrë regjistrohet manualisht në aloha_scripts/constants.py me dataset_dir, episode_len dhe camera_names. Nëse episodet tuaja erdhën nga lerobot ose klienti i desktopit, ju jeni përgjegjës për konvertimin.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 supozon një nyje me tetë karta. Vendoseni në 1 dhe ulni madhësinë e grupit (batch size) shumë poshtë 32. Asnjë variant me një GPU nuk shpërndahet lart, kështu që komanda nuk mund të ekzekutohet fjalë për fjalë në një 4090.
• --deepspeed scripts/zero2.json tregon një skedar që nuk është në direktorinë kryesore scripts. Konfigurimet DeepSpeed shpërndahen në llava-pythia/scripts/zero2.json. Rregulloni shtegun para ekzekutimit tuaj të parë.
• README kërkon që emri i direktorisë së daljes të përmbajë llava_pythia, plus lora nëse LoRA është aktivizuar.
• Shtylla kurrizore (backbone) është një shkarkim i veçantë: lesjie/Llava-Pythia-400M, -700M ose -1.3B. Nuk ka një pikë kontrolli bazë të vetme ku ju drejtoni një politikë ashtu siç drejtoni te lerobot/smolvla_base.

SmolVLA: modeli nën 1 B që mund ta ekzekutoni këtë pasdite

SmolVLA bën të njëjtin argument brenda një biblioteke të mirëmbajtur. Ai ka 450 M parametra në një shtyllë kurrizore SmolVLM2-500M-Video-Instruct, dhe efikasiteti vjen nga cilësimet që mund të lexoni nga configuration_smolvla.py, sesa nga një pretendim për të qenë i vogël.

Paratrajnimi përdori 481 grupe të dhënash komunitare LeRobot, 22.9 K episode dhe 10.6 M korniza në 4 GPU, 200000 hapa me një grup global prej 256; punimi e vlerëson të gjithë projektin në rreth 30 K orë GPU. Një numër për t'u vëzhguar: blogu i lançimit të Hugging Face thotë 487 grupe të dhënash të kuruar, ndërsa tabela e punimit thotë 481. Ne përdorim shifrën e punimit dhe shënojmë mosmarrëveshjen.

Një rastësi ndihmon: tabela Meta-World e punimit të SmolVLA përmban numrat e publikuar të TinyVLA si bazë, kështu që për një herë të dy modelet ndodhen në një tabelë, SmolVLA-0.45B në 57.3 kundrejt TinyVLA-H në 31.6. Gjithashtu raporton se trajnimi i SmolVLA është rreth 40 për qind më i shpejtë se Pi0 me 6 herë më pak memorie. E gjithë kjo vjen nga autorët e SmolVLA; hyrja në arenë lidh çdo vlerë me burimin e saj.

Ku SmolVLA kalon kohën e saj

AY-Robots liston SmolVLA në 245 ms për hap veprimi dhe ACT në 20 ms në katalogun e politikave. TinyVLA raporton 14 ms për parashikim veprimi. Këta numra nuk janë të krahasueshëm, dhe trajtimi i tyre si të tillë është gabimi më i zakonshëm në këtë temë: disa llogarisin një kalim përpara, disa e ndajnë atë kalim nëpër një copë pasi ndarja e veprimeve në copa e amortizon atë.

• SmolVLA lëshon 50 veprime për kalim përpara dhe ekzekuton të gjitha 50. Me 30 fps që përdor punimi në robotë realë, një inferencë mbulon rreth 1.7 sekonda lëvizje.
• Inferenca asinkrone llogarit copën tjetër ndërsa ajo aktuale ende ekzekutohet: 9.7 s kohë mesatare e përfundimit të detyrës kundrejt 13.75 s sinkrone, afërsisht 30 për qind më shpejt, dhe 19 cikle marrjeje dhe vendosjeje në një dritare fikse 60-sekondëshe kundrejt 9.
• Shkallët e suksesit ishin të krahasueshme dhe jo më të mira, 78.3 sinkrone kundrejt 73.3 asinkrone. Asinkroniteti blen prurje, jo saktësi.
• Ndarja në copa fsheh vonesën e llogaritjes, jo vonesën e rrjetit, dhe e bën politikën më pak reaktive sepse është e angazhuar për 50 veprime.

Rregullimi i imët i SmolVLA në një kartë konsumatore

Shtegu manual, në lerobot 0.6.1, versioni aktual i PyPI-së që nga 23 gusht 2026. Gjithçka më poshtë vjen nga dokumentacioni i Hugging Face lerobot SmolVLA, i marrë në të njëjtën ditë; versioni i udhëzuar është më i butë.

1. 1
   Instaloni lerobot me shtesën smolvla

   Varësitë e SmolVLA janë një shtesë opsionale, jo pjesë e instalimit bazë. Instalimi pa të dhe më pas pyetja pse lloji i politikës është i panjohur është një humbje e zakonshme gjysmë ore.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Merrni një grup të dhënash me episode të mjaftueshme

   Dokumentacioni rekomandon rreth 50 episode dhe thekson se e njëjta detyrë me 25 nuk ishte e mjaftueshme. AY-Robots e vendos minimumin në 30. Regjistroni tuajat, ose filloni nga drejtoria e grupeve të të dhënave.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Filloni rregullimin e imët

   Komanda nga udhëzuesi i lerobot, e pamodifikuar. Dokumentacioni vlerëson 20000 hapa në rreth 4 orë në një A100. Në një kartë 24 GB, prisni më gjatë dhe mateni.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Ulni madhësinë e grupit derisa të përshtatet

   batch_size=64 është një shembull i dokumentuar, jo një premtim për kartën tuaj. Dokumentacioni këshillon të filloni me të vogël dhe të rritni ndërsa kohët e ngarkimit mbeten të shkurtra.

   bash

   lerobot-train --help

5. 5
   Vendosni pikën e kontrollit në krah

   E njëjta bibliotekë, një komandë. Flamujt e ndarjes në kohë reale janë të komentuar në dokumentacion dhe janë ata që duhen përdorur në pajisje me fuqi të ulët.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dy mënyra për të vendosur një VLA të vogël në një krah

Kur një model i vogël është zgjedhja e gabuar

Të dyja punimet janë më të kujdesshme këtu sesa përmbledhjet. Analiza e dështimit të TinyVLA është specifike: varianti 0.4 B dështoi tre herë duke keqlexuar udhëzimin, të cilën autorët ia atribuojnë kuptimit të kufizuar të gjuhës në VLM-në më të vogël, dhe ky modalitet u zhduk në 1.3 B. SmolVLA tregon të njëjtën kurbë nga ana tjetër: versioni 2.25 B i arkitekturës identike shënon 88.75 në LIBERO dhe 68.24 në Meta-World kundrejt 87.3 dhe 57.3 për modelin 0.45 B.

Krahasimi që ia vlen të bëhet nuk është TinyVLA kundër SmolVLA. Është SmolVLA kundër ACT në detyrën tuaj, dhe punimi i SmolVLA është argumenti pse. I trajnuar me një detyrë të vetme pa paratrajnim robotik, SmolVLA arriti mesatarisht 40.0 në tre detyra SO-100 ku ACT me një detyrë të vetme arriti 48.3. Ajo që e ngre në 78.3 është paratrajnimi i komunitetit plus trajnimi me shumë detyra, jo vetëm arkitektura. Në detyrën lego SO-101, të dyja me një detyrë të vetme, SmolVLA fiton: 90 kundër 70 në shpërndarje. Pastaj SmolVLA kundër Pi0.5 nëse buxheti e lejon.

Një tabelë vendimesh mbi të cilën mund të veproni

Për rreshtin e fundit, krahu live transmeton një SO-100 fizik që mund ta drejtosh nga shfletuesi pa llogari, dhe tre mënyrat për të filluar mbulon pjesën tjetër. SO-100 është krahu referencë këtu, afërsisht 110 deri në 150 EUR në pjesë, me një udhëzues të plotë konfigurimi.

Çfarë vjen pas modeleve nën 1 B

Zvogëlimi i numrit të parametrave është një mënyrë për ta bërë një VLA të lirë dhe jo domosdoshmërisht fituese. OpenVLA-OFT (arXiv 2502.19645) ruan shtyllën kurrizore 7 B dhe ndryshon vetëm mënyrën se si deshifrohen veprimet, duke raportuar një rritje 26x në prurjen e gjenerimit të veprimeve dhe LIBERO-n që rritet nga 76.5 në 97.1 për qind. BitVLA (arXiv 2506.07530) e bën çdo peshë të një shtylle kurrizore 1-bit BitNet b1.58 2B4T ternare, duke raportuar 11.0x më pak memorie dhe 4.4x vonesë më të ulët nga fillimi në fund, ndërsa përputhet me OpenVLA-OFT me saktësi të plotë. X-VLA-0.9B (arXiv 2510.10274) qëndron në linjën 1 B me përputhje fluksi.

Fili i përbashkët: dekoderi i veprimeve, jo modeli i gjuhës, është aty ku qëndron vonesa. Pyesni se si një politikë lëshon veprime përpara se të pyesni sa parametra ka. arena ka 85 modele dhe 332 rezultate, secila e lidhur me burimin e saj; ka një përmbledhje më të gjerë në hyrjen tonë në VLA.