Model VLA Kecil: TinyVLA, SmolVLA dan Kes Sub-1B

Hampir setiap model tindakan bahasa-penglihatan yang ditulis mengandaikan kad pusat data. OpenVLA mempunyai 7 B parameter. GR00T N1.7 dan Pi0.5 adalah sekitar 3 B dan memerlukan A100 80 GB untuk penalaan halus. Jika kad di meja anda adalah 4090, kelas model tersebut adalah di luar jangkauan.

Dua kertas kerja berhujah bahawa anda tidak memerlukannya. TinyVLA (arXiv 2409.12514, diterima oleh IEEE Robotics and Automation Letters pada Februari 2025) membina VLA daripada tulang belakang 400 J hingga 1.3 B ditambah kepala tindakan resapan. SmolVLA (arXiv 2506.01844, diserahkan 2 Jun 2025) menghantar 450 J parameter dengan berat terbuka, data terbuka dan skrip yang berjalan pada satu kad pengguna. Berikut adalah apa yang kedua-duanya ukur, dan di mana hujah sub-1 B tidak lagi relevan.

Apa yang sebenarnya dikira sebagai VLA kecil

Jumlah parameter pada kad model bukanlah satu nombor. Ia boleh bermaksud jumlah berat, berat yang dimuatkan semasa inferens, atau berat yang menerima gradien semasa . TinyVLA melaporkan kedua-duanya, dan jurangnya besar: TinyVLA-H adalah 1.3 B jumlah tetapi 143 M boleh dilatih, kerana menara penglihatan dan kebanyakan model bahasa kekal beku manakala penyesuai LoRA dan kepala tindakan bergerak. Kertas kerja itu meletakkan bahagian yang boleh dilatih pada kira-kira 5 peratus.

Dua baris patut dibahaskan. pada kira-kira 80 M adalah lebih kecil daripada yang lain di sini tetapi tiada model bahasa, jadi ia bukan VLA: ia mempelajari satu tugas dan tidak boleh diarahkan untuk melakukan yang lain. pada 27 M dikondisikan melalui pengekod teks T5-Base, bukan rangka utama LLM. Garis dasar yang baik, tiada satu pun yang memberikan anda arahan seperti yang tersirat pada label.

TinyVLA: kelajuan datang dari kepala, bukan tulang belakang

Pembacaan yang jelas ialah mereka menjadikan model bahasa lebih kecil, jadi ia menjadi lebih pantas. Ablasi kertas kerja itu menyatakan sebaliknya. Menukar tulang belakang OpenVLA 7 B dengan yang kira-kira 1 B mengurangkan ramalan setiap tindakan daripada 292 ms kepada 140 ms, peningkatan 2x. TinyVLA-H, dengan kiraan parameter yang setanding, berjalan pada 14 ms pada kad yang sama. 10x yang lain adalah kepala tindakan.

OpenVLA mengeluarkan tindakan sebagai token diskret melalui kepala model bahasa, satu per dimensi tindakan, secara autoregresif. TinyVLA melampirkan penyahkod resapan yang menghasilkan keseluruhan cebisan dalam satu pukulan. Jadual V memegang seni bina di TinyVLA-H dan menukar hanya kepala, pada lima tugas robot sebenar yang sama. Ia adalah bukti paling jelas dalam mana-mana kertas kerja untuk hujah yang dibuat oleh polisi padanan aliran, dan sebabnya Pi0 beralih daripada penyahkodan token.

Apa yang dicapai oleh TinyVLA

Baris bimanual mempunyai penjelasan membosankan yang diberikan oleh kertas itu sendiri: OpenVLA dilatih awal pada Open X-Embodiment, yang terdiri sepenuhnya daripada data satu lengan, jadi ruang tindakan dua lengan adalah di luar taburan dan ia mendapat skor sifar. Garis dasar dasar penyebaran mengalahkan TinyVLA-H pada dua daripada tiga tugas tersebut. Latar belakang dalam penulisan Open X-Embodiment.

Repositori TinyVLA, setakat Ogos 2026

Kertas kerja ini bagus. Kodnya adalah hasil penyelidikan. Repositori adalah github.com/liyaxuanliyaxuan/TinyVLA; README-nya menyatakan tarikh keluaran kod pada 17 Februari 2025 dan komit terakhir pada 11 Mac 2025. Baik untuk menghasilkan semula kertas kerja, tetapi menjadi masalah jika anda mahukan perpustakaan yang diselenggara.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA juga tidak membaca set data LeRobot. Formatnya adalah HDF5 gaya ACT: action, language_raw, dan kumpulan pemerhatian dengan imej berbilang pandangan, joint_positions, qpos dan qvel. Repositori ini menyediakan data_utils/rlds_to_h5py.py untuk input RLDS, dan setiap tugas didaftarkan secara manual dalam aloha_scripts/constants.py dengan dataset_dir, episode_len dan camera_namesnya. Jika episod anda datang dari lerobot atau klien desktop, anda bertanggungjawab untuk penukaran.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 mengandaikan nod lapan kad. Tetapkan kepada 1 dan kurangkan saiz kelompok jauh di bawah 32. Tiada varian GPU tunggal dihantar ke hulu, jadi arahan tidak boleh dijalankan secara verbatim pada 4090.
• --deepspeed scripts/zero2.json menunjuk kepada fail yang tiada dalam direktori skrip peringkat atas. Konfigurasi DeepSpeed dihantar di llava-pythia/scripts/zero2.json. Betulkan laluan sebelum larian pertama anda.
• README memerlukan nama direktori output mengandungi llava_pythia, serta lora jika LoRA diaktifkan.
• Tulang belakang adalah muat turun berasingan: lesjie/Llava-Pythia-400M, -700M atau -1.3B. Tiada satu titik semak asas yang anda tujukan sesuatu polisi seperti anda menunjuk kepada lerobot/smolvla_base.

SmolVLA: model sub-1 B yang boleh anda jalankan petang ini

SmolVLA membuat hujah yang sama dalam perpustakaan yang diselenggara. Ia mempunyai 450 J parameter pada tulang belakang SmolVLM2-500M-Video-Instruct, dan kecekapan datang daripada tetapan yang boleh anda baca daripada configuration_smolvla.py dan bukannya daripada dakwaan tentang saiznya yang kecil.

Pra-latihan menggunakan 481 set data komuniti LeRobot, 22.9 K episod dan 10.6 J bingkai pada 4 GPU, 200000 langkah pada kelompok global 256; kertas kerja meletakkan keseluruhan projek pada kira-kira 30 K jam GPU. Satu nombor untuk diperhatikan: blog pelancaran Hugging Face menyatakan 487 set data terpilih manakala jadual kertas kerja menyatakan 481. Kami menggunakan angka kertas kerja dan menandakan percanggahan tersebut.

Satu kebetulan membantu: jadual Meta-World dalam kertas SmolVLA membawa nombor TinyVLA sendiri yang diterbitkan sebagai garis dasar, jadi buat pertama kalinya kedua-dua model berada dalam satu jadual, SmolVLA-0.45B pada 57.3 berbanding TinyVLA-H pada 31.6. Ia juga melaporkan latihan SmolVLA sekitar 40 peratus lebih pantas daripada Pi0 dengan 6x kurang memori. Semua ini datang daripada pengarang SmolVLA; entri arena memautkan setiap nilai kepada sumbernya.

Di mana SmolVLA menghabiskan masanya

AY-Robots menyenaraikan SmolVLA pada 245 ms setiap langkah tindakan dan ACT pada 20 ms dalam katalog polisi. TinyVLA melaporkan 14 ms setiap ramalan tindakan. Nombor-nombor ini tidak boleh dibandingkan, dan menganggapnya seolah-olah ia boleh dibandingkan adalah kesilapan paling biasa dalam topik ini: ada yang mengukur satu laluan ke hadapan, ada yang membahagikan laluan itu merentasi satu cebisan setelah pengecilan tindakan melunaskannya.

• SmolVLA mengeluarkan 50 tindakan setiap laluan ke hadapan dan melaksanakan kesemua 50 tindakan. Pada 30 fps yang digunakan oleh kertas kerja pada robot sebenar, satu inferens meliputi kira-kira 1.7 saat pergerakan.
• Inferens tak segerak mengira cebisan seterusnya sementara cebisan semasa masih dilaksanakan: purata penyiapan tugas 9.7 s berbanding 13.75 s segerak, kira-kira 30 peratus lebih pantas, dan 19 kitaran pilih-dan-letak dalam tetingkap 60 saat yang ditetapkan berbanding 9.
• Kadar kejayaan adalah setanding dan bukannya lebih baik, 78.3 segerak berbanding 73.3 tak segerak. Async membeli daya pemprosesan, bukan ketepatan.
• Pengecilan menyembunyikan kependaman pengiraan, bukan kependaman rangkaian, dan ia menjadikan polisi kurang reaktif kerana ia komited kepada 50 tindakan.

Penalaan halus SmolVLA pada satu kad pengguna

Laluan manual, pada lerobot 0.6.1, keluaran PyPI semasa pada 23 Ogos 2026. Segala-galanya di bawah berasal dari dokumentasi Hugging Face lerobot SmolVLA, yang diambil pada hari yang sama; versi berpandu adalah lebih lembut.

1. 1
   Pasang lerobot dengan tambahan smolvla

   Kebergantungan SmolVLA adalah tambahan pilihan, bukan sebahagian daripada pemasangan asas. Memasang tanpanya dan kemudian tertanya-tanya mengapa jenis polisi tidak diketahui adalah kerugian setengah jam yang biasa.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Dapatkan set data dengan episod yang mencukupi

   Dokumen mengesyorkan sekitar 50 episod dan menyatakan bahawa tugas yang sama dengan 25 episod tidak mencukupi. AY-Robots menetapkan minimum pada 30. Rakam sendiri, atau mulakan dari direktori set data.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Mulakan penalaan halus

   Perintah dari panduan lerobot, tidak diubah suai. Dokumen menyatakan 20000 langkah mengambil masa kira-kira 4 jam pada satu A100. Pada kad 24 GB, jangkakan lebih lama dan ukurnya.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Kurangkan saiz kelompok sehingga ia muat

   batch_size=64 adalah contoh yang didokumenkan, bukan janji mengenai kad anda. Dokumen menasihatkan untuk bermula dengan saiz kecil dan meningkatkannya selagi masa muat kekal pendek.

   bash

   lerobot-train --help

5. 5
   Laksanakan titik semak pada lengan

   Perpustakaan yang sama, satu perintah. Bendera pemecahan masa nyata dikomenkan dalam dokumen dan merupakan pilihan yang sesuai untuk perkakasan berkuasa rendah.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dua cara untuk mendapatkan VLA kecil pada lengan

Apabila model kecil adalah pilihan yang salah

Kedua-dua kertas kerja lebih berhati-hati di sini berbanding ringkasan. Analisis kegagalan TinyVLA adalah spesifik: varian 0.4 B gagal tiga kali dengan salah membaca arahan, yang mana penulis mengaitkan kepada pemahaman bahasa yang terhad dalam VLM yang lebih kecil, dan mod itu hilang pada 1.3 B. SmolVLA menunjukkan lengkung yang sama dari hujung yang lain: versi 2.25 B bagi seni bina yang sama mencatat 88.75 pada LIBERO dan 68.24 pada Meta-World berbanding 87.3 dan 57.3 untuk model 0.45 B.

Perbandingan yang patut dijalankan bukanlah TinyVLA berbanding SmolVLA. Ia adalah SmolVLA berbanding ACT pada tugas anda sendiri, dan kertas kerja SmolVLA adalah hujah mengapa. Dilatih satu tugas tanpa pra-latihan robotik, SmolVLA mencatatkan purata 40.0 merentasi tiga tugas SO-100 di mana ACT satu tugas mencapai 48.3. Apa yang mengangkatnya kepada 78.3 adalah pra-latihan komuniti ditambah latihan berbilang tugas, bukan seni bina semata-mata. Pada tugas lego SO-101, kedua-duanya satu tugas, SmolVLA memang menang: 90 berbanding 70 dalam pengedaran. Kemudian SmolVLA berbanding Pi0.5 jika bajet mengizinkan.

Jadual keputusan yang boleh anda bertindak atasnya

Untuk baris terakhir, lengan langsung menstrimkan SO-100 fizikal yang boleh anda pandu dari pelayar tanpa akaun, dan tiga cara untuk bermula meliputi selebihnya. SO-100 SO-100 ialah lengan rujukan di sini, kira-kira 110 hingga 150 EUR dalam bahagian, dengan panduan persediaan lengkap.

Apa yang datang selepas model sub-1 B

Mengecilkan kiraan parameter adalah satu cara untuk menjadikan VLA murah dan bukan semestinya cara yang menang. OpenVLA-OFT (arXiv 2502.19645) mengekalkan tulang belakang 7 B dan hanya mengubah cara tindakan dinyahkod, melaporkan peningkatan 26x dalam daya pemprosesan penjanaan tindakan dan LIBERO meningkat dari 76.5 kepada 97.1 peratus. BitVLA (arXiv 2506.07530) menjadikan setiap berat tulang belakang 1-bit BitNet b1.58 2B4T ternari, melaporkan 11.0x kurang memori dan 4.4x latensi hujung ke hujung yang lebih rendah sambil menyamai OpenVLA-OFT ketepatan penuh. X-VLA-0.9B (arXiv 2510.10274) berada pada garis 1 B dengan padanan aliran.

Benang merahnya: penyahkod tindakan, bukan model bahasa, adalah punca latensi. Tanya bagaimana polisi mengeluarkan tindakan sebelum anda bertanya berapa banyak parameter yang dimilikinya. Arena itu arena mempunyai 85 model dan 332 hasil, setiap satu dipautkan kepada sumbernya; terdapat gambaran keseluruhan yang lebih luas dalam pengenalan VLA kami.