Model VLA Kecil: TinyVLA, SmolVLA, dan Kasus di Bawah 1 Miliar Parameter

Hampir setiap model aksi-bahasa-visi yang ditulis tentangnya mengasumsikan kartu pusat data. OpenVLA memiliki 7 miliar parameter. GR00T N1.7 dan Pi0.5 berukuran sekitar 3 miliar dan membutuhkan A100 80 GB untuk fine-tuning. Jika kartu di meja Anda adalah 4090, kelas model tersebut tidak terjangkau.

Dua makalah berpendapat bahwa Anda tidak membutuhkannya. TinyVLA (arXiv 2409.12514, diterima oleh IEEE Robotics and Automation Letters pada Februari 2025) membangun VLA dari backbone 400 juta hingga 1,3 miliar ditambah kepala aksi difusi. SmolVLA (arXiv 2506.01844, diajukan 2 Juni 2025) mengirimkan 450 juta parameter dengan bobot terbuka, data terbuka, dan skrip yang berjalan pada satu kartu konsumen. Berikut adalah apa yang diukur keduanya, dan di mana argumen di bawah 1 miliar berhenti berlaku.

Apa yang sebenarnya dianggap sebagai VLA kecil

Jumlah parameter pada kartu model bukanlah satu angka. Ini bisa berarti total bobot, bobot yang dimuat saat inferensi, atau bobot yang menerima gradien selama . TinyVLA melaporkan keduanya, dan perbedaannya besar: TinyVLA-H memiliki total 1,3 B tetapi 143 M dapat dilatih, karena menara visi dan sebagian besar model bahasa tetap beku sementara adaptor LoRA dan kepala aksi bergerak. Makalah ini menempatkan bagian yang dapat dilatih sekitar 5 persen.

Dua baris patut diperdebatkan. sekitar 80 Juta lebih kecil dari yang lain di sini tetapi tidak memiliki model bahasa, jadi ini bukan VLA: ia mempelajari satu tugas dan tidak dapat diperintahkan untuk melakukan tugas lain. pada 27 Juta dikondisikan melalui encoder teks T5-Base, bukan backbone LLM. Baseline yang bagus, tetapi keduanya tidak memberikan kemampuan mengikuti instruksi seperti yang tersirat dari label.

TinyVLA: kecepatan berasal dari kepala, bukan dari tulang punggung

Pembacaan yang jelas adalah bahwa mereka membuat model bahasa lebih kecil, sehingga menjadi lebih cepat. Ablasi dalam makalah tersebut menyatakan sebaliknya. Mengganti tulang punggung OpenVLA 7 B dengan yang kira-kira 1 B memangkas prediksi per-aksi dari 292 ms menjadi 140 ms, peningkatan 2x. TinyVLA-H, dengan jumlah parameter yang sebanding, berjalan pada 14 ms pada kartu yang sama. 10x lainnya adalah kepala aksi.

OpenVLA mengeluarkan aksi sebagai token diskrit melalui kepala model bahasa, satu per dimensi aksi, secara autoregresif. TinyVLA melampirkan dekoder difusi yang menghasilkan seluruh bagian dalam satu kali. Tabel V memuat arsitektur pada TinyVLA-H dan hanya menukar kepalanya, pada lima tugas robot nyata yang sama. Ini adalah bukti terbersih dalam kedua makalah untuk argumen pencocokan aliran kebijakan buat, dan alasan Pi0 menjauh dari decoding token.

Performa TinyVLA

Baris bimanual memiliki penjelasan membosankan yang diberikan oleh makalah itu sendiri: OpenVLA dilatih sebelumnya pada Open X-Embodiment, yang seluruhnya terdiri dari data lengan tunggal, sehingga ruang aksi dua lengan berada di luar distribusi dan skornya nol. Baseline kebijakan difusi mengalahkan TinyVLA-H pada dua dari tiga tugas tersebut. Latar belakang di tulisan Open X-Embodiment.

Repositori TinyVLA, per Agustus 2026

Makalahnya bagus. Kodenya adalah rilis penelitian. Repositorinya adalah github.com/liyaxuanliyaxuan/TinyVLA; README-nya mencatat rilis kode pada 17 Februari 2025 dan commit terakhir pada 11 Maret 2025. Baik untuk mereproduksi makalah, tetapi menjadi masalah jika Anda menginginkan pustaka yang terawat.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA juga tidak membaca dataset LeRobot. Formatnya adalah HDF5 gaya ACT: action, language_raw, dan grup observasi dengan gambar multi-view, joint_positions, qpos, dan qvel. Repositori ini menyediakan data_utils/rlds_to_h5py.py untuk input RLDS, dan setiap tugas didaftarkan secara manual di aloha_scripts/constants.py dengan dataset_dir, episode_len, dan camera_names-nya. Jika episode Anda berasal dari lerobot atau klien desktop, Anda bertanggung jawab atas konversinya.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 mengasumsikan node delapan kartu. Atur ke 1 dan turunkan ukuran batch jauh di bawah 32. Tidak ada varian GPU tunggal yang dikirimkan secara upstream, sehingga perintah tidak dapat dijalankan secara verbatim pada 4090.
• --deepspeed scripts/zero2.json menunjuk ke file yang tidak ada di direktori scripts tingkat atas. Konfigurasi DeepSpeed dikirimkan di llava-pythia/scripts/zero2.json. Perbaiki path sebelum Anda menjalankannya pertama kali.
• README mengharuskan nama direktori output berisi llava_pythia, ditambah lora jika LoRA diaktifkan.
• Backbone adalah unduhan terpisah: lesjie/Llava-Pythia-400M, -700M atau -1.3B. Tidak ada satu checkpoint dasar yang Anda tunjuk kebijakan seperti Anda menunjuk ke lerobot/smolvla_base.

SmolVLA: model sub-1 B yang dapat Anda jalankan sore ini

SmolVLA membuat argumen yang sama di dalam pustaka yang dikelola. Ini adalah 450 juta parameter pada backbone SmolVLM2-500M-Video-Instruct, dan efisiensi berasal dari pengaturan yang dapat Anda baca dari configuration_smolvla.py daripada dari klaim tentang ukurannya yang kecil.

Pelatihan awal menggunakan 481 dataset komunitas LeRobot, 22,9 ribu episode, dan 10,6 juta frame pada 4 GPU, 200.000 langkah dengan batch global 256; makalah tersebut menyatakan seluruh proyek membutuhkan sekitar 30 ribu jam GPU. Satu angka yang perlu diperhatikan: blog peluncuran Hugging Face menyebutkan 487 dataset yang dikurasi, sedangkan tabel makalah menyebutkan 481. Kami menggunakan angka dari makalah dan menandai ketidaksesuaian ini.

Satu kebetulan membantu: tabel Meta-World dalam makalah SmolVLA memuat angka-angka yang diterbitkan TinyVLA sendiri sebagai dasar, sehingga untuk sekali ini kedua model berada dalam satu tabel, SmolVLA-0.45B pada 57.3 berbanding TinyVLA-H pada 31.6. Ini juga melaporkan pelatihan SmolVLA sekitar 40 persen lebih cepat daripada Pi0 dengan memori 6x lebih sedikit. Semua ini berasal dari penulis SmolVLA; entri arena menautkan setiap nilai ke sumbernya.

Di mana SmolVLA menghabiskan waktunya

AY-Robots mencantumkan SmolVLA pada 245 ms per langkah tindakan dan ACT pada 20 ms dalam katalog kebijakan. TinyVLA melaporkan 14 ms per prediksi tindakan. Angka-angka tersebut tidak sebanding, dan memperlakukannya seolah-olah sebanding adalah kesalahan paling umum dalam topik ini: beberapa mengukur satu forward pass, beberapa membagi pass tersebut ke seluruh chunk setelah pengelompokan tindakan mengamortisasinya.

• SmolVLA mengeluarkan 50 tindakan per forward pass dan mengeksekusi semua 50. Pada 30 fps yang digunakan makalah ini pada robot nyata, satu inferensi mencakup sekitar 1.7 detik gerakan.
• Inferensi asinkron menghitung chunk berikutnya sementara yang saat ini masih dieksekusi: rata-rata penyelesaian tugas 9.7 detik dibandingkan 13.75 detik sinkron, kira-kira 30 persen lebih cepat, dan 19 siklus pick-and-place dalam jendela 60 detik tetap dibandingkan 9.
• Tingkat keberhasilan sebanding daripada lebih baik, 78.3 sinkron dibandingkan 73.3 asinkron. Asinkron membeli throughput, bukan akurasi.
• Pengelompokan menyembunyikan latensi komputasi, bukan latensi jaringan, dan itu membuat kebijakan kurang reaktif karena berkomitmen pada 50 tindakan.

Penyetelan halus SmolVLA pada satu kartu konsumen

Jalur manual, pada lerobot 0.6.1, rilis PyPI saat ini per 23 Agustus 2026. Semua di bawah ini berasal dari dokumentasi Hugging Face lerobot SmolVLA, yang diambil pada hari yang sama; versi terpandu lebih lembut.

1. 1
   Instal lerobot dengan tambahan smolvla

   Dependensi SmolVLA adalah tambahan opsional, bukan bagian dari instalasi dasar. Menginstal tanpa itu dan kemudian bertanya-tanya mengapa jenis kebijakan tidak diketahui adalah setengah jam yang sering terbuang sia-sia.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Dapatkan dataset dengan episode yang cukup

   Dokumentasi merekomendasikan sekitar 50 episode dan menyatakan bahwa tugas yang sama dengan 25 episode tidak cukup. AY-Robots menetapkan minimum 30. Rekam sendiri, atau mulai dari direktori dataset.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Mulai fine-tune

   Perintah dari panduan lerobot, tidak dimodifikasi. Dokumentasi menyebutkan 20000 langkah membutuhkan waktu sekitar 4 jam pada satu A100. Pada kartu 24 GB, perkirakan lebih lama dan ukur.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Turunkan ukuran batch sampai sesuai

   batch_size=64 adalah contoh yang didokumentasikan, bukan janji tentang kartu Anda. Dokumentasi menyarankan untuk memulai dari yang kecil dan meningkatkannya selama waktu pemuatan tetap singkat.

   bash

   lerobot-train --help

5. 5
   Terapkan checkpoint pada lengan robot

   Pustaka yang sama, satu perintah. Flag chunking real-time dikomentari dalam dokumentasi dan merupakan yang harus digunakan pada perangkat keras berdaya rendah.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Dua cara untuk memasang VLA kecil ke lengan robot

Ketika model kecil adalah pilihan yang salah

Kedua makalah lebih berhati-hati di sini daripada ringkasannya. Analisis kegagalan TinyVLA spesifik: varian 0.4 B gagal tiga kali karena salah membaca instruksi, yang oleh penulis dikaitkan dengan pemahaman bahasa yang terbatas pada VLM yang lebih kecil, dan mode tersebut menghilang pada 1.3 B. SmolVLA menunjukkan kurva yang sama dari sisi lain: versi 2.25 B dari arsitektur yang identik mencetak 88.75 pada LIBERO dan 68.24 pada Meta-World dibandingkan 87.3 dan 57.3 untuk model 0.45 B.

Perbandingan yang layak dijalankan bukanlah TinyVLA melawan SmolVLA. Ini adalah SmolVLA melawan ACT pada tugas Anda sendiri, dan makalah SmolVLA adalah argumen mengapa demikian. Dilatih satu tugas tanpa pra-pelatihan robotika, SmolVLA rata-rata 40.0 di tiga tugas SO-100 di mana ACT satu tugas berhasil 48.3. Yang mengangkatnya menjadi 78.3 adalah pra-pelatihan komunitas ditambah pelatihan multi-tugas, bukan arsitekturnya saja. Pada tugas lego SO-101, keduanya satu tugas, SmolVLA memang menang: 90 berbanding 70 dalam distribusi. Kemudian SmolVLA melawan Pi0.5 jika anggaran memungkinkan.

Tabel keputusan yang dapat Anda tindak lanjuti

Untuk baris terakhir, lengan langsung mengalirkan SO-100 fisik yang dapat Anda kendalikan dari browser tanpa akun, dan tiga cara untuk memulai mencakup sisanya. SO-100 adalah lengan referensi di sini, kira-kira 110 hingga 150 EUR dalam suku cadang, dengan panduan pengaturan lengkap.

Apa yang datang setelah model di bawah 1 M

Mengecilkan jumlah parameter adalah salah satu cara untuk membuat VLA murah dan belum tentu merupakan cara yang paling unggul. OpenVLA-OFT (arXiv 2502.19645) mempertahankan tulang punggung 7 M dan hanya mengubah cara tindakan didekodekan, melaporkan peningkatan 26x dalam throughput generasi tindakan dan LIBERO naik dari 76,5 menjadi 97,1 persen. BitVLA (arXiv 2506.07530) membuat setiap bobot tulang punggung 1-bit BitNet b1.58 2B4T menjadi terner, melaporkan memori 11,0x lebih sedikit dan latensi ujung-ke-ujung 4,4x lebih rendah sambil menyamai OpenVLA-OFT presisi penuh. X-VLA-0.9B (arXiv 2510.10274) berada pada garis 1 M dengan pencocokan aliran.

Benang merahnya: dekoder tindakan, bukan model bahasa, adalah tempat latensi berada. Tanyakan bagaimana suatu kebijakan mengeluarkan tindakan sebelum Anda menanyakan berapa banyak parameter yang dimilikinya. arena memiliki 85 model dan 332 hasil, masing-masing terhubung ke sumbernya; ada gambaran umum yang lebih luas di pengantar VLA kami.