Küçük VLA Modelleri: TinyVLA, SmolVLA ve 1 Milyar Parametrenin Altındaki Durum

Hakkında yazılan neredeyse her görsel-dil-eylem modeli bir veri merkezi kartı varsayar. OpenVLA 7 milyar parametredir. GR00T N1.7 ve Pi0.5 yaklaşık 3 milyar parametredir ve ince ayar için bir A100 80 GB ister. Eğer masanızdaki kart bir 4090 ise, o model sınıfı ulaşılamazdır.

İki makale buna ihtiyacınız olmadığını savunuyor. TinyVLA (arXiv 2409.12514, Şubat 2025'te IEEE Robotics and Automation Letters tarafından kabul edildi) 400 milyon ila 1.3 milyar parametreli bir omurgadan ve bir difüzyon eylem başlığından bir VLA oluşturur. SmolVLA (arXiv 2506.01844, 2 Haziran 2025'te gönderildi) açık ağırlıklar, açık veriler ve tek bir tüketici kartında çalışan bir betik ile 450 milyon parametre sunar. İşte ikisinin de ölçtüğü ve 1 milyar altı argümanının geçerliliğini yitirdiği nokta.

Gerçekten küçük bir VLA ne sayılır?

Bir model kartındaki parametre sayısı tek bir sayı değildir. Toplam ağırlıkları, çıkarım sırasında yüklenen ağırlıkları veya sırasında gradyan alan ağırlıkları anlamına gelebilir. TinyVLA her ikisini de rapor eder ve aradaki fark büyüktür: TinyVLA-H toplamda 1.3 B'dir ancak 143 M eğitilebilir, çünkü LoRA adaptörleri ve eylem başlığı hareket ederken görüş kulesi ve dil modelinin çoğu donmuş kalır. Makale, eğitilebilir payı yaklaşık yüzde 5 olarak belirtir.

İki satır tartışmaya değer. yaklaşık 80 M ile buradaki diğer her şeyden daha küçüktür ancak dil modeli yoktur, bu yüzden bir VLA değildir: tek bir görevi öğrenir ve başka bir görev yapması söylenemez. 27 M ile bir LLM omurgası yerine bir T5-Base metin kodlayıcı aracılığıyla koşullandırılmıştır. İyi temel modellerdir, ancak hiçbiri etiketin ima ettiği talimat takibini sağlamaz.

TinyVLA: hız baştan gelir, omurgadan değil

Açıkça anlaşılan, dil modelini küçülttükleri için daha hızlı hale geldiğidir. Makalenin ablasyonu ise aksini söylüyor. OpenVLA'nın 7 B'lik omurgasını yaklaşık 1 B'lik bir omurga ile değiştirmek, eylem başına tahmini 292 ms'den 140 ms'ye düşürerek 2 kat kazanç sağladı. Karşılaştırılabilir bir parametre sayısına sahip TinyVLA-H, aynı kart üzerinde 14 ms'de çalışır. Diğer 10 katlık fark ise eylem başlığından kaynaklanıyor.

OpenVLA, eylemleri dil modeli başlığı aracılığıyla ayrık tokenler olarak, eylem boyutu başına bir tane olmak üzere, otoregresif olarak yayar. TinyVLA, tüm parçayı tek seferde üreten bir difüzyon kod çözücü ekler. Tablo V, TinyVLA-H'deki mimariyi gösterir ve aynı beş gerçek robot görevinde yalnızca başlığı değiştirir. Bu, her iki makalede de şu argüman için en net kanıttır: akış eşleştirme politikaları yapar ve Pi0'ın token kod çözmeden uzaklaşmasının nedeni.

TinyVLA'nın Başarıları

Çift kollu sıra, makalenin kendisinin verdiği sıkıcı bir açıklamaya sahip: OpenVLA, tamamen tek kollu verilerden oluşan Open X-Embodiment üzerinde önceden eğitilmiştir, bu nedenle iki kollu bir eylem alanı dağıtım dışıdır ve sıfır puan alır. Difüzyon politikası taban çizgisi, bu üç görevin ikisinde TinyVLA-H'yi yener. Arka plan Open X-Embodiment yazısında.

TinyVLA deposu, Ağustos 2026 itibarıyla

Makale iyi. Kod bir araştırma ürünü. Depo github.com/liyaxuanliyaxuan/TinyVLA; README'si kodun yayınlanma tarihini 17 Şubat 2025 ve son commit'i 11 Mart 2025 olarak belirtiyor. Bir makaleyi yeniden üretmek için uygun, ancak bakımı yapılan bir kütüphane istiyorsanız sorunlu.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA ayrıca LeRobot veri kümeleri okumaz. Biçimi ACT tarzı HDF5'tir: action, language_raw ve çoklu görünümlü görüntüler, joint_positions, qpos ve qvel içeren bir gözlem grubu. Depo, RLDS girişi için data_utils/rlds_to_h5py.py'yi içerir ve her görev, aloha_scripts/constants.py'de dataset_dir, episode_len ve camera_names ile manuel olarak kaydedilir. Eğer sizin bölümleriniz lerobot'tan veya masaüstü istemcisinden geldiyse, dönüştürme size aittir.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 sekiz kartlı bir düğüm varsayar. Bunu 1 olarak ayarlayın ve toplu iş boyutunu 32'nin oldukça altına düşürün. Tek GPU'lu bir varyant yukarı akışta gönderilmediğinden, komut 4090 üzerinde olduğu gibi çalıştırılamaz.
• --deepspeed scripts/zero2.json, üst düzey scripts dizininde olmayan bir dosyayı işaret ediyor. DeepSpeed yapılandırmaları llava-pythia/scripts/zero2.json adresinde bulunur. İlk çalıştırmanızdan önce yolu düzeltin.
• README, çıktı dizini adının llava_pythia içermesini ve LoRA etkinse lora içermesini gerektirir.
• Omurga ayrı bir indirmedir: lesjie/Llava-Pythia-400M, -700M veya -1.3B. lerobot/smolvla_base'i işaret ettiğiniz gibi bir politikayı işaret edebileceğiniz tek bir temel kontrol noktası yoktur.

SmolVLA: Bu öğleden sonra çalıştırabileceğiniz 1 B altı model

SmolVLA, bakımı yapılan bir kütüphane içinde aynı argümanı sunar. SmolVLM2-500M-Video-Instruct omurgasında 450 M parametreye sahiptir ve verimlilik, küçük olma iddiasından ziyade configuration_smolvla.py dosyasından okuyabileceğiniz ayarlardan gelir.

Ön eğitimde 4 GPU üzerinde 481 topluluk LeRobot veri seti, 22.9 K bölüm ve 10.6 M kare kullanıldı, 256'lık küresel bir parti ile 200000 adım atıldı; makale tüm projenin yaklaşık 30 K GPU saati sürdüğünü belirtiyor. Dikkat edilmesi gereken bir sayı: Hugging Face lansman blogu 487 derlenmiş veri seti derken, makalenin tablosu 481 diyor. Makalenin rakamını kullanıyor ve bu farklılığı işaretliyoruz.

Bir tesadüf yardımcı oluyor: SmolVLA makalesinin Meta-World tablosu, TinyVLA'nın kendi yayınlanmış sayılarını bir temel olarak içeriyor, bu sayede her iki model de bir tabloda yer alıyor; SmolVLA-0.45B 57.3'te, TinyVLA-H ise 31.6'da. Ayrıca SmolVLA'nın Pi0'dan yaklaşık yüzde 40 daha hızlı ve 6 kat daha az bellek kullanarak eğitildiğini bildiriyor. Tüm bunlar SmolVLA yazarlarından geliyor; arena girişi her değeri kaynağına bağlıyor.

SmolVLA zamanını nerede harcıyor

AY-Robots, SmolVLA'yı eylem adımı başına 245 ms ve ACT 20 ms olarak listeliyor, politika kataloğu. TinyVLA, eylem tahmini başına 14 ms bildiriyor. Bu sayılar karşılaştırılabilir değil ve onları öyleymiş gibi ele almak bu konuda en yaygın hatadır: bazıları bir ileri geçişi zamanlar, bazıları ise bu geçişi bir öbek boyunca eylem öbekleme amorti ettiğinde o geçişi bir öbek boyunca böler.

• SmolVLA, ileri geçiş başına 50 eylem yayar ve tüm 50 eylemi yürütür. Makalenin gerçek robotlarda kullandığı 30 fps'de, bir çıkarım yaklaşık 1.7 saniyelik hareketi kapsar.
• Asenkron çıkarım, mevcut öbek hala yürütülürken bir sonraki öbeği hesaplar: 9.7 s ortalama görev tamamlama süresi, 13.75 s senkron süreye karşı, yaklaşık yüzde 30 daha hızlı ve sabit 60 saniyelik bir pencerede 9'a karşı 19 alma-yerleştirme döngüsü.
• Başarı oranları daha iyi olmaktan ziyade karşılaştırılabilirdi; 78.3 senkron, 73.3 asenkron. Asenkron, doğruluk değil, verim sağlar.
• Öbekleme, hesaplama gecikmesini gizler, ağ gecikmesini değil ve 50 eyleme bağlı olduğu için politikayı daha az tepkisel hale getirir.

Tek bir tüketici kartında SmolVLA'yı ince ayar yapmak

Manuel yol, lerobot 0.6.1 üzerinde, 23 Ağustos 2026 itibarıyla mevcut PyPI sürümü. Aşağıdaki her şey, aynı gün alınan Hugging Face lerobot SmolVLA belgelerinden gelmektedir; rehberli sürüm daha naziktir.

1. 1
   lerobot'u smolvla eklentisiyle kurun

   SmolVLA bağımlılıkları isteğe bağlı bir eklentidir, temel kurulumun bir parçası değildir. Onsuz kurup ardından politika türünün neden bilinmediğini merak etmek, sıkça yaşanan yarım saatlik bir kayıptır.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Yeterli bölüme sahip bir veri kümesi edinin

   Belgeler yaklaşık 50 bölüm önermekte ve aynı görevin 25 bölümle yeterli olmadığını belirtmektedir. AY-Robots minimumu 30 olarak belirlemiştir. Kendi verilerinizi kaydedin veya veri kümesi dizininden başlayın.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   İnce ayarı başlatın

   lerobot kılavuzundaki komut, değiştirilmemiş haliyle. Belgeler, 20000 adımın tek bir A100 üzerinde yaklaşık 4 saat sürdüğünü belirtiyor. 24 GB'lık bir kartta daha uzun sürmesini bekleyin ve süreyi ölçün.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Sığana kadar yığın boyutunu düşürün

   batch_size=64 belgelenmiş bir örnektir, kartınız hakkında bir vaat değildir. Belgeler, yükleme süreleri kısa kaldığı sürece küçükten başlayıp artırmayı tavsiye eder.

   bash

   lerobot-train --help

5. 5
   Kontrol noktasını kola dağıtın

   Aynı kütüphane, tek komut. Gerçek zamanlı parçalama bayrakları belgelerde yorum satırı yapılmıştır ve düşük güçlü donanımlarda başvurulması gerekenlerdir.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Küçük bir VLA'yı bir kola yerleştirmenin iki yolu

Küçük bir modelin yanlış seçim olduğu durumlar

Her iki makale de özetlerden daha dikkatli. TinyVLA'nın hata analizi spesifik: 0.4 B varyantı, talimatı yanlış okuyarak üç kez başarısız oldu; yazarlar bunu daha küçük VLM'deki sınırlı dil anlama yeteneğine bağlıyor ve bu mod 1.3 B'de ortadan kalktı. SmolVLA aynı eğriyi diğer uçtan gösteriyor: aynı mimarinin 2.25 B sürümü LIBERO'da 88.75 ve Meta-World'de 68.24 puan alırken, 0.45 B model için bu değerler 87.3 ve 57.3.

Yapmaya değer karşılaştırma TinyVLA ile SmolVLA arasında değil. Kendi görevinizde SmolVLA ile ACT, ve SmolVLA makalesi bunun nedenini açıklıyor. Robotik ön eğitimi olmadan tek görevli olarak eğitilen SmolVLA, tek görevli ACT'nin 48.3 puan aldığı üç SO-100 görevinde ortalama 40.0 puan aldı. Onu 78.3'e çıkaran şey, yalnızca mimari değil, topluluk ön eğitimi ve çok görevli eğitimdir. SO-101 lego görevinde, her ikisi de tek görevli olmak üzere, SmolVLA kazanıyor: dağılımda 70'e karşı 90. Ardından bütçe izin verirse SmolVLA ile Pi0.5.

Üzerine hareket edebileceğiniz bir karar tablosu

Son sıra için, canlı kol tarayıcıdan hesap olmadan kontrol edebileceğiniz fiziksel bir SO-100 yayınlar ve başlamak için üç yol geri kalanını kapsar. SO-100 burada referans koldur, parçaları yaklaşık 110 ila 150 EUR tutarındadır ve tam kurulum kılavuzu mevcuttur.

1 milyar altı modellerden sonra ne geliyor

Parametre sayısını küçültmek, bir VLA'yı ucuz hale getirmenin bir yoludur ve açıkça kazanan yol değildir. OpenVLA-OFT (arXiv 2502.19645) 7 milyar omurgayı korur ve yalnızca eylemlerin nasıl çözüldüğünü değiştirir, eylem oluşturma veriminde 26 kat artış ve LIBERO'nun yüzde 76,5'ten yüzde 97,1'e yükseldiğini bildirir. BitVLA (arXiv 2506.07530) 1-bit BitNet b1.58 2B4T omurgasının her ağırlığını üçlü yapar, tam hassasiyetli OpenVLA-OFT ile eşleşirken 11.0 kat daha az bellek ve 4.4 kat daha düşük uçtan uca gecikme bildirir. X-VLA-0.9B (arXiv 2510.10274) akış eşleştirmesiyle 1 milyar sınırında yer alır.

Ortak nokta: gecikme, dil modelinde değil, eylem kod çözücüsündedir. Bir politikanın kaç parametresi olduğunu sormadan önce, eylemleri nasıl yaydığını sorun. Arena 85 model ve 332 sonuca sahiptir, her biri kaynağına bağlıdır; daha geniş bir genel bakış VLA girişimizde mevcuttur.