چھوٹے VLA ماڈلز: TinyVLA, SmolVLA اور 1B سے کم کا معاملہ

تقریباً ہر ویژن-لینگویج-ایکشن ماڈل جس کے بارے میں لکھا جاتا ہے، ایک ڈیٹا سینٹر کارڈ فرض کرتا ہے۔ OpenVLA 7 ارب پیرامیٹرز پر مشتمل ہے۔ GR00T N1.7 اور Pi0.5 تقریباً 3 ارب ہیں اور انہیں فائن ٹیون کرنے کے لیے A100 80 GB کی ضرورت ہوتی ہے۔ اگر آپ کی میز پر موجود کارڈ 4090 ہے، تو اس قسم کا ماڈل آپ کی پہنچ سے باہر ہے۔

دو مقالے دلیل دیتے ہیں کہ آپ کو اس کی ضرورت نہیں ہے۔ TinyVLA (arXiv 2409.12514، جسے فروری 2025 میں IEEE Robotics and Automation Letters نے قبول کیا) 400 ملین سے 1.3 ارب بیک بون اور ایک ڈفیوژن ایکشن ہیڈ سے ایک VLA بناتا ہے۔ SmolVLA (arXiv 2506.01844، 2 جون 2025 کو جمع کرایا گیا) 450 ملین پیرامیٹرز کے ساتھ اوپن ویٹس، اوپن ڈیٹا اور ایک اسکرپٹ فراہم کرتا ہے جو ایک کنزیومر کارڈ پر چلتا ہے۔ یہاں وہ ہے جو دونوں نے ماپا، اور جہاں 1 ارب سے کم کا استدلال درست نہیں رہتا۔

اصل میں ایک چھوٹا VLA کیا کہلاتا ہے

ماڈل کارڈ پر پیرامیٹر کی گنتی ایک عدد نہیں ہوتی۔ اس کا مطلب کل وزن، انفرنس کے وقت لوڈ ہونے والے وزن، یا وہ وزن ہو سکتا ہے جو دورانِ ۔ TinyVLA دونوں کی اطلاع دیتا ہے، اور فرق بہت زیادہ ہے: TinyVLA-H کا کل وزن 1.3 B ہے لیکن 143 M قابلِ تربیت ہے، کیونکہ وژن ٹاور اور زیادہ تر لینگویج ماڈل منجمد رہتے ہیں جبکہ LoRA اڈاپٹرز اور ایکشن ہیڈ حرکت کرتے ہیں۔ مقالے میں قابلِ تربیت حصہ تقریباً 5 فیصد بتایا گیا ہے۔

دو قطاریں بحث کے قابل ہیں۔ تقریباً 80 M پر یہاں موجود ہر چیز سے چھوٹا ہے لیکن اس میں کوئی لینگویج ماڈل نہیں ہے، لہذا یہ VLA نہیں ہے: یہ ایک کام سیکھتا ہے اور اسے دوسرا کام کرنے کے لیے نہیں کہا جا سکتا۔ 27 M پر T5-Base ٹیکسٹ انکوڈر کے ذریعے کنڈیشنڈ ہے، نہ کہ LLM بیک بون کے ذریعے۔ اچھے بیس لائنز ہیں، لیکن دونوں میں سے کوئی بھی وہ ہدایات کی پیروی فراہم نہیں کرتا جو لیبل سے مراد ہے۔

TinyVLA: رفتار ہیڈ سے آتی ہے، نہ کہ بیک بون سے

واضح مطلب یہ ہے کہ انہوں نے لینگویج ماڈل کو چھوٹا کیا، اس لیے یہ تیز ہو گیا۔ پیپر کا ایبلیشن اس کے برعکس کہتا ہے۔ OpenVLA کے 7 B بیک بون کو تقریباً 1 B والے سے تبدیل کرنے سے فی ایکشن کی پیش گوئی 292 ms سے کم ہو کر 140 ms رہ گئی، جو کہ 2 گنا اضافہ ہے۔ TinyVLA-H، ایک موازنہ پیرامیٹر کاؤنٹ پر، اسی کارڈ پر 14 ms پر چلتا ہے۔ باقی 10 گنا ایکشن ہیڈ کی وجہ سے ہے۔

OpenVLA لینگویج ماڈل ہیڈ کے ذریعے، ہر ایکشن ڈائمینشن کے لیے ایک، خودکار طریقے سے ڈسکریٹائزڈ ٹوکنز کے طور پر ایکشنز خارج کرتا ہے۔ TinyVLA ایک ڈفیوژن ڈیکوڈر منسلک کرتا ہے جو پورے چنک کو ایک ہی بار میں تیار کرتا ہے۔ ٹیبل V TinyVLA-H پر آرکیٹیکچر کو ظاہر کرتا ہے اور اسی پانچ حقیقی روبوٹ ٹاسکس پر صرف ہیڈ کو تبدیل کرتا ہے۔ یہ دونوں پیپرز میں اس دلیل کا سب سے واضح ثبوت ہے جو فلو میچنگ پالیسیاں بناتی ہیں، اور اس کی وجہ Pi0 ٹوکن ڈی کوڈنگ سے ہٹ گیا۔

TinyVLA نے کیا اسکور کیا

بائی مینول قطار کی ایک بورنگ وضاحت ہے جو پیپر خود دیتا ہے: OpenVLA کو Open X-Embodiment پر پری ٹرین کیا گیا ہے، جو مکمل طور پر سنگل آرم ڈیٹا پر مشتمل ہے، لہذا دو آرم ایکشن اسپیس ڈسٹری بیوشن سے باہر ہے اور اس کا سکور صفر ہے۔ ڈفیوژن پالیسی بیس لائن ان تین میں سے دو کاموں پر TinyVLA-H کو ہرا دیتی ہے۔ مزید معلومات کے لیے اوپن ایکس-ایمباڈیمنٹ کی تحریر.

TinyVLA ریپو، اگست 2026 تک

یہ پیپر اچھا ہے۔ کوڈ ایک ریسرچ ڈراپ ہے۔ ریپوزٹری github.com/liyaxuanliyaxuan/TinyVLA ہے؛ اس کی README کوڈ کی ریلیز کی تاریخ 17 فروری 2025 اور آخری کمٹ 11 مارچ 2025 بتاتی ہے۔ یہ ایک پیپر کو دوبارہ تیار کرنے کے لیے ٹھیک ہے، لیکن اگر آپ ایک برقرار رکھی گئی لائبریری چاہتے ہیں تو یہ ایک مسئلہ ہے۔

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA LeRobot ڈیٹا سیٹس بھی نہیں پڑھتا۔ اس کا فارمیٹ ACT-اسٹائل HDF5 ہے: ایکشن، language_raw، اور ایک آبزرویشنز گروپ جس میں ملٹی ویو امیجز، joint_positions، qpos اور qvel شامل ہیں۔ ریپو RLDS ان پٹ کے لیے data_utils/rlds_to_h5py.py فراہم کرتا ہے، اور ہر ٹاسک کو aloha_scripts/constants.py میں اس کے dataset_dir، episode_len اور camera_names کے ساتھ دستی طور پر رجسٹر کیا جاتا ہے۔ اگر آپ کے ایپیسوڈز lerobot یا ڈیسک ٹاپ کلائنٹ سے آئے ہیں، تو آپ کو کنورژن خود کرنا ہوگا۔

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 ایک آٹھ کارڈ والے نوڈ کو فرض کرتا ہے۔ اسے 1 پر سیٹ کریں اور بیچ سائز کو 32 سے کافی نیچے کر دیں۔ کوئی سنگل-GPU ویرینٹ اپ اسٹریم نہیں بھیجا جاتا، لہذا کمانڈ کو 4090 پر لفظ بہ لفظ نہیں چلایا جا سکتا۔
• --deepspeed scripts/zero2.json ایک ایسی فائل کی طرف اشارہ کرتا ہے جو ٹاپ-لیول اسکرپٹس ڈائریکٹری میں نہیں ہے۔ DeepSpeed کنفگس llava-pythia/scripts/zero2.json پر بھیجے جاتے ہیں۔ اپنی پہلی رن سے پہلے پاتھ کو درست کریں۔
• README کا تقاضا ہے کہ آؤٹ پٹ ڈائریکٹری کے نام میں llava_pythia شامل ہو، نیز lora اگر LoRA فعال ہو۔
• بیک بون ایک علیحدہ ڈاؤن لوڈ ہے: lesjie/Llava-Pythia-400M, -700M یا -1.3B۔ کوئی ایک بیس چیک پوائنٹ نہیں ہے جس کی طرف آپ ایک پالیسی کو اس طرح اشارہ کریں جس طرح آپ lerobot/smolvla_base کی طرف اشارہ کرتے ہیں۔

SmolVLA: وہ سب-1 B ماڈل جسے آپ آج دوپہر چلا سکتے ہیں

SmolVLA ایک برقرار رکھی گئی لائبریری کے اندر وہی دلیل پیش کرتا ہے۔ یہ SmolVLM2-500M-Video-Instruct بیک بون پر 450 M پیرامیٹرز پر مشتمل ہے، اور کارکردگی ان سیٹنگز سے آتی ہے جو آپ configuration_smolvla.py سے پڑھ سکتے ہیں نہ کہ چھوٹے ہونے کے دعوے سے۔

پری ٹریننگ میں 481 کمیونٹی LeRobot ڈیٹا سیٹس، 22.9 K ایپی سوڈز اور 10.6 M فریمز 4 GPUs پر استعمال کیے گئے، 200000 سٹیپس 256 کے گلوبل بیچ پر؛ پیپر کے مطابق یہ پورا پروجیکٹ تقریباً 30 K GPU گھنٹوں کا ہے۔ ایک قابلِ غور تعداد: Hugging Face کے لانچ بلاگ میں 487 کیوریٹڈ ڈیٹا سیٹس کا ذکر ہے جبکہ پیپر کی ٹیبل میں 481 درج ہے۔ ہم پیپر کی تعداد استعمال کرتے ہیں اور اس اختلاف کو نمایاں کرتے ہیں۔

ایک اتفاق مددگار ثابت ہوتا ہے: SmolVLA پیپر کی میٹا ورلڈ ٹیبل میں TinyVLA کے اپنے شائع شدہ اعداد و شمار کو ایک بیس لائن کے طور پر شامل کیا گیا ہے، لہٰذا اس بار دونوں ماڈلز ایک ہی ٹیبل میں موجود ہیں، SmolVLA-0.45B 57.3 پر TinyVLA-H کے مقابلے میں 31.6 پر۔ یہ بھی رپورٹ کیا گیا ہے کہ SmolVLA کی تربیت Pi0 کے مقابلے میں تقریباً 40 فیصد تیزی سے اور 6 گنا کم میموری پر ہوتی ہے۔ یہ سب SmolVLA کے مصنفین کی طرف سے ہے؛ ارینا اندراج ہر قدر کو اس کے ماخذ سے جوڑتا ہے۔

SmolVLA اپنا وقت کہاں صرف کرتا ہے

AY-Robots SmolVLA کو 245 ms فی ایکشن سٹیپ اور ACT کو 20 ms پر پالیسی کیٹلاگ میں درج کرتا ہے۔ TinyVLA فی ایکشن پیش گوئی 14 ms رپورٹ کرتا ہے۔ یہ اعداد و شمار موازنہ کے قابل نہیں ہیں، اور انہیں ایسا سمجھنا اس موضوع میں سب سے عام غلطی ہے: کچھ ایک فارورڈ پاس کا وقت لیتے ہیں، کچھ اس پاس کو ایک چنک میں تقسیم کرتے ہیں جب ایکشن چنکنگ اسے امارٹائز کرتا ہے۔

• SmolVLA فی فارورڈ پاس 50 ایکشنز خارج کرتا ہے اور تمام 50 کو انجام دیتا ہے۔ 30 fps پر جو پیپر حقیقی روبوٹس پر استعمال کرتا ہے، ایک انفرنس تقریباً 1.7 سیکنڈ کی حرکت کا احاطہ کرتا ہے۔
• غیر ہم وقت ساز انفرنس اگلے چنک کا حساب لگاتا ہے جبکہ موجودہ چنک ابھی بھی عمل میں ہوتا ہے: 9.7 سیکنڈ اوسط ٹاسک تکمیل بمقابلہ 13.75 سیکنڈ ہم وقت ساز، تقریباً 30 فیصد تیز، اور 60 سیکنڈ کی مقررہ ونڈو میں 19 پک اینڈ پلیس سائیکل بمقابلہ 9۔
• کامیابی کی شرح بہتر ہونے کے بجائے موازنہ کے قابل تھی، 78.3 ہم وقت ساز بمقابلہ 73.3 غیر ہم وقت ساز۔ غیر ہم وقت سازی تھرو پٹ خریدتی ہے، درستگی نہیں۔
• چنکنگ کمپیوٹ لیٹنسی کو چھپاتی ہے، نیٹ ورک لیٹنسی کو نہیں، اور یہ پالیسی کو کم رد عمل والا بناتی ہے کیونکہ یہ 50 ایکشنز کے لیے پرعزم ہے۔

ایک کنزیومر کارڈ پر SmolVLA کی فائن ٹیوننگ

دستی راستہ، lerobot 0.6.1 پر، جو 23 اگست 2026 تک موجودہ PyPI ریلیز ہے۔ نیچے دی گئی تمام معلومات Hugging Face lerobot SmolVLA دستاویزات سے لی گئی ہیں، جو اسی دن حاصل کی گئی تھیں؛ گائیڈڈ ورژن زیادہ نرم ہے۔

1. 1
   lerobot کو smolvla ایکسٹرا کے ساتھ انسٹال کریں

   SmolVLA کی ڈیپینڈنسز ایک اختیاری اضافی ہیں، جو بنیادی انسٹالیشن کا حصہ نہیں ہیں۔ اس کے بغیر انسٹال کرنا اور پھر یہ سوچنا کہ پالیسی کی قسم نامعلوم کیوں ہے، آدھا گھنٹہ ضائع کرنے کا ایک عام طریقہ ہے۔

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   کافی ایپی سوڈز کے ساتھ ایک ڈیٹا سیٹ حاصل کریں

   دستاویزات تقریباً 50 ایپی سوڈز کی سفارش کرتی ہیں اور بتاتی ہیں کہ 25 ایپی سوڈز کے ساتھ وہی کام کافی نہیں تھا۔ AY-Robots کم از کم 30 مقرر کرتا ہے۔ اپنے خود کے ریکارڈ کریں، یا ڈیٹا سیٹ ڈائریکٹری سے شروع کریں۔

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   فائن ٹیون شروع کریں

   lerobot گائیڈ سے کمانڈ، بغیر کسی تبدیلی کے۔ دستاویزات کے مطابق 20000 سٹیپس ایک A100 پر تقریباً 4 گھنٹے لگتے ہیں۔ 24 GB کارڈ پر، زیادہ وقت کی توقع کریں اور اسے ماپیں۔

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   بیچ سائز کو اس وقت تک کم کریں جب تک کہ وہ فٹ نہ ہو جائے

   batch_size=64 ایک دستاویزی مثال ہے، آپ کے کارڈ کے بارے میں کوئی وعدہ نہیں۔ دستاویزات چھوٹے سے شروع کرنے اور لوڈنگ کے اوقات کم رہنے تک بڑھانے کا مشورہ دیتی ہیں۔

   bash

   lerobot-train --help

5. 5
   چیک پوائنٹ کو بازو پر رول آؤٹ کریں

   وہی لائبریری، ایک کمانڈ۔ ریئل ٹائم چنکنگ فلیگز دستاویزات میں کمنٹ آؤٹ کیے گئے ہیں اور کم طاقت والے ہارڈویئر پر ان تک پہنچنے والے ہیں۔

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

ایک چھوٹے VLA کو بازو پر حاصل کرنے کے دو طریقے

جب ایک چھوٹا ماڈل غلط انتخاب ہو

دونوں مقالے خلاصوں کے مقابلے میں یہاں زیادہ محتاط ہیں۔ TinyVLA کی ناکامی کا تجزیہ مخصوص ہے: 0.4 B ویرینٹ نے ہدایت کو غلط پڑھنے کی وجہ سے تین بار ناکامی کا سامنا کیا، جسے مصنفین نے چھوٹے VLM میں محدود لسانی فہم سے منسوب کیا، اور یہ موڈ 1.3 B پر غائب ہو گیا۔ SmolVLA دوسری طرف سے وہی وکر دکھاتا ہے: یکساں فن تعمیر کا 2.25 B ورژن LIBERO پر 88.75 اور Meta-World پر 68.24 اسکور کرتا ہے، جبکہ 0.45 B ماڈل کے لیے یہ 87.3 اور 57.3 ہے۔

جس موازنے کو چلانا قابل قدر ہے وہ TinyVLA بمقابلہ SmolVLA نہیں ہے۔ یہ SmolVLA بمقابلہ ACT آپ کے اپنے کام پر ہے، اور SmolVLA کا مقالہ اس کی دلیل ہے۔ روبوٹکس پری ٹریننگ کے بغیر سنگل ٹاسک پر تربیت یافتہ، SmolVLA نے تین SO-100 کاموں میں اوسطاً 40.0 اسکور کیا جہاں سنگل ٹاسک ACT نے 48.3 حاصل کیا۔ جو چیز اسے 78.3 تک لے جاتی ہے وہ کمیونٹی پری ٹریننگ اور ملٹی ٹاسک ٹریننگ ہے، نہ کہ صرف فن تعمیر۔ SO-101 لیگو ٹاسک پر، دونوں سنگل ٹاسک، SmolVLA جیتتا ہے: تقسیم میں 70 کے مقابلے میں 90۔ پھر SmolVLA بمقابلہ Pi0.5 اگر بجٹ اجازت دیتا ہے۔

ایک فیصلہ کن جدول جس پر آپ عمل کر سکتے ہیں

آخری قطار کے لیے، لائیو آرم ایک فزیکل SO-100 کو سٹریم کرتا ہے جسے آپ براؤزر سے بغیر کسی اکاؤنٹ کے چلا سکتے ہیں، اور شروع کرنے کے تین طریقے باقی کا احاطہ کرتے ہیں۔ SO-100 یہاں ریفرنس آرم ہے، جس کے پرزوں کی قیمت تقریباً 110 سے 150 یورو ہے، ساتھ میں ایک مکمل سیٹ اپ گائیڈ.

سب-1 B ماڈلز کے بعد کیا آتا ہے

پیرامیٹر کی گنتی کو کم کرنا VLA کو سستا بنانے کا ایک طریقہ ہے اور یہ واضح طور پر جیتنے والا طریقہ نہیں ہے۔ OpenVLA-OFT (arXiv 2502.19645) 7 B بیک بون کو برقرار رکھتا ہے اور صرف اس بات کو تبدیل کرتا ہے کہ اعمال کو کیسے ڈی کوڈ کیا جاتا ہے، جس میں ایکشن جنریشن تھرو پٹ میں 26 گنا اضافہ اور LIBERO میں 76.5 سے 97.1 فیصد تک اضافہ رپورٹ کیا گیا ہے۔ BitVLA (arXiv 2506.07530) 1-بٹ BitNet b1.58 2B4T بیک بون کے ہر وزن کو ٹرنری بناتا ہے، جس میں 11.0 گنا کم میموری اور 4.4 گنا کم اینڈ ٹو اینڈ لیٹنسی رپورٹ کی گئی ہے جبکہ یہ مکمل درستگی والے OpenVLA-OFT سے مماثل ہے۔ X-VLA-0.9B (arXiv 2510.10274) فلو میچنگ کے ساتھ 1 B لائن پر موجود ہے۔

مشترکہ نکتہ: ایکشن ڈیکوڈر، نہ کہ لینگویج ماڈل، وہ جگہ ہے جہاں لیٹنسی رہتی ہے۔ یہ پوچھنے سے پہلے کہ کسی پالیسی میں کتنے پیرامیٹرز ہیں، یہ پوچھیں کہ وہ اعمال کیسے خارج کرتی ہے۔ ارینا میں 85 ماڈلز اور 332 نتائج ہیں، ہر ایک اپنے ماخذ سے منسلک ہے؛ ایک وسیع تر جائزہ ہماری VLA تعارف میں ہے۔