مدل‌های کوچک VLA: TinyVLA, SmolVLA و مورد زیر ۱ میلیارد پارامتر

تقریباً هر مدل بینایی-زبان-عمل که در مورد آن نوشته می‌شود، یک کارت دیتاسنتر را فرض می‌کند. OpenVLA دارای ۷ میلیارد پارامتر است. GR00T N1.7 و Pi0.5 حدود ۳ میلیارد پارامتر دارند و برای تنظیم دقیق به یک A100 80 GB نیاز دارند. اگر کارت روی میز شما یک ۴۰۹۰ است، آن دسته از مدل‌ها خارج از دسترس هستند.

دو مقاله استدلال می‌کنند که به آن نیازی ندارید. TinyVLA (arXiv 2409.12514، پذیرفته شده توسط IEEE Robotics and Automation Letters در فوریه ۲۰۲۵) یک VLA را از یک ستون فقرات ۴۰۰ میلیون تا ۱.۳ میلیارد پارامتری به همراه یک سر عمل انتشار (diffusion action head) می‌سازد. SmolVLA (arXiv 2506.01844، ارسال شده در ۲ ژوئن ۲۰۲۵) ۴۵۰ میلیون پارامتر را با وزن‌های باز، داده‌های باز و یک اسکریپت که روی یک کارت مصرف‌کننده اجرا می‌شود، ارائه می‌دهد. در اینجا آنچه هر دو اندازه‌گیری کردند، و جایی که استدلال زیر ۱ میلیارد پارامتر دیگر معتبر نیست، آورده شده است.

چه چیزی واقعاً به عنوان یک VLA کوچک محسوب می‌شود

تعداد پارامترها در کارت مدل یک عدد واحد نیست. این می‌تواند به معنای وزن‌های کلی، وزن‌های بارگذاری شده در زمان استنتاج، یا وزن‌هایی باشد که در طول . TinyVLA هر دو را گزارش می‌کند و این شکاف بزرگ است: TinyVLA-H در مجموع 1.3 میلیارد پارامتر دارد اما 143 میلیون آن قابل آموزش است، زیرا برج بینایی و بیشتر مدل زبان ثابت می‌مانند در حالی که آداپتورهای LoRA و سر عمل حرکت می‌کنند. مقاله سهم قابل آموزش را حدود 5 درصد ذکر می‌کند.

دو ردیف ارزش بحث دارند. با تقریباً 80 میلیون پارامتر از هر چیز دیگری در اینجا کوچکتر است اما مدل زبان ندارد، بنابراین یک VLA نیست: یک وظیفه را یاد می‌گیرد و نمی‌توان به آن گفت که کار دیگری انجام دهد. با 27 میلیون پارامتر از طریق یک رمزگذار متن T5-Base شرطی شده است، نه یک بک‌بون LLM. اینها خطوط مبنای خوبی هستند، اما هیچ‌کدام از آنها دستورالعمل‌هایی را که برچسب نشان می‌دهد، ارائه نمی‌دهند.

TinyVLA: سرعت از سرچشمه می‌گیرد، نه از ستون فقرات

برداشت واضح این است که آن‌ها مدل زبان را کوچک‌تر کرده‌اند، بنابراین سریع‌تر شده است. اما بررسی حذف اجزا در مقاله خلاف این را می‌گوید. جایگزینی ستون فقرات 7 B مدل OpenVLA با یک ستون فقرات تقریباً 1 B، پیش‌بینی هر عمل را از 292 ms به 140 ms کاهش داد که یک افزایش 2 برابری است. TinyVLA-H، با تعداد پارامترهای مشابه، با سرعت 14 ms روی همان کارت اجرا می‌شود. 10 برابر دیگر مربوط به سر عمل (action head) است.

OpenVLA اعمال را به صورت توکن‌های گسسته از طریق سر مدل زبان، یکی برای هر بعد عمل، به صورت خودرگرسیو منتشر می‌کند. TinyVLA یک رمزگشای انتشار (diffusion decoder) متصل می‌کند که کل قطعه را در یک مرحله تولید می‌کند. جدول V معماری TinyVLA-H را نشان می‌دهد و تنها سر را در همان پنج وظیفه ربات واقعی تعویض می‌کند. این واضح‌ترین مدرک در هر دو مقاله برای استدلال تطبیق جریان سیاست‌ها ایجاد می‌کنند، و دلیل اینکه Pi0 از رمزگشایی توکن فاصله گرفت.

عملکرد TinyVLA

ردیف دو دستی توضیحی خسته‌کننده دارد که خود مقاله ارائه می‌دهد: OpenVLA بر روی Open X-Embodiment از پیش آموزش دیده است، که به طور کامل از داده‌های تک‌بازو تشکیل شده است، بنابراین فضای عمل دو بازو خارج از توزیع است و امتیاز آن صفر می‌شود. خط پایه سیاست انتشار (diffusion policy) در دو مورد از آن سه وظیفه، TinyVLA-H را شکست می‌دهد. پیش‌زمینه در نوشتار Open X-Embodiment.

مخزن TinyVLA، تا آگوست 2026

مقاله خوب است. کد یک نسخه تحقیقاتی است. مخزن github.com/liyaxuanliyaxuan/TinyVLA است؛ فایل README آن تاریخ انتشار کد را 17 فوریه 2025 و آخرین کامیت را 11 مارس 2025 نشان می‌دهد. برای بازتولید یک مقاله خوب است، اما اگر یک کتابخانه نگهداری شده می‌خواستید، مشکل‌ساز است.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA همچنین مجموعه‌داده‌های LeRobot را نمی‌خواند. فرمت آن ACT-style HDF5 است: action، language_raw، و یک گروه مشاهدات با تصاویر چندنمایی، joint_positions، qpos و qvel. مخزن فایل data_utils/rlds_to_h5py.py را برای ورودی RLDS ارائه می‌دهد، و هر وظیفه به صورت دستی در aloha_scripts/constants.py با dataset_dir، episode_len و camera_names آن ثبت می‌شود. اگر اپیزودهای شما از lerobot یا کلاینت دسکتاپ آمده‌اند، مسئولیت تبدیل با شماست.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 فرض می‌کند یک گره هشت کارتی است. آن را روی 1 تنظیم کنید و اندازه بچ را به خوبی زیر 32 کاهش دهید. هیچ نسخه تک-GPU به صورت پیش‌فرض ارائه نمی‌شود، بنابراین دستور را نمی‌توان دقیقاً روی 4090 اجرا کرد.
• --deepspeed scripts/zero2.json به فایلی اشاره می‌کند که در دایرکتوری اصلی scripts نیست. تنظیمات DeepSpeed در llava-pythia/scripts/zero2.json قرار دارند. مسیر را قبل از اولین اجرای خود اصلاح کنید.
• README نیاز دارد که نام دایرکتوری خروجی شامل llava_pythia باشد، به علاوه lora اگر LoRA فعال باشد.
• بک‌بون یک دانلود جداگانه است: lesjie/Llava-Pythia-400M, -700M or -1.3B. هیچ نقطه بازرسی پایه واحدی وجود ندارد که شما یک policy را به آن اشاره کنید، به همان روشی که به lerobot/smolvla_base اشاره می‌کنید.

SmolVLA: مدل زیر 1 میلیارد پارامتر که می‌توانید امروز بعدازظهر اجرا کنید

SmolVLA همین استدلال را در یک کتابخانه نگهداری شده مطرح می‌کند. این مدل 450 میلیون پارامتر روی بک‌بون SmolVLM2-500M-Video-Instruct دارد، و کارایی آن از تنظیماتی ناشی می‌شود که می‌توانید از configuration_smolvla.py بخوانید، نه از ادعایی مبنی بر کوچک بودن.

پیش‌آموزش از 481 مجموعه داده جامعه LeRobot، 22.9 هزار اپیزود و 10.6 میلیون فریم روی 4 GPU، 200000 گام با یک بچ جهانی 256 استفاده کرد؛ مقاله کل پروژه را حدود 30 هزار ساعت GPU تخمین می‌زند. یک عدد قابل توجه: وبلاگ راه‌اندازی Hugging Face می‌گوید 487 مجموعه داده انتخاب شده، در حالی که جدول مقاله 481 را نشان می‌دهد. ما از رقم مقاله استفاده می‌کنیم و این اختلاف را علامت‌گذاری می‌کنیم.

یک اتفاق کمک‌کننده: جدول Meta-World مقاله SmolVLA اعداد منتشر شده TinyVLA را به عنوان یک خط مبنا در خود دارد، بنابراین برای یک بار هر دو مدل در یک جدول قرار می‌گیرند، SmolVLA-0.45B با 57.3 در مقابل TinyVLA-H با 31.6. همچنین گزارش می‌دهد که آموزش SmolVLA حدود 40 درصد سریع‌تر از Pi0 با 6 برابر حافظه کمتر است. همه اینها از نویسندگان SmolVLA می‌آید؛ مدخل آرنا هر مقدار را به منبع آن پیوند می‌دهد.

SmolVLA زمان خود را کجا صرف می‌کند

AY-Robots مدل SmolVLA را 245 میلی‌ثانیه در هر گام عملیاتی و ACT را 20 میلی‌ثانیه در کاتالوگ سیاست‌ها. TinyVLA 14 میلی‌ثانیه برای هر پیش‌بینی عمل گزارش می‌دهد. این اعداد قابل مقایسه نیستند و فرض بر قابل مقایسه بودن آنها رایج‌ترین اشتباه در این موضوع است: برخی زمان یک گذر رو به جلو را می‌سنجند، برخی آن گذر را بر روی یک تکه تقسیم می‌کنند زمانی که تکه‌بندی عمل آن را مستهلک می‌کند.

• SmolVLA در هر گذر رو به جلو 50 عمل را منتشر کرده و هر 50 عمل را اجرا می‌کند. با نرخ 30 فریم بر ثانیه که مقاله برای ربات‌های واقعی استفاده می‌کند، یک استنتاج حدود 1.7 ثانیه حرکت را پوشش می‌دهد.
• استنتاج ناهمزمان (Asynchronous inference) تکه بعدی را در حالی که تکه فعلی هنوز در حال اجراست محاسبه می‌کند: میانگین زمان تکمیل وظیفه 9.7 ثانیه در مقابل 13.75 ثانیه همزمان، تقریباً 30 درصد سریع‌تر، و 19 چرخه برداشت و قرار دادن (pick-and-place) در یک پنجره 60 ثانیه‌ای ثابت در مقابل 9 چرخه.
• نرخ‌های موفقیت قابل مقایسه بودند تا بهتر، 78.3 همزمان در مقابل 73.3 ناهمزمان. ناهمزمانی توان عملیاتی را افزایش می‌دهد، نه دقت را.
• تکه‌بندی تأخیر محاسباتی را پنهان می‌کند، نه تأخیر شبکه را، و سیاست را کمتر واکنش‌پذیر می‌کند زیرا به 50 عمل متعهد است.

تنظیم دقیق SmolVLA روی یک کارت مصرف‌کننده

مسیر دستی، روی lerobot 0.6.1، نسخه فعلی PyPI از 23 آگوست 2026. همه موارد زیر از مستندات Hugging Face lerobot SmolVLA، که در همان روز دریافت شده است، می‌آید؛ نسخه راهنما ملایم‌تر است.

1. 1
   نصب lerobot با افزونه smolvla

   وابستگی‌های SmolVLA یک افزونه اختیاری هستند و بخشی از نصب پایه نیستند. نصب بدون آن و سپس تعجب از اینکه چرا نوع خط‌مشی ناشناخته است، یک نیم ساعت رایج از دست رفته است.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   یک مجموعه داده با اپیزودهای کافی تهیه کنید

   مستندات حدود 50 اپیزود را توصیه می‌کنند و بیان می‌کنند که همان کار با 25 اپیزود کافی نبوده است. AY-Robots حداقل را 30 تعیین می‌کند. خودتان ضبط کنید، یا از دایرکتوری مجموعه داده شروع کنید.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   شروع تنظیم دقیق

   دستور از راهنمای lerobot، بدون تغییر. مستندات 20000 گام را تقریباً 4 ساعت روی یک A100 تخمین می‌زنند. روی یک کارت 24 گیگابایتی، زمان بیشتری انتظار داشته باشید و آن را اندازه‌گیری کنید.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   اندازه دسته را تا زمانی که جا شود کاهش دهید

   batch_size=64 یک مثال مستند است، نه یک تضمین در مورد کارت شما. مستندات توصیه می‌کنند که با مقدار کم شروع کرده و در حالی که زمان بارگذاری کوتاه می‌ماند، آن را افزایش دهید.

   bash

   lerobot-train --help

5. 5
   اجرای نقطه بازرسی روی بازو

   همان کتابخانه، یک دستور. پرچم‌های تکه‌تکه کردن بلادرنگ در مستندات کامنت شده‌اند و برای سخت‌افزارهای کم‌توان باید از آن‌ها استفاده کرد.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

دو راه برای قرار دادن یک VLA کوچک روی بازو

زمانی که یک مدل کوچک انتخاب اشتباهی است

هر دو مقاله در اینجا دقیق‌تر از خلاصه‌ها هستند. تحلیل شکست TinyVLA خاص است: نسخه 0.4 B سه بار با خواندن اشتباه دستورالعمل شکست خورد، که نویسندگان آن را به درک زبان محدود در VLM کوچک‌تر نسبت می‌دهند، و این حالت در 1.3 B ناپدید شد. SmolVLA همان منحنی را از انتهای دیگر نشان می‌دهد: نسخه 2.25 B از معماری یکسان در LIBERO امتیاز 88.75 و در Meta-World امتیاز 68.24 را کسب می‌کند در مقابل 87.3 و 57.3 برای مدل 0.45 B.

مقایسه‌ای که ارزش اجرا دارد، TinyVLA در برابر SmolVLA نیست. بلکه SmolVLA در برابر ACT در وظیفه خودتان است، و مقاله SmolVLA دلیل آن را توضیح می‌دهد. SmolVLA که به صورت تک‌وظیفه‌ای و بدون پیش‌آموزش رباتیک آموزش دیده بود، در سه وظیفه SO-100 به طور متوسط 40.0 امتیاز کسب کرد، در حالی که ACT تک‌وظیفه‌ای 48.3 امتیاز داشت. آنچه آن را به 78.3 می‌رساند، پیش‌آموزش جامعه به علاوه آموزش چندوظیفه‌ای است، نه فقط معماری. در وظیفه لگو SO-101، هر دو تک‌وظیفه‌ای، SmolVLA برنده می‌شود: 90 در برابر 70 در توزیع. سپس SmolVLA در برابر Pi0.5 اگر بودجه اجازه دهد.

یک جدول تصمیم‌گیری که می‌توانید بر اساس آن عمل کنید

برای ردیف آخر، بازوی زنده یک SO-100 فیزیکی را پخش می‌کند که می‌توانید بدون نیاز به حساب کاربری از مرورگر آن را کنترل کنید، و سه روش برای شروع بقیه را پوشش می‌دهد. این SO-100 بازوی مرجع در اینجا است، تقریباً 110 تا 150 یورو در قطعات، با یک راهنمای کامل راه‌اندازی.

چه چیزی پس از مدل‌های زیر 1 میلیارد پارامتر می‌آید

کاهش تعداد پارامترها یکی از راه‌های ارزان کردن VLA است و لزوماً راه برنده نیست. OpenVLA-OFT (arXiv 2502.19645) ستون فقرات 7 میلیارد پارامتری را حفظ می‌کند و تنها نحوه رمزگشایی اقدامات را تغییر می‌دهد، که افزایش 26 برابری در توان عملیاتی تولید اقدام و افزایش LIBERO از 76.5 به 97.1 درصد را گزارش می‌کند. BitVLA (arXiv 2506.07530) هر وزن از ستون فقرات 1 بیتی BitNet b1.58 2B4T را سه‌تایی می‌کند، که 11.0 برابر حافظه کمتر و 4.4 برابر تأخیر کمتر از ابتدا تا انتها را گزارش می‌کند، در حالی که با OpenVLA-OFT با دقت کامل مطابقت دارد. X-VLA-0.9B (arXiv 2510.10274) با تطبیق جریان در خط 1 میلیارد پارامتر قرار می‌گیرد.

نکته مشترک: رمزگشای اقدام، نه مدل زبان، جایی است که تأخیر وجود دارد. قبل از اینکه بپرسید یک سیاست چند پارامتر دارد، بپرسید چگونه اقدامات را منتشر می‌کند. این آرنا دارای 85 مدل و 332 نتیجه است که هر کدام به منبع خود پیوند داده شده‌اند؛ یک نمای کلی گسترده‌تر در معرفی VLA ما.