نماذج VLA الصغيرة: TinyVLA، SmolVLA وحالة أقل من مليار معلمة

تقريباً كل نموذج الرؤية واللغة والحركة الذي يُكتب عنه يفترض وجود بطاقة مركز بيانات. OpenVLA هو 7 مليارات معلمة. GR00T N1.7 و Pi0.5 يبلغان حوالي 3 مليارات ويريدان بطاقة A100 بسعة 80 جيجابايت للضبط الدقيق. إذا كانت البطاقة على مكتبك هي 4090، فإن هذه الفئة من النماذج بعيدة المنال.

تجادل ورقتان بحثيتان بأنك لا تحتاج إليها. يبني TinyVLA (arXiv 2409.12514، قُبلت من قبل IEEE Robotics and Automation Letters في فبراير 2025) نموذج VLA من أساس يتراوح من 400 مليون إلى 1.3 مليار معلمة بالإضافة إلى رأس حركة انتشار. SmolVLA (arXiv 2506.01844، قُدمت في 2 يونيو 2025) يشحن 450 مليون معلمة بأوزان مفتوحة وبيانات مفتوحة وسكريبت يعمل على بطاقة مستهلك واحدة. إليك ما قاسه كلاهما، وأين تتوقف حجة ما دون المليار معلمة عن الصمود.

ما الذي يعتبر فعلاً نموذج VLA صغيرًا

عدد المعلمات في بطاقة النموذج ليس رقمًا واحدًا. يمكن أن يعني إجمالي الأوزان، أو الأوزان المحملة عند الاستدلال، أو الأوزان التي تتلقى التدرجات أثناء . TinyVLA يبلغ عن كليهما، والفجوة كبيرة: TinyVLA-H يبلغ إجماليه 1.3 مليار ولكن 143 مليون قابل للتدريب، لأن برج الرؤية ومعظم نموذج اللغة يظلان مجمدين بينما تتحرك محولات LoRA ورأس الإجراء. تضع الورقة حصة التدريب عند حوالي 5 بالمائة.

هناك صفان يستحقان النقاش. بحوالي 80 مليون أصغر من أي شيء آخر هنا ولكنه لا يحتوي على نموذج لغوي، لذا فهو ليس VLA: يتعلم مهمة واحدة ولا يمكن إخباره بفعل مهمة أخرى. بحوالي 27 مليون يتم تكييفه من خلال مشفر نص T5-Base، وليس عمودًا فقريًا لنموذج لغوي كبير (LLM). إنها خطوط أساس جيدة، ولكن لا يوفر أي منهما اتباع التعليمات التي يشير إليها الملصق.

TinyVLA: السرعة تأتي من الرأس، وليس من العمود الفقري

القراءة الواضحة هي أنهم جعلوا نموذج اللغة أصغر، فأصبح أسرع. لكن دراسة الإزالة في الورقة البحثية تقول عكس ذلك. استبدال العمود الفقري لـ OpenVLA بحجم 7 مليار بآخر بحجم 1 مليار تقريباً خفض التنبؤ لكل إجراء من 292 مللي ثانية إلى 140 مللي ثانية، أي مكسب بمقدار 2x. يعمل TinyVLA-H، بعدد معلمات مماثل، بسرعة 14 مللي ثانية على نفس البطاقة. الـ 10x الأخرى هي رأس الإجراء.

يُصدر OpenVLA الإجراءات كرموز منفصلة عبر رأس نموذج اللغة، رمز واحد لكل بُعد إجراء، بشكل تلقائي. يرفق TinyVLA مفكك تشفير انتشار ينتج الكتلة بأكملها دفعة واحدة. يوضح الجدول V البنية المعمارية لـ TinyVLA-H ويستبدل الرأس فقط، على نفس المهام الخمس للروبوت الحقيقي. إنه أوضح دليل في أي من الورقتين على الحجة التي تقدمها سياسات مطابقة التدفق، والسبب في أن Pi0 ابتعد عن فك تشفير الرموز.

ما حققه TinyVLA

الصف ثنائي اليد له تفسير ممل يقدمه البحث نفسه: OpenVLA تم تدريبه مسبقًا على Open X-Embodiment، والذي يتكون بالكامل من بيانات أحادية الذراع، لذا فإن مساحة العمل ثنائية الذراع خارج التوزيع وتحرز صفرًا. يتفوق خط الأساس لسياسة الانتشار على TinyVLA-H في اثنتين من تلك المهام الثلاث. خلفية في مقالة Open X-Embodiment.

مستودع TinyVLA، اعتبارًا من أغسطس 2026

الورقة البحثية جيدة. الكود هو إصدار بحثي. المستودع هو github.com/liyaxuanliyaxuan/TinyVLA؛ يشير ملف README الخاص به إلى تاريخ إصدار الكود في 17 فبراير 2025 وآخر تحديث في 11 مارس 2025. هذا جيد لإعادة إنتاج ورقة بحثية، ولكنه يمثل مشكلة إذا كنت تريد مكتبة يتم صيانتها.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA لا يقرأ أيضًا مجموعات بيانات LeRobot. تنسيقه هو HDF5 بنمط ACT: action، language_raw، ومجموعة ملاحظات (observations group) تحتوي على صور متعددة العرض، joint_positions، qpos و qvel. يتضمن المستودع ملف data_utils/rlds_to_h5py.py لإدخال RLDS، ويتم تسجيل كل مهمة يدويًا في aloha_scripts/constants.py مع dataset_dir و episode_len و camera_names الخاصة بها. إذا كانت الحلقات قادمة من lerobot أو عميل سطح المكتب، فأنت مسؤول عن التحويل.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 يفترض عقدة بثماني بطاقات. اضبطه على 1 وخفض حجم الدفعة إلى أقل بكثير من 32. لا يوجد إصدار أحادي GPU يتم شحنه في المصدر، لذا لا يمكن تشغيل الأمر حرفيًا على 4090.
• --deepspeed scripts/zero2.json يشير إلى ملف ليس في دليل scripts ذي المستوى الأعلى. يتم شحن إعدادات DeepSpeed في llava-pythia/scripts/zero2.json. قم بتصحيح المسار قبل تشغيلك الأول.
• يتطلب ملف README أن يحتوي اسم دليل الإخراج على llava_pythia، بالإضافة إلى lora إذا تم تمكين LoRA.
• العمود الفقري هو تنزيل منفصل: lesjie/Llava-Pythia-400M, -700M أو -1.3B. لا توجد نقطة تحقق أساسية واحدة توجه إليها سياسة بالطريقة التي توجه بها إلى lerobot/smolvla_base.

SmolVLA: النموذج الأقل من 1 مليار الذي يمكنك تشغيله بعد ظهر اليوم

يقدم SmolVLA نفس الحجة داخل مكتبة يتم صيانتها. يحتوي على 450 مليون معلمة على عمود فقري SmolVLM2-500M-Video-Instruct، وتأتي الكفاءة من الإعدادات التي يمكنك قراءتها من configuration_smolvla.py بدلاً من الادعاء بأنه صغير.

استخدم التدريب المسبق 481 مجموعة بيانات مجتمعية من LeRobot، و22.9 ألف حلقة و10.6 مليون إطار على 4 وحدات معالجة رسومية (GPUs)، و200000 خطوة بدفعة عالمية قدرها 256؛ وتشير الورقة إلى أن المشروع بأكمله استغرق حوالي 30 ألف ساعة من وحدات معالجة الرسوميات. رقم واحد يجب الانتباه إليه: مدونة إطلاق Hugging Face تقول 487 مجموعة بيانات منسقة بينما يشير جدول الورقة إلى 481. نستخدم الرقم الوارد في الورقة ونشير إلى هذا الاختلاف.

تساعد مصادفة واحدة: يحمل جدول Meta-World في ورقة SmolVLA أرقام TinyVLA المنشورة الخاصة بها كخط أساس، لذلك ولأول مرة يجلس كلا النموذجين في جدول واحد، SmolVLA-0.45B عند 57.3 مقابل TinyVLA-H عند 31.6. كما تشير إلى أن تدريب SmolVLA أسرع بنحو 40 بالمائة من Pi0 باستخدام ذاكرة أقل بمقدار 6 أضعاف. كل هذا يأتي من مؤلفي SmolVLA؛ مدخل الساحة يربط كل قيمة بمصدرها.

أين يقضي SmolVLA وقته

تدرج AY-Robots نموذج SmolVLA عند 245 مللي ثانية لكل خطوة عمل و ACT عند 20 مللي ثانية في كتالوج السياسات. يبلغ TinyVLA عن 14 مللي ثانية لكل تنبؤ بالعمل. هذه الأرقام غير قابلة للمقارنة، والتعامل معها كما لو كانت كذلك هو الخطأ الأكثر شيوعًا في هذا الموضوع: بعضها يقيس وقت تمريرة أمامية واحدة، وبعضها يقسم تلك التمريرة عبر جزء بمجرد أن تجزئة الإجراءات تستهلكها.

• يصدر SmolVLA 50 إجراءً لكل تمريرة أمامية وينفذ جميعها. عند 30 إطارًا في الثانية التي تستخدمها الورقة على الروبوتات الحقيقية، يغطي استنتاج واحد حوالي 1.7 ثانية من الحركة.
• يحسب الاستدلال غير المتزامن الجزء التالي بينما لا يزال الجزء الحالي قيد التنفيذ: 9.7 ثانية متوسط إنجاز المهمة مقابل 13.75 ثانية متزامن، أي أسرع بنحو 30 بالمائة، و 19 دورة التقاط ووضع في نافذة ثابتة مدتها 60 ثانية مقابل 9.
• كانت معدلات النجاح قابلة للمقارنة وليست أفضل، 78.3 متزامن مقابل 73.3 غير متزامن. عدم التزامن يشتري الإنتاجية، وليس الدقة.
• تخفي التجزئة زمن انتقال الحساب، وليس زمن انتقال الشبكة، وتجعل السياسة أقل تفاعلية لأنها ملتزمة بـ 50 إجراءً.

الضبط الدقيق لـ SmolVLA على بطاقة استهلاكية واحدة

المسار اليدوي، على lerobot 0.6.1، الإصدار الحالي من PyPI اعتبارًا من 23 أغسطس 2026. كل ما يلي يأتي من وثائق Hugging Face lerobot SmolVLA، التي تم جلبها في نفس اليوم؛ النسخة الموجهة أكثر لطفًا.

1. 1
   تثبيت lerobot مع إضافة smolvla

   تبعيات SmolVLA هي إضافة اختيارية، وليست جزءًا من التثبيت الأساسي. التثبيت بدونها ثم التساؤل عن سبب عدم معرفة نوع السياسة هو نصف ساعة ضائعة شائعة.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   احصل على مجموعة بيانات بعدد كافٍ من الحلقات

   توصي الوثائق بحوالي 50 حلقة وتذكر أن نفس المهمة بـ 25 حلقة لم تكن كافية. تحدد AY-Robots الحد الأدنى بـ 30. سجل بياناتك الخاصة، أو ابدأ من دليل مجموعات البيانات.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   ابدأ الضبط الدقيق

   الأمر من دليل lerobot، بدون تعديل. تشير الوثائق إلى أن 20000 خطوة تستغرق حوالي 4 ساعات على A100 واحدة. على بطاقة 24 جيجابايت، توقع وقتًا أطول وقم بقياسه.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   قلل حجم الدفعة حتى يناسب

   batch_size=64 هو مثال موثق، وليس وعدًا بشأن بطاقتك. تنصح الوثائق بالبدء بحجم صغير وزيادته مع بقاء أوقات التحميل قصيرة.

   bash

   lerobot-train --help

5. 5
   نشر نقطة التحقق على الذراع

   نفس المكتبة، أمر واحد. تم التعليق على علامات التقطيع في الوقت الفعلي في الوثائق وهي التي يجب استخدامها على الأجهزة منخفضة الطاقة.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

طريقتان لوضع VLA صغير على ذراع

عندما يكون النموذج الصغير هو الخيار الخاطئ

تتسم كلتا الورقتين البحثيتين بحذر أكبر هنا مما هو عليه الحال في الملخصات. تحليل فشل TinyVLA محدد: فشل المتغير 0.4 مليار ثلاث مرات بسبب سوء قراءة التعليمات، وهو ما يعزوه المؤلفون إلى محدودية فهم اللغة في نموذج VLM الأصغر، واختفى هذا النمط عند 1.3 مليار. يُظهر SmolVLA نفس المنحنى من الطرف الآخر: يسجل الإصدار 2.25 مليار من نفس البنية 88.75 على LIBERO و 68.24 على Meta-World مقابل 87.3 و 57.3 للنموذج 0.45 مليار.

المقارنة الجديرة بالتشغيل ليست TinyVLA مقابل SmolVLA. بل هي SmolVLA مقابل ACT في مهمتك الخاصة، وورقة SmolVLA هي الحجة لذلك. تم تدريب SmolVLA على مهمة واحدة بدون تدريب مسبق في الروبوتات، وحقق متوسط 40.0 عبر ثلاث مهام SO-100 حيث حقق ACT أحادي المهمة 48.3. ما يرفعه إلى 78.3 هو التدريب المسبق المجتمعي بالإضافة إلى التدريب متعدد المهام، وليس البنية وحدها. في مهمة ليغو SO-101، وكلاهما أحادي المهمة، يفوز SmolVLA: 90 مقابل 70 في التوزيع. ثم SmolVLA مقابل Pi0.5 إذا سمحت الميزانية.

جدول قرارات يمكنك العمل بناءً عليه

بالنسبة للصف الأخير، الذراع المباشر يبث ذراع SO-100 ماديًا يمكنك التحكم فيه من المتصفح بدون حساب، والطرق الثلاث للبدء تغطي البقية. الـ SO-100 هو الذراع المرجعي هنا، بتكلفة تتراوح تقريبًا بين 110 و 150 يورو في الأجزاء، مع دليل إعداد كامل.

ماذا يأتي بعد نماذج أقل من 1B

تقليل عدد المعلمات هو إحدى الطرق لجعل VLA رخيصًا وليس بالضرورة الطريقة الفائزة. OpenVLA-OFT (arXiv 2502.19645) يحافظ على البنية الأساسية ذات الـ 7 B معلمة ويغير فقط كيفية فك تشفير الإجراءات، مسجلًا زيادة 26 ضعفًا في إنتاجية توليد الإجراءات وارتفاع LIBERO من 76.5 إلى 97.1 بالمائة. BitVLA (arXiv 2506.07530) يجعل كل وزن في البنية الأساسية BitNet b1.58 2B4T ذات البت الواحد ثلاثيًا، مسجلًا ذاكرة أقل بمقدار 11.0x وزمن استجابة من طرف إلى طرف أقل بمقدار 4.4x مع مطابقة OpenVLA-OFT بدقة كاملة. X-VLA-0.9B (arXiv 2510.10274) يقع على خط الـ 1 B معلمة مع مطابقة التدفق.

الخيط المشترك: فك تشفير الإجراءات، وليس نموذج اللغة، هو مصدر زمن الاستجابة. اسأل كيف تصدر السياسة الإجراءات قبل أن تسأل عن عدد معلماتها. الـ الساحة تحتوي على 85 نموذجًا و 332 نتيجة، كل منها مرتبط بمصدره؛ وهناك نظرة عامة أوسع في مقدمتنا عن نماذج VLA.