ছোট VLA মডেল: TinyVLA, SmolVLA এবং সাব-১বি কেস

প্রায় প্রতিটি ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেল যা নিয়ে লেখা হয়, তা একটি ডেটাসেন্টার কার্ড অনুমান করে। OpenVLA হল 7 বিলিয়ন প্যারামিটার। GR00T N1.7 এবং Pi0.5 প্রায় 3 বিলিয়ন এবং ফাইন-টিউন করার জন্য একটি A100 80 GB চায়। যদি আপনার ডেস্কে থাকা কার্ডটি একটি 4090 হয়, তবে সেই শ্রেণীর মডেল নাগালের বাইরে।

দুটি গবেষণাপত্র যুক্তি দেয় যে আপনার এটির প্রয়োজন নেই। TinyVLA (arXiv 2409.12514, ফেব্রুয়ারী 2025-এ IEEE রোবোটিক্স অ্যান্ড অটোমেশন লেটার্স দ্বারা গৃহীত) একটি 400 মিলিয়ন থেকে 1.3 বিলিয়ন ব্যাকবোন এবং একটি ডিফিউশন অ্যাকশন হেড থেকে একটি VLA তৈরি করে। SmolVLA (arXiv 2506.01844, 2 জুন 2025-এ জমা দেওয়া হয়েছে) 450 মিলিয়ন প্যারামিটার সহ ওপেন ওয়েট, ওপেন ডেটা এবং একটি স্ক্রিপ্ট সরবরাহ করে যা একটি ভোক্তা কার্ডে চলে। এখানে উভয়ই কী পরিমাপ করেছে এবং যেখানে সাব-1 বিলিয়ন যুক্তিটি আর কার্যকর থাকে না।

আসলে কী একটি ছোট VLA হিসাবে গণ্য হয়

একটি মডেল কার্ডে প্যারামিটার সংখ্যা একটি একক সংখ্যা নয়। এর অর্থ হতে পারে মোট ওজন, ইনফারেন্সের সময় লোড করা ওজন, অথবা যে ওজনগুলি গ্রেডিয়েন্ট পায় । TinyVLA উভয়ই রিপোর্ট করে, এবং পার্থক্যটি বড়: TinyVLA-H এর মোট 1.3 B কিন্তু 143 M প্রশিক্ষণযোগ্য, কারণ ভিশন টাওয়ার এবং বেশিরভাগ ভাষা মডেল স্থির থাকে যখন LoRA অ্যাডাপ্টার এবং অ্যাকশন হেড চলে। গবেষণাপত্রটি প্রশিক্ষণযোগ্য অংশকে প্রায় 5 শতাংশে রাখে।

দুটি সারি নিয়ে আলোচনা করা যেতে পারে। প্রায় 80 M এ এখানে অন্য সবকিছুর চেয়ে ছোট কিন্তু এর কোনো ভাষা মডেল নেই, তাই এটি একটি VLA নয়: এটি একটি কাজ শেখে এবং অন্য কোনো কাজ করতে বলা যায় না। 27 M এ একটি T5-Base টেক্সট এনকোডারের মাধ্যমে শর্তযুক্ত, LLM ব্যাকবোন নয়। ভালো বেসলাইন, কোনটিই আপনাকে লেবেল দ্বারা বোঝানো নির্দেশাবলী অনুসরণ করতে দেয় না।

TinyVLA: গতি আসে হেড থেকে, ব্যাকবোন থেকে নয়

সাধারণ ধারণা হলো তারা ল্যাঙ্গুয়েজ মডেলকে ছোট করেছে, তাই এটি দ্রুত হয়েছে। তবে গবেষণাপত্রের অ্যাবলেশন ভিন্ন কথা বলে। OpenVLA-এর 7 B ব্যাকবোনকে প্রায় 1 B ব্যাকবোন দিয়ে প্রতিস্থাপন করলে প্রতি-অ্যাকশন ভবিষ্যদ্বাণী 292 ms থেকে 140 ms-এ নেমে আসে, যা 2x গতি বৃদ্ধি। তুলনীয় প্যারামিটার সংখ্যা সহ TinyVLA-H একই কার্ডে 14 ms-এ চলে। বাকি 10x গতি আসে অ্যাকশন হেড থেকে।

OpenVLA ল্যাঙ্গুয়েজ মডেল হেডের মাধ্যমে ডিসক্রিটাইজড টোকেন হিসাবে অ্যাকশন নির্গত করে, প্রতি অ্যাকশন ডাইমেনশনের জন্য একটি করে, অটোরেগ্রেসিভভাবে। TinyVLA একটি ডিফিউশন ডিকোডার সংযুক্ত করে যা পুরো অংশটি একবারে তৈরি করে। সারণী V-তে TinyVLA-H-এর আর্কিটেকচার রয়েছে এবং একই পাঁচটি বাস্তব-রোবট টাস্কে শুধুমাত্র হেড পরিবর্তন করা হয়েছে। এটি উভয় গবেষণাপত্রে এই যুক্তির জন্য সবচেয়ে পরিষ্কার প্রমাণ যে ফ্লো ম্যাচিং পলিসি তৈরি করে, এবং এর কারণ Pi0 টোকেন ডিকোডিং থেকে সরে এসেছে।

TinyVLA কী স্কোর করেছে

দ্বি-ম্যানুয়াল সারির একটি বিরক্তিকর ব্যাখ্যা রয়েছে যা কাগজটি নিজেই দেয়: OpenVLA Open X-Embodiment-এ প্রাক-প্রশিক্ষিত, যা সম্পূর্ণরূপে একক-আর্ম ডেটা নিয়ে গঠিত, তাই একটি দুই-আর্ম অ্যাকশন স্পেস বিতরণের বাইরে এবং এটি শূন্য স্কোর করে। ডিফিউশন পলিসি বেসলাইন সেই তিনটি কাজের মধ্যে দুটিতে TinyVLA-H কে হারিয়েছে। পটভূমি Open X-Embodiment লেখাটিতে.

TinyVLA রেপো, আগস্ট 2026 অনুযায়ী

কাগজটি ভালো। কোডটি একটি গবেষণা ড্রপ। রিপোজিটরি হল github.com/liyaxuanliyaxuan/TinyVLA; এর README কোড প্রকাশের তারিখ 17 ফেব্রুয়ারি 2025 এবং শেষ কমিট 11 মার্চ 2025। একটি কাগজ পুনরুৎপাদনের জন্য ঠিক আছে, কিন্তু যদি আপনি একটি রক্ষণাবেক্ষণ করা লাইব্রেরি চান তবে এটি একটি সমস্যা।

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA LeRobot ডেটাসেটও পড়ে না। এর ফরম্যাট হল ACT-স্টাইলের HDF5: action, language_raw, এবং multi-view images, joint_positions, qpos ও qvel সহ একটি observations গ্রুপ। রিপোজিটরিটি RLDS ইনপুটের জন্য data_utils/rlds_to_h5py.py সরবরাহ করে, এবং প্রতিটি টাস্ক aloha_scripts/constants.py-তে তার dataset_dir, episode_len এবং camera_names সহ ম্যানুয়ালি রেজিস্টার করা হয়। যদি আপনার এপিসোড lerobot বা ডেস্কটপ ক্লায়েন্ট থেকে আসে, তাহলে রূপান্তরের দায়িত্ব আপনার।

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 একটি আট-কার্ড নোড অনুমান করে। এটিকে 1 এ সেট করুন এবং ব্যাচ সাইজ 32 এর অনেক নিচে নামিয়ে আনুন। কোনো সিঙ্গেল-GPU ভ্যারিয়েন্ট আপস্ট্রিম শিপ করে না, তাই কমান্ডটি 4090-এ হুবহু চালানো যাবে না।
• --deepspeed scripts/zero2.json এমন একটি ফাইলের দিকে নির্দেশ করে যা টপ-লেভেল scripts ডিরেক্টরিতে নেই। DeepSpeed কনফিগগুলি llava-pythia/scripts/zero2.json-এ শিপ করে। আপনার প্রথম রান করার আগে পাথটি ঠিক করুন।
• README-এর জন্য আউটপুট ডিরেক্টরির নামে llava_pythia থাকতে হবে, এবং LoRA সক্ষম থাকলে lora থাকতে হবে।
• ব্যাকবোন একটি আলাদা ডাউনলোড: lesjie/Llava-Pythia-400M, -700M অথবা -1.3B। এমন কোনো একক বেস চেকপয়েন্ট নেই যেখানে আপনি একটি পলিসি নির্দেশ করতে পারেন, যেভাবে আপনি lerobot/smolvla_base-এর দিকে নির্দেশ করেন।

SmolVLA: 1 B-এর নিচের মডেল যা আপনি আজ বিকেলে চালাতে পারবেন

SmolVLA একটি রক্ষণাবেক্ষণ করা লাইব্রেরির মধ্যে একই যুক্তি উপস্থাপন করে। এটি একটি SmolVLM2-500M-Video-Instruct ব্যাকবোনে 450 M প্যারামিটার ব্যবহার করে, এবং এর দক্ষতা আসে configuration_smolvla.py থেকে পড়া সেটিংস থেকে, ছোট হওয়ার দাবি থেকে নয়।

প্রিট্রেনিং-এর জন্য 4টি GPU-তে 481টি কমিউনিটি LeRobot ডেটাসেট, 22.9 K এপিসোড এবং 10.6 M ফ্রেম ব্যবহার করা হয়েছিল, 256-এর গ্লোবাল ব্যাচে 200000 স্টেপস চালানো হয়েছিল; গবেষণাপত্রটি পুরো প্রোজেক্টটিকে প্রায় 30 K GPU ঘণ্টা বলে উল্লেখ করেছে। একটি সংখ্যা যা লক্ষ্য করার মতো: Hugging Face-এর লঞ্চ ব্লগ 487টি কিউরেটেড ডেটাসেটের কথা বলেছে যেখানে গবেষণাপত্রের সারণীতে 481টি উল্লেখ করা হয়েছে। আমরা গবেষণাপত্রের সংখ্যাটি ব্যবহার করছি এবং এই অমিলটি চিহ্নিত করছি।

একটি ঘটনা সাহায্য করে: SmolVLA পেপারের মেটা-ওয়ার্ল্ড টেবিলে TinyVLA-এর নিজস্ব প্রকাশিত সংখ্যাগুলি একটি বেসলাইন হিসাবে রয়েছে, তাই প্রথমবারের মতো উভয় মডেল একটি টেবিলে রয়েছে, SmolVLA-0.45B 57.3 এবং TinyVLA-H 31.6। এটি আরও জানায় যে SmolVLA Pi0 এর চেয়ে প্রায় 40 শতাংশ দ্রুত প্রশিক্ষণ নেয় এবং 6 গুণ কম মেমরি ব্যবহার করে। এর সব তথ্য SmolVLA লেখকদের কাছ থেকে এসেছে; অ্যারেনা এন্ট্রি প্রতিটি মানকে তার উৎসের সাথে লিঙ্ক করে।

SmolVLA কোথায় তার সময় ব্যয় করে

AY-Robots SmolVLA-কে প্রতি অ্যাকশন স্টেপে 245 ms এবং ACT-কে 20 ms এ পলিসি ক্যাটালগ-এ তালিকাভুক্ত করে। TinyVLA প্রতি অ্যাকশন ভবিষ্যদ্বাণীতে 14 ms রিপোর্ট করে। এই সংখ্যাগুলি তুলনীয় নয়, এবং সেগুলিকে তুলনীয় হিসাবে বিবেচনা করা এই বিষয়ে সবচেয়ে সাধারণ ভুল: কেউ একটি ফরোয়ার্ড পাসের সময় পরিমাপ করে, কেউ সেই পাসকে একটি খণ্ডে ভাগ করে যখন অ্যাকশন চাঙ্কিং এটি অ্যামোর্টাইজ করে।

• SmolVLA প্রতি ফরোয়ার্ড পাসে 50টি অ্যাকশন নির্গত করে এবং সব 50টি কার্যকর করে। বাস্তব রোবটে পেপারটি যে 30 fps ব্যবহার করে, তাতে একটি ইনফারেন্স প্রায় 1.7 সেকেন্ডের গতি কভার করে।
• অ্যাসিঙ্ক্রোনাস ইনফারেন্স বর্তমান চাঙ্কটি কার্যকর হওয়ার সময় পরবর্তী চাঙ্কটি গণনা করে: 13.75 s সিঙ্ক্রোনাসের বিপরীতে 9.7 s গড় টাস্ক সম্পন্ন হয়, যা প্রায় 30 শতাংশ দ্রুত, এবং একটি নির্দিষ্ট 60-সেকেন্ডের উইন্ডোতে 9টির বিপরীতে 19টি পিক-এন্ড-প্লেস সাইকেল।
• সাফল্যের হার উন্নত হওয়ার পরিবর্তে তুলনীয় ছিল, 73.3 অ্যাসিঙ্ক্রোনাসের বিপরীতে 78.3 সিঙ্ক্রোনাস। অ্যাসিঙ্ক থ্রুপুট বাড়ায়, নির্ভুলতা নয়।
• চাঙ্কিং কম্পিউট লেটেন্সি লুকায়, নেটওয়ার্ক লেটেন্সি নয়, এবং এটি পলিসিকে কম প্রতিক্রিয়াশীল করে তোলে কারণ এটি 50টি অ্যাকশনের জন্য প্রতিশ্রুতিবদ্ধ।

একটি কনজিউমার কার্ডে SmolVLA ফাইন-টিউনিং

ম্যানুয়াল পথ, lerobot 0.6.1-এ, 23 আগস্ট 2026 তারিখের বর্তমান PyPI রিলিজ। নিচে যা কিছু আছে তা একই দিনে আনা Hugging Face lerobot SmolVLA ডকুমেন্টেশন থেকে এসেছে; নির্দেশিত সংস্করণ আরও সহজ।

1. 1
   স্মলভিএলএ অতিরিক্ত সহ লেরোবট ইনস্টল করুন

   স্মলভিএলএ নির্ভরতাগুলি একটি ঐচ্ছিক অতিরিক্ত, বেস ইনস্টলের অংশ নয়। এটি ছাড়া ইনস্টল করা এবং তারপর পলিসির ধরন অজানা কেন তা ভেবে আধা ঘণ্টা নষ্ট করা একটি সাধারণ ঘটনা।

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   পর্যাপ্ত পর্ব সহ একটি ডেটা সেট পান

   ডকুমেন্টেশন প্রায় ৫০টি পর্বের সুপারিশ করে এবং বলে যে ২৫টি পর্বের সাথে একই কাজ যথেষ্ট ছিল না। AY-Robots সর্বনিম্ন ৩০টি নির্ধারণ করে। আপনার নিজের রেকর্ড করুন, অথবা ডেটা সেট ডিরেক্টরি থেকে শুরু করুন।

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   ফাইন-টিউন শুরু করুন

   লেরোবট গাইড থেকে কমান্ড, অপরিবর্তিত। ডকুমেন্টেশন একটি A100-এ ২০০০০ ধাপকে প্রায় ৪ ঘণ্টা বলে। একটি ২৪ জিবি কার্ডে, আরও বেশি সময় আশা করুন এবং এটি পরিমাপ করুন।

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   ফিট না হওয়া পর্যন্ত ব্যাচ সাইজ কমান

   batch_size=64 একটি নথিভুক্ত উদাহরণ, আপনার কার্ড সম্পর্কে কোনো প্রতিশ্রুতি নয়। ডকুমেন্টেশন ছোট থেকে শুরু করে লোডিং সময় কম থাকা অবস্থায় বাড়ানোর পরামর্শ দেয়।

   bash

   lerobot-train --help

5. 5
   আর্মের উপর চেকপয়েন্ট রোল আউট করুন

   একই লাইব্রেরি, একটি কমান্ড। রিয়েল-টাইম চাঙ্কিং ফ্ল্যাগগুলি ডকুমেন্টেশনে মন্তব্য করা আছে এবং কম-পাওয়ার হার্ডওয়্যারের জন্য এগুলি ব্যবহার করা উচিত।

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

একটি ছোট ভিএলএ একটি আর্মের উপর পাওয়ার দুটি উপায়

যখন একটি ছোট মডেল ভুল পছন্দ

উভয় গবেষণাপত্রই সারসংক্ষেপের চেয়ে এখানে বেশি সতর্ক। TinyVLA-এর ব্যর্থতা বিশ্লেষণ সুনির্দিষ্ট: 0.4 B ভ্যারিয়েন্ট নির্দেশাবলী ভুল পড়ার কারণে তিনবার ব্যর্থ হয়েছিল, যা লেখকরা ছোট VLM-এ সীমিত ভাষা বোঝার ক্ষমতার জন্য দায়ী করেছেন, এবং সেই মোডটি 1.3 B-তে অদৃশ্য হয়ে গিয়েছিল। SmolVLA অন্য প্রান্ত থেকে একই বক্ররেখা দেখায়: অভিন্ন আর্কিটেকচারের 2.25 B সংস্করণ LIBERO-তে 88.75 এবং Meta-World-এ 68.24 স্কোর করে, যেখানে 0.45 B মডেলের জন্য এটি 87.3 এবং 57.3।

যে তুলনাটি চালানো উচিত তা TinyVLA বনাম SmolVLA নয়। এটি SmolVLA বনাম ACT আপনার নিজের কাজে, এবং SmolVLA পেপারটি এর কারণের যুক্তি। কোনো রোবোটিক্স প্রাক-প্রশিক্ষণ ছাড়াই একক-টাস্কে প্রশিক্ষিত, SmolVLA তিনটি SO-100 টাস্কে গড়ে 40.0 স্কোর করেছে যেখানে একক-টাস্ক ACT 48.3 অর্জন করেছে। এটিকে 78.3-তে উন্নীত করে কমিউনিটি প্রাক-প্রশিক্ষণ এবং মাল্টি-টাস্ক প্রশিক্ষণ, শুধুমাত্র আর্কিটেকচার নয়। SO-101 লেগো টাস্কে, উভয়ই একক-টাস্ক, SmolVLA জেতে: বিতরণে 70 এর বিপরীতে 90। তারপর SmolVLA বনাম Pi0.5 যদি বাজেট অনুমতি দেয়।

একটি সিদ্ধান্ত সারণী যা আপনি ব্যবহার করতে পারেন

শেষ সারির জন্য, লাইভ আর্ম একটি ফিজিক্যাল SO-100 স্ট্রিম করে যা আপনি অ্যাকাউন্ট ছাড়াই ব্রাউজার থেকে চালাতে পারবেন, এবং শুরু করার তিনটি উপায় বাকিটা কভার করে। SO-100 এখানে রেফারেন্স আর্ম, যন্ত্রাংশ সহ আনুমানিক 110 থেকে 150 EUR, সাথে একটি সম্পূর্ণ সেটআপ গাইড।

সাব-1 B মডেলের পরে কী আসে

প্যারামিটার সংখ্যা কমানো VLA-কে সস্তা করার একটি উপায় এবং এটিই যে একমাত্র বিজয়ী উপায় তা স্পষ্ট নয়। OpenVLA-OFT (arXiv 2502.19645) 7 B ব্যাকবোন বজায় রাখে এবং শুধুমাত্র অ্যাকশনগুলি কীভাবে ডিকোড করা হয় তা পরিবর্তন করে, অ্যাকশন জেনারেশন থ্রুপুটে 26x বৃদ্ধি এবং LIBERO 76.5 থেকে 97.1 শতাংশে উন্নীত হওয়ার কথা জানায়। BitVLA (arXiv 2506.07530) একটি 1-বিট BitNet b1.58 2B4T ব্যাকবোনের প্রতিটি ওজন টারনারি করে, 11.0x কম মেমরি এবং 4.4x কম এন্ড-টু-এন্ড ল্যাটেন্সি রিপোর্ট করে যখন ফুল-প্রিসিশন OpenVLA-OFT-এর সাথে মেলে। X-VLA-0.9B (arXiv 2510.10274) ফ্লো ম্যাচিং সহ 1 B লাইনে বসে আছে।

সাধারণ বিষয়: অ্যাকশন ডিকোডার, ল্যাঙ্গুয়েজ মডেল নয়, যেখানে ল্যাটেন্সি থাকে। একটি পলিসি কীভাবে অ্যাকশন নির্গত করে তা জিজ্ঞাসা করুন তার প্যারামিটার সংখ্যা জিজ্ঞাসা করার আগে। অ্যারেনা তে 85টি মডেল এবং 332টি ফলাফল রয়েছে, প্রতিটি তার উৎসের সাথে সংযুক্ত; একটি বিস্তৃত ওভারভিউ রয়েছে আমাদের VLA পরিচিতি।