लहान VLA मॉडेल्स: TinyVLA, SmolVLA आणि 1B पेक्षा कमी पॅरामीटर्सची स्थिती

जवळजवळ प्रत्येक व्हिजन-लँग्वेज-ॲक्शन मॉडेल ज्याबद्दल लिहिले जाते ते डेटासेंटर कार्ड गृहीत धरते. OpenVLA मध्ये 7 अब्ज पॅरामीटर्स आहेत. GR00T N1.7 आणि Pi0.5 सुमारे 3 अब्ज आहेत आणि त्यांना फाइन-ट्यून करण्यासाठी A100 80 GB ची आवश्यकता आहे. जर तुमच्या डेस्कवरील कार्ड 4090 असेल, तर त्या श्रेणीचे मॉडेल आवाक्याबाहेर आहे.

दोन शोधनिबंध असा युक्तिवाद करतात की तुम्हाला त्याची गरज नाही. TinyVLA (arXiv 2409.12514, फेब्रुवारी 2025 मध्ये IEEE Robotics and Automation Letters द्वारे स्वीकारले गेले) 400 दशलक्ष ते 1.3 अब्ज बॅकबोन आणि डिफ्यूजन ॲक्शन हेडपासून VLA तयार करते. SmolVLA (arXiv 2506.01844, 2 जून 2025 रोजी सादर केले) 450 दशलक्ष पॅरामीटर्ससह खुले वेट्स, खुला डेटा आणि एका ग्राहक कार्डवर चालणारी स्क्रिप्ट प्रदान करते. येथे दोन्हीने काय मोजले आणि जिथे 1 अब्ज पेक्षा कमीचा युक्तिवाद थांबतो ते दिले आहे.

लहान VLA म्हणून प्रत्यक्षात काय गणले जाते

मॉडेल कार्डवरील पॅरामीटर संख्या एकच नसते. याचा अर्थ एकूण वजने, इन्फरन्सवेळी लोड केलेली वजने, किंवा ग्रेडियंट्स प्राप्त करणारी वजने असू शकतो . TinyVLA दोन्हीची नोंद करते आणि फरक मोठा आहे: TinyVLA-H एकूण 1.3 B आहे पण 143 M प्रशिक्षणयोग्य आहे, कारण व्हिजन टॉवर आणि बहुतेक भाषा मॉडेल गोठलेले राहतात तर LoRA अडॅप्टर्स आणि ॲक्शन हेड हलतात. पेपरमध्ये प्रशिक्षणयोग्य वाटा सुमारे 5 टक्के दर्शविला आहे.

दोन पंक्तींवर चर्चा करणे योग्य आहे. अंदाजे 80 M वर येथील इतर सर्व मॉडेल्सपेक्षा लहान आहे पण त्यात भाषा मॉडेल नाही, त्यामुळे ते VLA नाही: ते एकच कार्य शिकते आणि त्याला दुसरे कार्य करण्यास सांगितले जाऊ शकत नाही. 27 M वर T5-Base टेक्स्ट एन्कोडरद्वारे कंडिशन केलेले आहे, LLM बॅकबोनद्वारे नाही. चांगले बेसलाइन आहेत, परंतु दोन्हीपैकी कोणतेही लेबल सूचित करते त्याप्रमाणे सूचनांचे पालन करत नाहीत.

TinyVLA: वेग हेडमधून येतो, बॅकबोनमधून नाही

स्पष्टपणे असे दिसते की त्यांनी लँग्वेज मॉडेल लहान केले, त्यामुळे ते वेगवान झाले. पेपरमधील ॲब्लेशन याच्या उलट सांगते. OpenVLA च्या 7 B बॅकबोनला अंदाजे 1 B बॅकबोनने बदलल्याने प्रति-ॲक्शन प्रेडिक्शन 292 ms वरून 140 ms पर्यंत कमी झाले, म्हणजे 2x फायदा झाला. TinyVLA-H, समान पॅरामीटर संख्येसह, त्याच कार्डवर 14 ms मध्ये चालते. इतर 10x ॲक्शन हेडमुळे आहे.

OpenVLA लँग्वेज मॉडेल हेडद्वारे, प्रत्येक ॲक्शन डायमेन्शनसाठी एक, ऑटोरेग्रेसिव्हली डिस्क्रीटाइज्ड टोकन्स म्हणून ॲक्शन्स उत्सर्जित करते. TinyVLA एक डिफ्यूजन डिकोडर जोडते जे संपूर्ण चंक एकाच वेळी तयार करते. टेबल V मध्ये TinyVLA-H मधील आर्किटेक्चर आहे आणि त्याच पाच रिअल-रोबोट टास्कवर फक्त हेड बदलले आहे. हा दोन्ही पेपर्समधील सर्वात स्पष्ट पुरावा आहे, जो या युक्तिवादाला समर्थन देतो की flow matching पॉलिसीज बनवतात, आणि याचे कारण Pi0 टोकन डिकोडिंगपासून दूर गेले.

TinyVLA ने काय गुण मिळवले

द्वि-हस्त पंक्तीला पेपरने स्वतःच एक कंटाळवाणे स्पष्टीकरण दिले आहे: OpenVLA हे Open X-Embodiment वर पूर्व-प्रशिक्षित आहे, ज्यात पूर्णपणे सिंगल-आर्म डेटा असतो, त्यामुळे दोन-आर्म ॲक्शन स्पेस वितरणाबाहेर आहे आणि त्याला शून्य गुण मिळतात. डिफ्यूजन पॉलिसी बेसलाइनने त्या तीनपैकी दोन कार्यांमध्ये TinyVLA-H ला हरवले. पार्श्वभूमी: Open X-Embodiment वरील लेख.

TinyVLA रेपो, ऑगस्ट 2026 पर्यंत

पेपर चांगला आहे. कोड हा संशोधनाचा एक भाग आहे. रिपॉझिटरी github.com/liyaxuanliyaxuan/TinyVLA आहे; त्याच्या README नुसार कोड 17 फेब्रुवारी 2025 रोजी प्रसिद्ध झाला आणि शेवटचा कमिट 11 मार्च 2025 रोजी झाला. एखादा पेपर पुनरुत्पादित करण्यासाठी हे ठीक आहे, परंतु जर तुम्हाला एक देखरेख केलेली लायब्ररी हवी असेल तर ही एक समस्या आहे.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA LeRobot डेटासेट्स देखील वाचत नाही. त्याचे स्वरूप ACT-शैलीतील HDF5 आहे: ॲक्शन, language_raw, आणि मल्टी-व्ह्यू इमेजेस, joint_positions, qpos आणि qvel सह एक ऑब्झर्व्हेशन्स ग्रुप. रिपॉझिटरी RLDS इनपुटसाठी data_utils/rlds_to_h5py.py पुरवते, आणि प्रत्येक टास्क aloha_scripts/constants.py मध्ये त्याच्या dataset_dir, episode_len आणि camera_names सह हाताने नोंदणीकृत आहे. जर तुमचे एपिसोड्स lerobot किंवा डेस्कटॉप क्लायंट मधून आले असतील, तर रूपांतरणाची जबाबदारी तुमची आहे.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 हे आठ-कार्ड नोड गृहीत धरते. ते 1 वर सेट करा आणि बॅच आकार 32 च्या खाली खूप कमी करा. कोणतीही सिंगल-GPU आवृत्ती अपस्ट्रीम पाठवली जात नाही, त्यामुळे 4090 वर कमांड जशीच्या तशी चालवता येणार नाही.
• --deepspeed scripts/zero2.json हे एका फाईलकडे निर्देश करते जी टॉप-लेव्हल स्क्रिप्ट्स डिरेक्टरीमध्ये नाही. DeepSpeed कॉन्फिग्स llava-pythia/scripts/zero2.json येथे उपलब्ध आहेत. तुमच्या पहिल्या रनपूर्वी पाथ दुरुस्त करा.
• README नुसार आउटपुट डिरेक्टरीच्या नावात llava_pythia असावे, तसेच LoRA सक्षम असल्यास lora असावे.
• बॅकबोन स्वतंत्रपणे डाउनलोड करावे लागते: lesjie/Llava-Pythia-400M, -700M किंवा -1.3B. lerobot/smolvla_base कडे निर्देश केल्याप्रमाणे तुम्ही पॉलिसी निर्देशित करू शकता असे कोणतेही सिंगल बेस चेकपॉईंट नाही.

SmolVLA: 1 B पेक्षा कमी पॅरामीटर्स असलेले मॉडेल जे तुम्ही आज दुपारी चालवू शकता

SmolVLA एका देखरेख केलेल्या लायब्ररीमध्ये तेच युक्तिवाद करते. हे SmolVLM2-500M-Video-Instruct बॅकबोनवर 450 M पॅरामीटर्सचे आहे आणि त्याची कार्यक्षमता configuration_smolvla.py मधून वाचता येणाऱ्या सेटिंग्जमधून येते, लहान असल्याच्या दाव्यामुळे नाही.

प्रीट्रेनिंगमध्ये 481 कम्युनिटी LeRobot डेटासेट, 22.9 K एपिसोड्स आणि 10.6 M फ्रेम्स 4 GPUs वर, 256 च्या ग्लोबल बॅचमध्ये 200000 स्टेप्स वापरल्या गेल्या; पेपरनुसार संपूर्ण प्रकल्पाला सुमारे 30 K GPU तास लागले. एक लक्षात घेण्यासारखा आकडा: Hugging Face च्या लॉन्च ब्लॉगमध्ये 487 क्युरेटेड डेटासेट नमूद केले आहेत, तर पेपरच्या टेबलमध्ये 481 आहेत. आम्ही पेपरमधील आकडेवारी वापरतो आणि या मतभेदाची नोंद घेतो.

एका घटनेमुळे मदत होते: SmolVLA पेपरच्या मेटा-वर्ल्ड टेबलमध्ये TinyVLA चे स्वतःचे प्रकाशित आकडे बेसलाइन म्हणून आहेत, त्यामुळे एकदा दोन्ही मॉडेल्स एकाच टेबलमध्ये आहेत, SmolVLA-0.45B 57.3 वर TinyVLA-H 31.6 च्या तुलनेत. हे असेही सांगते की SmolVLA चे प्रशिक्षण Pi0 पेक्षा सुमारे 40 टक्के वेगाने आणि 6 पट कमी मेमरीमध्ये होते. हे सर्व SmolVLA च्या लेखकांकडून आले आहे; अरेना नोंद प्रत्येक मूल्याला त्याच्या स्रोताशी जोडते.

SmolVLA आपला वेळ कुठे घालवते

AY-Robots SmolVLA ला प्रति ॲक्शन स्टेप 245 ms आणि ACT 20 ms वर पॉलिसी कॅटलॉग मध्ये सूचीबद्ध करते. TinyVLA प्रति ॲक्शन प्रेडिक्शन 14 ms नोंदवते. हे आकडे तुलना करण्यायोग्य नाहीत, आणि त्यांची तुलना करणे ही या विषयातील सर्वात सामान्य चूक आहे: काहीवेळा एक फॉरवर्ड पास, काहीवेळा तो पास एका चंकमध्ये विभागला जातो एकदा ॲक्शन चंकिंगमुळे तो खर्च विभागला जातो.

• SmolVLA प्रति फॉरवर्ड पास 50 ॲक्शन्स उत्सर्जित करते आणि सर्व 50 कार्यान्वित करते. पेपरमध्ये वास्तविक रोबोट्सवर वापरल्या जाणाऱ्या 30 fps दराने, एक इन्फरन्स सुमारे 1.7 सेकंदांच्या गतीला कव्हर करते.
• अतुल्यकालिक इन्फरन्स सध्याचा चंक कार्यान्वित असताना पुढील चंकची गणना करते: 13.75 s तुल्यकालिकच्या तुलनेत 9.7 s सरासरी कार्य पूर्णता, अंदाजे 30 टक्के वेगवान, आणि निश्चित 60-सेकंदांच्या विंडोमध्ये 9 च्या तुलनेत 19 पिक-अँड-प्लेस सायकल.
• यश दर चांगले नसून तुलना करण्यायोग्य होते, 73.3 अतुल्यकालिकच्या तुलनेत 78.3 तुल्यकालिक. अतुल्यकालिकता थ्रूपुट वाढवते, अचूकता नाही.
• चंकिंगमुळे कम्प्यूट लेटन्सी लपते, नेटवर्क लेटन्सी नाही, आणि यामुळे पॉलिसी कमी प्रतिक्रियाशील होते कारण ती 50 ॲक्शन्ससाठी वचनबद्ध असते.

एका ग्राहक कार्डवर SmolVLA चे फाइन-ट्यूनिंग

मॅन्युअल मार्ग, lerobot 0.6.1 वर, 23 ऑगस्ट 2026 पर्यंतची सध्याची PyPI रिलीज. खालील सर्व माहिती त्याच दिवशी मिळवलेल्या Hugging Face lerobot SmolVLA डॉक्युमेंटेशनमधून आली आहे; मार्गदर्शित आवृत्ती अधिक सोपी आहे.

1. 1
   smolvla एक्स्ट्रासह lerobot इन्स्टॉल करा

   SmolVLA च्या डिपेंडन्सीज (dependencies) एक पर्यायी अतिरिक्त भाग आहेत, बेस इन्स्टॉलचा भाग नाहीत. त्याशिवाय इन्स्टॉल करून पॉलिसीचा प्रकार अज्ञात का आहे याचा विचार करण्यात अर्धा तास वाया घालवणे सामान्य आहे.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   पुरेशा एपिसोड्ससह डेटासेट मिळवा

   डॉक्युमेंट्समध्ये सुमारे 50 एपिसोड्सची शिफारस केली आहे आणि असे म्हटले आहे की 25 एपिसोड्ससह तेच कार्य पुरेसे नव्हते. AY-Robots ने किमान 30 एपिसोड्स निश्चित केले आहेत. तुमचे स्वतःचे रेकॉर्ड करा, किंवा डेटासेट डिरेक्टरीमधून सुरुवात करा.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   फाइन-ट्यून सुरू करा

   lerobot मार्गदर्शकामधील कमांड, अपरिवर्तित. डॉक्युमेंट्सनुसार 20000 स्टेप्स एका A100 वर अंदाजे 4 तास लागतात. 24 GB कार्डवर, जास्त वेळ लागेल अशी अपेक्षा करा आणि ते मोजा.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   बॅच साईज फिट होईपर्यंत कमी करा

   batch_size=64 हे एक डॉक्युमेंटेड उदाहरण आहे, तुमच्या कार्डबद्दलचे वचन नाही. डॉक्युमेंट्समध्ये लहानपासून सुरुवात करण्याचा आणि लोडिंग वेळ कमी असताना वाढवण्याचा सल्ला दिला आहे.

   bash

   lerobot-train --help

5. 5
   आर्मवर चेकपॉईंट रोल आउट करा

   तीच लायब्ररी, एकच कमांड. रिअल-टाइम चंकिंग फ्लॅग्स डॉक्युमेंट्समध्ये कमेंट केलेले आहेत आणि कमी-पॉवर हार्डवेअरवर वापरण्यासाठी ते उपयुक्त आहेत.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

लहान VLA आर्मवर मिळवण्याचे दोन मार्ग

जेव्हा लहान मॉडेल चुकीचा पर्याय असतो

सारांशांपेक्षा दोन्ही शोधनिबंध येथे अधिक काळजीपूर्वक आहेत. TinyVLA चे अपयश विश्लेषण विशिष्ट आहे: 0.4 B प्रकाराने सूचना चुकीच्या पद्धतीने वाचल्यामुळे तीन वेळा अपयश आले, ज्याचे श्रेय लेखकांनी लहान VLM मधील मर्यादित भाषा समजाला दिले आहे, आणि तो मोड 1.3 B वर अदृश्य झाला. SmolVLA दुसऱ्या टोकापासून समान वक्र दर्शवते: समान आर्किटेक्चरची 2.25 B आवृत्ती LIBERO वर 88.75 आणि Meta-World वर 68.24 गुण मिळवते, तर 0.45 B मॉडेलसाठी 87.3 आणि 57.3 गुण आहेत.

चालवण्यासारखी तुलना TinyVLA विरुद्ध SmolVLA नाही. ती SmolVLA विरुद्ध ACT तुमच्या स्वतःच्या कार्यावर आहे, आणि SmolVLA पेपर हे त्याचे कारण आहे. रोबोटिक्स पूर्व-प्रशिक्षणाशिवाय एकल-कार्य प्रशिक्षित, SmolVLA ने तीन SO-100 कार्यांमध्ये सरासरी 40.0 गुण मिळवले, जिथे एकल-कार्य ACT ने 48.3 गुण मिळवले. समुदाय पूर्व-प्रशिक्षण आणि मल्टी-टास्क प्रशिक्षणामुळे ते 78.3 पर्यंत पोहोचते, केवळ आर्किटेक्चरमुळे नाही. SO-101 लेगो कार्यावर, दोन्ही एकल-कार्य असताना, SmolVLA जिंकते: वितरणात 70 च्या तुलनेत 90. नंतर SmolVLA विरुद्ध Pi0.5 जर बजेट परवानगी देत असेल.

तुम्ही कृती करू शकता असे निर्णय सारणी

शेवटच्या पंक्तीसाठी, थेट आर्म ब्राउझरमधून खाते नसताना तुम्ही चालवू शकता अशा भौतिक SO-100 चे प्रवाह करतो, आणि सुरू करण्याचे तीन मार्ग उर्वरित गोष्टींचा समावेश करतो. SO-100 येथे संदर्भ आर्म आहे, अंदाजे 110 ते 150 EUR भागांमध्ये, सोबत एक संपूर्ण सेटअप मार्गदर्शक.

सब-1 B मॉडेल्सनंतर काय येते

पॅरामीटर संख्या कमी करणे हा VLA स्वस्त करण्याचा एक मार्ग आहे आणि तो स्पष्टपणे जिंकणारा मार्ग नाही. OpenVLA-OFT (arXiv 2502.19645) 7 B बॅकबोन कायम ठेवते आणि केवळ क्रिया कशा डिकोड केल्या जातात हे बदलते, ज्यामुळे क्रिया निर्मिती थ्रूपुटमध्ये 26x वाढ आणि LIBERO 76.5 वरून 97.1 टक्क्यांपर्यंत वाढल्याचे नोंदवले आहे. BitVLA (arXiv 2506.07530) 1-बिट BitNet b1.58 2B4T बॅकबोनचे प्रत्येक वजन टर्नरी बनवते, ज्यामुळे 11.0x कमी मेमरी आणि 4.4x कमी एंड-टू-एंड लेटन्सी नोंदवली जाते, तर पूर्ण-प्रिसिजन OpenVLA-OFT शी जुळते. X-VLA-0.9B (arXiv 2510.10274) फ्लो मॅचिंगसह 1 B लाईनवर आहे.

सामान्य धागा: लेटन्सी भाषा मॉडेलमध्ये नाही, तर ॲक्शन डिकोडरमध्ये आहे. एखादी पॉलिसी किती पॅरामीटर्सची आहे हे विचारण्यापूर्वी ती क्रिया कशी उत्सर्जित करते हे विचारा. arena मध्ये 85 मॉडेल्स आणि 332 परिणाम आहेत, प्रत्येक त्याच्या स्त्रोताशी जोडलेला आहे; एक व्यापक विहंगावलोकन आमच्या VLA परिचयात.