ትናንሽ VLA ሞዴሎች: TinyVLA, SmolVLA እና ከ1 ቢሊዮን በታች ያለው ሁኔታ

ሁሉም ማለት ይቻላል የእይታ-ቋንቋ-ድርጊት ሞዴል ስለሚጻፍ የዳታ ማዕከል ካርድን ይገምታል። OpenVLA 7 ቢሊዮን ፓራሜትሮች አሉት። GR00T N1.7 እና Pi0.5 ወደ 3 ቢሊዮን የሚጠጉ ሲሆኑ ለማስተካከል A100 80 ጊባ ይፈልጋሉ። በዴስክዎ ላይ ያለው ካርድ 4090 ከሆነ፣ ያ የሞዴል ክፍል ሊደረስበት አይችልም።

ሁለት ወረቀቶች እንደማያስፈልግ ይከራከራሉ። TinyVLA (arXiv 2409.12514፣ በየካቲት 2025 በ IEEE Robotics and Automation Letters ተቀባይነት ያገኘ) ከ400 ሚሊዮን እስከ 1.3 ቢሊዮን የጀርባ አጥንት እና የዲፍዩዥን ድርጊት ራስ በመጠቀም VLA ይገነባል። SmolVLA (arXiv 2506.01844፣ ሰኔ 2 ቀን 2025 የቀረበ) 450 ሚሊዮን ፓራሜትሮችን በክፍት ክብደቶች፣ ክፍት ዳታ እና በአንድ የሸማች ካርድ ላይ የሚሰራ ስክሪፕት ይዞ ይመጣል። ሁለቱም የለኩት እና ከ1 ቢሊዮን በታች ያለው ክርክር መቆሙ እዚህ አለ።

በእርግጥ እንደ ትንሽ VLA የሚቆጠረው ምንድን ነው

በሞዴል ካርድ ላይ ያለው የፓራሜትር ብዛት አንድ ቁጥር አይደለም። አጠቃላይ ክብደቶችን፣ በግምት ወቅት የተጫኑ ክብደቶችን፣ ወይም በጊዜ ውስጥ ግራዲየንቶችን የሚቀበሉ ክብደቶችን ሊያመለክት ይችላል። ። TinyVLA ሁለቱንም ሪፖርት ያደርጋል፣ እና ልዩነቱ ትልቅ ነው፡ TinyVLA-H በጠቅላላው 1.3 B ነው ነገር ግን 143 M ሊሰለጥን የሚችል ነው፣ ምክንያቱም የቪዥን ታወር እና አብዛኛው የቋንቋ ሞዴል ሳይቀዘቅዙ ሲቀሩ LoRA አስማሚዎች እና የአክሽን ሄድ ይንቀሳቀሳሉ። ወረቀቱ ሊሰለጥን የሚችለውን ድርሻ ወደ 5 በመቶ ገደማ ያስቀምጣል።

ሁለት ረድፎች ክርክር የሚያስፈልጋቸው ናቸው። በግምት 80 M ሲሆን ከሌሎቹ ሁሉ ያነሰ ነው ነገር ግን የቋንቋ ሞዴል የለውም፣ ስለዚህ VLA አይደለም፡ አንድ ተግባር ይማራል እና ሌላ እንዲሰራ ሊነገረው አይችልም። በ27 M በT5-Base ጽሑፍ ኢንኮደር በኩል የተስተካከለ ነው፣ እንጂ LLM ባክቦን አይደለም። ጥሩ የመነሻ መስመሮች ናቸው፣ ነገር ግን የሌብሉን ትርጉም የሚከተል መመሪያ አይሰጡም።

TinyVLA: ፍጥነቱ የሚመጣው ከጭንቅላቱ ነው እንጂ ከአከርካሪው አይደለም

ግልጽ የሆነው ግንዛቤ የቋንቋ ሞዴሉን በማሳነስ ፈጣን እንዲሆን ማድረጋቸው ነው። የጥናቱ የአብሌሽን ትንተና ግን ሌላ ያሳያል። የOpenVLAን 7 B አከርካሪ በግምት 1 B በሆነው መተካት በአንድ ድርጊት ትንበያ ጊዜውን ከ292 ms ወደ 140 ms ቀንሶታል፣ ይህም የ2x ጭማሪ ነው። TinyVLA-H፣ በተመጣጣኝ የፓራሜትር ብዛት፣ በተመሳሳይ ካርድ ላይ በ14 ms ይሰራል። ሌላው 10x ደግሞ የአክሽን ሄዱ ነው።

OpenVLA ድርጊቶችን እንደ ተከፋፈሉ ቶከኖች በቋንቋ ሞዴል ሄድ በኩል፣ በአንድ ድርጊት ልኬት አንድ፣ በራስ-ሰር ያመነጫል። TinyVLA ሙሉውን ክፍል በአንድ ጊዜ የሚያመነጭ የዲፍዩዥን ዲኮደር ያያይዛል። ሠንጠረዥ V የTinyVLA-H አርክቴክቸርን ይዟል እና ሄዱን ብቻ በተመሳሳይ አምስት እውነተኛ-ሮቦት ተግባራት ላይ ይለዋውጣል። ይህ በማንኛውም ጥናት ውስጥ ለሚከተለው ክርክር እጅግ በጣም ግልጽ ማስረጃ ነው ፍሎው ማቺንግ ፖሊሲዎች የሚያደርጉት፣ እና ምክንያቱ ደግሞ Pi0 ከቶከን ዲኮዲንግ የራቀበት።

TinyVLA ምን ውጤት አስመዘገበ

ባይማኑዋል ረድፉ ወረቀቱ ራሱ የሚሰጠው አሰልቺ ማብራሪያ አለው፡ OpenVLA ሙሉ በሙሉ ነጠላ-እጅ ዳታ ባካተተው Open X-Embodiment ላይ የሰለጠነ ነው፣ ስለዚህ ባለሁለት-እጅ የድርጊት ቦታ ከስርጭት ውጪ ነው እና ዜሮ ያስመዘግባል። የዲፍዩዥን ፖሊሲ ቤዝላይን ከእነዚያ ሶስት ተግባራት ውስጥ በሁለቱ ላይ TinyVLA-Hን ያሸንፋል። ተጨማሪ መረጃ በየ Open X-Embodiment ጽሑፍ.

የ TinyVLA ሪፖ፣ ከኦገስት 2026 ጀምሮ

ወረቀቱ ጥሩ ነው። ኮዱ ለምርምር የተለቀቀ ነው። ሪፖዚቶሪው github.com/liyaxuanliyaxuan/TinyVLA ነው፤ የ README ፋይሉ የኮዱን መለቀቅ የካቲት 17 ቀን 2025 እና የመጨረሻውን ኮሚት መጋቢት 11 ቀን 2025 ያሳያል። አንድን ወረቀት ለማባዛት ጥሩ ነው፣ ነገር ግን የተጠበቀ ላይብረሪ ከፈለጉ ችግር ነው።

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA ደግሞ አያነብም LeRobot ዳታ ስብስቦችን. ቅርጸቱ ACT-style HDF5 ነው፡ action, language_raw, እና multi-view images, joint_positions, qpos እና qvel የያዘ observations group። ሪፖው ለRLDS ግብዓት data_utils/rlds_to_h5py.pyን ያቀርባል፣ እና እያንዳንዱ ተግባር በaloha_scripts/constants.py ውስጥ በdataset_dir, episode_len እና camera_names በእጅ ይመዘገባል። የእርስዎ ክፍሎች ከlerobot ወይም ከ ዴስክቶፕ ደንበኛ የመጡ ከሆነ፣ ልወጣው የእርስዎ ኃላፊነት ነው።

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 ስምንት ካርድ ያለው ኖድ እንደሆነ ይገምታል። ወደ 1 ያቀናብሩት እና የባች መጠኑን ከ 32 በታች ዝቅ ያድርጉት። ምንም ነጠላ-ጂፒዩ ልዩነት ወደ ላይ አይላክም፣ ስለዚህ ትዕዛዙ በ 4090 ላይ በትክክል ሊሰራ አይችልም።
• --deepspeed scripts/zero2.json ከከፍተኛ ደረጃ ስክሪፕቶች ማውጫ ውጭ ወዳለ ፋይል ይጠቁማል። የDeepSpeed ውቅሮች በ llava-pythia/scripts/zero2.json ላይ ይገኛሉ። ከመጀመሪያው አሂድዎ በፊት መንገዱን ያስተካክሉ።
• README የውጤት ማውጫው ስም llava_pythia እንዲይዝ ይጠይቃል፣ በተጨማሪም LoRA ከነቃ lora።
• የጀርባ አጥንቱ የተለየ ማውረድ ነው: lesjie/Llava-Pythia-400M, -700M ወይም -1.3B. lerobot/smolvla_base ላይ እንደሚያመለክቱት ፖሊሲን የሚያመለክቱበት አንድ ነጠላ የመሠረት ቼክፖይንት የለም።

SmolVLA: ከ 1 ቢ በታች የሆነው ሞዴል ዛሬ ከሰዓት በኋላ ሊያሄዱት የሚችሉት

SmolVLA በተጠበቀ ቤተ-መጽሐፍት ውስጥ ተመሳሳይ ክርክር ያቀርባል። በ SmolVLM2-500M-Video-Instruct የጀርባ አጥንት ላይ 450 M መለኪያዎች አሉት፣ እና ቅልጥፍናው የሚመጣው ከ configuration_smolvla.py ሊያነቧቸው ከሚችሏቸው ቅንብሮች ነው እንጂ ትንሽ ስለመሆኑ ከሚቀርብ የይገባኛል ጥያቄ አይደለም።

ቅድመ-ስልጠናው 481 የማህበረሰብ LeRobot ዳታሴቶችን፣ 22.9 ሺህ ክፍሎችን እና 10.6 ሚሊዮን ፍሬሞችን በ4 ጂፒዩዎች ላይ፣ በ256 ዓለም አቀፍ ባች 200000 እርምጃዎችን ተጠቅሟል፤ ጥናቱ አጠቃላይ ፕሮጀክቱን ወደ 30 ሺህ ጂፒዩ ሰዓታት ገምቷል። ትኩረት ሊሰጠው የሚገባ አንድ ቁጥር: የHugging Face ማስጀመሪያ ብሎግ 487 የተመረጡ ዳታሴቶችን ሲል፣ የጥናቱ ሰንጠረዥ ግን 481 ይላል። እኛ የጥናቱን ቁጥር እንጠቀማለን እና ልዩነቱን እናሳውቃለን።

አንድ አጋጣሚ ይረዳል፡ የSmolVLA ወረቀት ሜታ-ወርልድ ሰንጠረዥ የTinyVLA የራሱን የታተሙ ቁጥሮች እንደ መሰረት ይዟል፣ ስለዚህ ለመጀመሪያ ጊዜ ሁለቱም ሞዴሎች በአንድ ሰንጠረዥ ውስጥ ተቀምጠዋል፣ SmolVLA-0.45B በ57.3 ከTinyVLA-H በ31.6 ጋር። እንዲሁም SmolVLA ከPi0 በ6 እጥፍ ያነሰ ማህደረ ትውስታ ላይ በግምት 40 በመቶ በፍጥነት እንደሚሰለጥን ሪፖርት ያደርጋል። ይህ ሁሉ ከSmolVLA ደራሲዎች የመጣ ነው፤ የአሬና ግቤት እያንዳንዱን እሴት ወደ ምንጩ ያገናኛል።

SmolVLA ጊዜውን የሚያጠፋው የት ነው

AY-Robots SmolVLAን በአንድ የድርጊት እርምጃ 245 ms እና ACT በ20 ms በየፖሊሲ ካታሎግ ውስጥ ይዘረዝራል። TinyVLA በአንድ የድርጊት ትንበያ 14 ms ሪፖርት ያደርጋል። እነዚህ ቁጥሮች ሊነፃፀሩ አይችሉም፣ እና እንደነበሩ አድርጎ መውሰድ በዚህ ርዕስ ውስጥ በጣም የተለመደው ስህተት ነው፡ አንዳንዶች አንድ የፊት ማለፊያ ጊዜ ይወስዳሉ፣ አንዳንዶች ደግሞ ያንን ማለፊያ በአንድ ክፍል ላይ ይከፋፍሉታል አንዴ የድርጊት ክፍፍል ሲከፋፈለው።

• SmolVLA በአንድ የፊት ማለፊያ 50 ድርጊቶችን ያመነጫል እና ሁሉንም 50 ያከናውናል። ወረቀቱ በእውነተኛ ሮቦቶች ላይ በሚጠቀምበት 30 fps፣ አንድ ግምት ወደ 1.7 ሰከንድ የሚሆን እንቅስቃሴን ይሸፍናል።
• አሲንክሮነስ ግምት የአሁኑ እየተፈጸመ እያለ ቀጣዩን ክፍል ያሰላል፡ 9.7 ሰ አማካይ የተግባር ማጠናቀቂያ ከ13.75 ሰ ሲንክሮነስ ጋር ሲነፃፀር፣ በግምት 30 በመቶ ፈጣን ነው፣ እና በቋሚ 60 ሰከንድ መስኮት ውስጥ 19 የመምረጥ እና የማስቀመጥ ዑደቶች ከ9 ጋር ሲነፃፀሩ።
• የስኬት መጠኖች የተሻሉ ከመሆን ይልቅ ተመጣጣኝ ነበሩ፣ 78.3 ሲንክሮነስ ከ73.3 አሲንክሮነስ ጋር። አሲንክሮነስ ፍጥነትን እንጂ ትክክለኛነትን አይገዛም።
• የድርጊት ክፍፍል የሂሳብ መዘግየትን እንጂ የአውታረ መረብ መዘግየትን አይሰውርም፣ እና ፖሊሲው ለ50 ድርጊቶች ቁርጠኛ ስለሆነ ምላሽ የመስጠት አቅሙን ይቀንሳል።

SmolVLAን በአንድ የሸማች ካርድ ላይ ማስተካከል

በ lerobot 0.6.1 ላይ ያለው በእጅ የሚሰራው መንገድ፣ በ23 ኦገስት 2026 ያለው የአሁኑ የPyPI ልቀት። ከዚህ በታች ያለው ሁሉ የመጣው ከHugging Face lerobot SmolVLA ሰነድ ነው፣ በተመሳሳይ ቀን የተገኘ፤ የተመራው ስሪት የበለጠ ቀላል ነው።

1. 1
   ለሮቦትን በsmolvla ተጨማሪ ይጫኑ

   የSmolVLA ጥገኞች አማራጭ ተጨማሪ ናቸው፣ የመሰረታዊ ጭነት አካል አይደሉም። ያለሱ መጫን እና ከዚያ የፖሊሲው አይነት የማይታወቅ መሆኑን ማሰብ በተለምዶ የሚባክን ግማሽ ሰዓት ነው።

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   በቂ ክፍሎች ያለው የመረጃ ስብስብ ያግኙ

   ሰነዶቹ ወደ 50 የሚጠጉ ክፍሎችን ይመክራሉ እና ተመሳሳይ ስራ በ25 ክፍሎች በቂ እንዳልነበረ ይገልጻሉ። AY-Robots ዝቅተኛውን በ30 ያደርገዋል። የራስዎን ይመዝግቡ፣ ወይም ከመረጃ ስብስብ ማውጫው ይጀምሩ።

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   ጥሩ ማስተካከያውን ይጀምሩ

   ከለሮቦት መመሪያ የተወሰደ ትዕዛዝ፣ ያልተቀየረ። ሰነዶቹ 20000 እርምጃዎች በአንድ A100 ላይ በግምት 4 ሰዓታት እንደሚወስዱ ይገልጻሉ። በ24 ጂቢ ካርድ ላይ፣ ረዘም ያለ ጊዜ ይጠብቁ እና ይለኩት።

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   እስኪገጥም ድረስ የባች መጠኑን ይቀንሱ

   batch_size=64 በሰነድ የተደገፈ ምሳሌ ነው፣ ስለ ካርድዎ የተሰጠ ቃል አይደለም። ሰነዶቹ የመጫኛ ጊዜዎች አጭር እስከሆኑ ድረስ በትንሹ እንዲጀምሩ እና እንዲጨምሩ ይመክራሉ።

   bash

   lerobot-train --help

5. 5
   የፍተሻ ነጥቡን በክንዱ ላይ ያውጡ

   ተመሳሳይ ቤተ-መጽሐፍት፣ አንድ ትዕዛዝ። የእውነተኛ ጊዜ ቸንኪንግ ባንዲራዎች በሰነዶቹ ውስጥ አስተያየት ተሰጥቶባቸዋል እና ዝቅተኛ ኃይል ባላቸው ሃርድዌሮች ላይ የሚያስፈልጉት ናቸው።

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

አንድ ትንሽ VLA ወደ ክንድ ለማስገባት ሁለት መንገዶች

አነስተኛ ሞዴል የተሳሳተ ምርጫ ሲሆን

ሁለቱም ወረቀቶች ከማጠቃለያዎቹ የበለጠ ጥንቃቄ የተሞላባቸው ናቸው። የTinyVLA ውድቀት ትንተና የተለየ ነው፡ የ0.4 ቢ ልዩነት መመሪያውን በተሳሳተ መንገድ በማንበብ ሶስት ጊዜ ወድቋል፣ ይህም ደራሲዎቹ በትናንሽ VLM ውስጥ ባለው ውስን የቋንቋ ግንዛቤ ምክንያት ነው ብለው ያምናሉ፣ እና ያ ሁነታ በ1.3 ቢ ጠፍቷል። SmolVLA ተመሳሳይ ኩርባን ከሌላኛው ጫፍ ያሳያል፡ ተመሳሳይ አርክቴክቸር ያለው የ2.25 ቢ ስሪት በLIBERO ላይ 88.75 እና በMeta-World ላይ 68.24 ያስመዘገበ ሲሆን የ0.45 ቢ ሞዴል ደግሞ 87.3 እና 57.3 አስመዝግቧል።

ሊደረግ የሚገባው ንጽጽር TinyVLA ከSmolVLA ጋር አይደለም። SmolVLA ከACTበእርስዎ ተግባር ላይ ነው፣ እና የSmolVLA ወረቀት ለምን እንደሆነ የሚያብራራ ነው። ያለ ሮቦቲክስ ቅድመ-ስልጠና በአንድ ተግባር የሰለጠነው SmolVLA በሶስት SO-100 ተግባራት ላይ በአማካይ 40.0 አስመዝግቧል፣ ነጠላ-ተግባር ACT ደግሞ 48.3 አስመዝግቧል። ወደ 78.3 ከፍ የሚያደርገው የማህበረሰብ ቅድመ-ስልጠና እና ባለብዙ ተግባር ስልጠና ነው እንጂ አርክቴክቸሩ ብቻ አይደለም። በSO-101 ሌጎ ተግባር ላይ፣ ሁለቱም ነጠላ-ተግባር ሲሆኑ፣ SmolVLA ያሸንፋል፡ በስርጭት ውስጥ 90 ከ 70። ከዚያ SmolVLA ከPi0.5በጀት የሚፈቅድ ከሆነ።

እርምጃ ሊወስዱበት የሚችሉበት የውሳኔ ሠንጠረዥ

ለመጨረሻው ረድፍ፣ ቀጥታ ክንድ አካውንት ሳያስፈልግዎት ከብሮውዘር ሊነዱት የሚችሉትን አካላዊ SO-100 ያሰራጫል፣ እና ለመጀመር ሦስቱ መንገዶች ቀሪውን ይሸፍናል። SO-100 እዚህ ያለው የማጣቀሻ ክንድ ነው፣ በግምት ከ110 እስከ 150 ዩሮ የሚገመት ክፍሎች ያሉት፣ ከሙሉ የማዋቀር መመሪያ ጋር።

ከ1 ቢ በታች ከሆኑ ሞዴሎች በኋላ የሚመጣው ምንድን ነው

የፓራሜትር ብዛትን መቀነስ VLAን ርካሽ ለማድረግ አንዱ መንገድ ነው እንጂ በግልጽ አሸናፊው አይደለም። OpenVLA-OFT (arXiv 2502.19645) የ7 ቢ ባክቦን ይዞ የሚቆይ ሲሆን ድርጊቶች እንዴት እንደሚፈቱ ብቻ ይለውጣል፣ በድርጊት ማመንጨት ፍሰት 26x ጭማሪ እና LIBERO ከ76.5 ወደ 97.1 በመቶ ከፍ ማለቱን ሪፖርት ያደርጋል። BitVLA (arXiv 2506.07530) የ1-ቢት BitNet b1.58 2B4T ባክቦን እያንዳንዱን ክብደት ሶስትዮሽ ያደርገዋል፣ 11.0x ያነሰ ማህደረ ትውስታ እና 4.4x ዝቅተኛ ከጫፍ እስከ ጫፍ መዘግየት ሪፖርት ያደርጋል ሙሉ-ትክክለኛነት OpenVLA-OFTን ሲያሟላ። X-VLA-0.9B (arXiv 2510.10274) በፍሰት ማዛመድ ከ1 ቢ መስመር ላይ ይገኛል።

የጋራው ክር፡ መዘግየቱ የሚኖረው በድርጊት ዲኮደር እንጂ በቋንቋ ሞዴል አይደለም። አንድ ፖሊሲ ስንት ፓራሜትሮች እንዳሉት ከመጠየቅዎ በፊት ድርጊቶችን እንዴት እንደሚያወጣ ይጠይቁ። አሬና 85 ሞዴሎች እና 332 ውጤቶች አሉት፣ እያንዳንዱም ከምንጩ ጋር የተገናኘ ነው፤ ሰፋ ያለ አጠቃላይ እይታ በየእኛ የVLA መግቢያ ውስጥ ይገኛል።