කුඩා VLA මාදිලි: TinyVLA, SmolVLA සහ 1B ට අඩු අවස්ථාව

සෑම දෘශ්‍ය-භාෂා-ක්‍රියාකාරී ආකෘතියක් ගැන ලියැවෙන සෑම දෙයක්ම දත්ත මධ්‍යස්ථාන කාඩ්පතක් උපකල්පනය කරයි. OpenVLA යනු පරාමිති බිලියන 7 කි. GR00T N1.7 සහ Pi0.5 බිලියන 3ක් පමණ වන අතර, සියුම් සුසර කිරීම සඳහා A100 80 GB එකක් අවශ්‍ය වේ. ඔබේ මේසය මත ඇති කාඩ්පත 4090 එකක් නම්, එම ආකෘති පන්තිය ඔබට ළඟා විය නොහැක.

පත්‍රිකා දෙකක් තර්ක කරන්නේ ඔබට එය අවශ්‍ය නොවන බවයි. TinyVLA (arXiv 2409.12514, 2025 පෙබරවාරි මාසයේදී IEEE Robotics and Automation Letters විසින් පිළිගන්නා ලදී) 400 M සිට 1.3 B දක්වා වූ මූලික ව්‍යුහයකින් සහ විසරණ ක්‍රියාකාරී ශීර්ෂයකින් VLA එකක් ගොඩනඟයි. SmolVLA (arXiv 2506.01844, 2025 ජූනි 2 දින ඉදිරිපත් කරන ලදී) විවෘත බර, විවෘත දත්ත සහ එක් පාරිභෝගික කාඩ්පතක ක්‍රියාත්මක වන ස්ක්‍රිප්ට් එකක් සමඟ පරාමිති මිලියන 450ක් නිකුත් කරයි. මෙන්න දෙකම මැන බැලූ දේ සහ බිලියන 1ට අඩු තර්කය වලංගු නොවන තැන.

ඇත්ත වශයෙන්ම කුඩා VLA එකක් ලෙස සැලකෙන්නේ කුමක්ද

මොඩලයක කාඩ්පතක ඇති පරාමිති ගණන තනි අංකයක් නොවේ. එය මුළු බර, අනුමාන කිරීමේදී පටවන ලද බර, හෝ අතරතුර අනුක්‍රමණ ලබා ගන්නා බර අදහස් කළ හැක . TinyVLA දෙකම වාර්තා කරන අතර, පරතරය විශාලය: TinyVLA-H මුළු 1.3 B වන නමුත් 143 M පුහුණු කළ හැකි වන්නේ, දෘශ්‍ය කුළුණ සහ භාෂා මොඩලයෙන් වැඩි ප්‍රමාණයක් ස්ථාවරව පවතින අතර LoRA ඇඩැප්ටර සහ ක්‍රියාකාරී ශීර්ෂය චලනය වන බැවිනි. පත්‍රිකාව පුහුණු කළ හැකි කොටස සියයට 5ක් පමණ ලෙස දක්වයි.

පේළි දෙකක් ගැන තර්ක කිරීමට වටී. දළ වශයෙන් 80 M වන අතර මෙහි ඇති අනෙක් සියල්ලට වඩා කුඩා නමුත් භාෂා මොඩලයක් නොමැති බැවින් එය VLA එකක් නොවේ: එය එක් කාර්යයක් ඉගෙන ගන්නා අතර තවත් කාර්යයක් කිරීමට එයට පැවසිය නොහැක. 27 M හි T5-Base පෙළ කේතකයක් හරහා සකස් කර ඇත, LLM පසුබිමක් හරහා නොවේ. හොඳ මූලික රේඛා, කිසිවක් ලේබලය ඇඟවුම් කරන උපදෙස් අනුගමනය කිරීම ලබා නොදේ.

TinyVLA: වේගය එන්නේ head එකෙන් මිසක් backbone එකෙන් නෙවෙයි

පැහැදිලිව පෙනෙන්නේ ඔවුන් භාෂා ආකෘතිය කුඩා කළ නිසා එය වේගවත් වූ බවයි. නමුත් පත්‍රිකාවේ ablation අධ්‍යයනයෙන් වෙනත් දෙයක් කියැවේ. OpenVLA හි 7 B backbone එක දළ වශයෙන් 1 B එකක් සමඟ මාරු කිරීමෙන් එක් ක්‍රියාවකට අනාවැකි කීම 292 ms සිට 140 ms දක්වා අඩු විය, එය 2x ක වාසියකි. TinyVLA-H, සැසඳිය හැකි පරාමිති ගණනකින් යුක්තව, එකම කාඩ්පතේ 14 ms කින් ක්‍රියාත්මක වේ. අනෙක් 10x වාසිය ලැබෙන්නේ action head එකෙනි.

OpenVLA ක්‍රියා නිකුත් කරන්නේ භාෂා ආකෘති head එක හරහා විවික්ත ටෝකන ලෙස, එක් ක්‍රියා මානයකට එකක් බැගින්, ස්වයංක්‍රීයවය. TinyVLA මඟින් diffusion decoder එකක් අමුණා ඇති අතර එය සම්පූර්ණ chunk එක එකවර නිපදවයි. Table V හි TinyVLA-H හි architecture එක අඩංගු වන අතර, එකම සැබෑ-රොබෝ කාර්යයන් පහක් මත head එක පමණක් මාරු කරයි. එය, flow matching policies මගින් සාදන බවට වන තර්කය සඳහා වන පැහැදිලිම සාක්ෂිය වන අතර, Pi0 token decoding වලින් ඉවත් වූ හේතුවයි.

TinyVLA ලබාගත් ලකුණු

ද්වි-අත් පේළියට කඩදාසියේම කම්මැලි පැහැදිලි කිරීමක් ඇත: OpenVLA පුහුණු කර ඇත්තේ Open X-Embodiment මත වන අතර, එය සම්පූර්ණයෙන්ම තනි-අත් දත්ත වලින් සමන්විත වේ, එබැවින් ද්වි-අත් ක්‍රියා අවකාශය බෙදාහැරීමෙන් පිටත වන අතර එයට ශුන්‍ය ලකුණු ලැබේ. ඩිෆියුෂන් පොලිසි බේස්ලයින් එම කාර්යයන් තුනෙන් දෙකකදී TinyVLA-H පරදවයි. පසුබිම Open X-Embodiment ලිපිය.

TinyVLA රිපෝව, 2026 අගෝස්තු වන විට

පත්‍රිකාව හොඳයි. කේතය පර්යේෂණ නිකුතුවකි. රිපෝසිටරිය github.com/liyaxuanliyaxuan/TinyVLA; එහි README කේත නිකුතුව 2025 පෙබරවාරි 17 දිනටත්, අවසාන commit එක 2025 මාර්තු 11 දිනටත් දක්වයි. පත්‍රිකාවක් ප්‍රතිනිෂ්පාදනය කිරීමට හොඳයි, නමුත් නඩත්තු කරන ලද පුස්තකාලයක් අවශ්‍ය නම් ගැටලුවකි.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA කියවන්නේද නැත LeRobot දත්ත කට්ටල. එහි ආකෘතිය ACT-විලාසිතාවේ HDF5 වේ: ක්‍රියාව, language_raw, සහ බහු-දර්ශන රූප, joint_positions, qpos සහ qvel සහිත නිරීක්ෂණ සමූහයක්. ගබඩාව RLDS ආදානය සඳහා data_utils/rlds_to_h5py.py සමඟ එන අතර, සෑම කාර්යයක්ම aloha_scripts/constants.py හි dataset_dir, episode_len සහ camera_names සමඟ අතින් ලියාපදිංචි කර ඇත. ඔබේ කථාංග lerobot හෝ ඩෙස්ක්ටොප් සේවාදායකයා වෙතින් පැමිණියේ නම්, පරිවර්තනය ඔබේ වගකීමයි.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 අට-කාඩ් නෝඩයක් උපකල්පනය කරයි. එය 1ට සකසා, බැච් ප්‍රමාණය 32ට වඩා හොඳින් අඩු කරන්න. තනි-GPU ප්‍රභේදයක් අප්ස්ට්‍රීම් නැව්ගත නොකරන බැවින්, විධානය 4090 මත එලෙසම ධාවනය කළ නොහැක.
• --deepspeed scripts/zero2.json ඉහළ මට්ටමේ scripts ඩිරෙක්ටරියේ නොමැති ගොනුවක් වෙත යොමු කරයි. DeepSpeed වින්‍යාසයන් llava-pythia/scripts/zero2.json හි නැව්ගත කෙරේ. ඔබගේ පළමු ධාවනයට පෙර මාර්ගය නිවැරදි කරන්න.
• README මඟින් ප්‍රතිදාන ඩිරෙක්ටරි නාමයට llava_pythia අඩංගු විය යුතු බවත්, LoRA සක්‍රීය නම් lora ද අඩංගු විය යුතු බවත් ඉල්ලා සිටී.
• බැක්බෝන් යනු වෙනම බාගත කිරීමකි: lesjie/Llava-Pythia-400M, -700M හෝ -1.3B. ඔබ lerobot/smolvla_base වෙත යොමු කරන ආකාරයට ප්‍රතිපත්තියක් යොමු කරන තනි මූලික චෙක්පොයින්ට් එකක් නොමැත.

SmolVLA: අද දහවල් ඔබට ධාවනය කළ හැකි 1 B ට අඩු මොඩලය

SmolVLA නඩත්තු කරන ලද පුස්තකාලයක් තුළ එකම තර්කය ඉදිරිපත් කරයි. එය SmolVLM2-500M-Video-Instruct බැක්බෝන් එකක් මත 450 M පරාමිති වන අතර, කාර්යක්ෂමතාව ලැබෙන්නේ කුඩා වීම පිළිබඳ ප්‍රකාශයකින් නොව, configuration_smolvla.py වෙතින් ඔබට කියවිය හැකි සැකසුම් වලිනි.

පූර්ව පුහුණුව සඳහා 481 ප්‍රජා LeRobot දත්ත කට්ටල, 22.9 K කථාංග සහ 10.6 M රාමු 4 GPU මත, 256 ගෝලීය කණ්ඩායමක පියවර 200000ක් භාවිතා කරන ලදී; පත්‍රිකාවට අනුව සමස්ත ව්‍යාපෘතිය සඳහා GPU පැය 30 K පමණ වැය වී ඇත. අවධානය යොමු කළ යුතු එක් අංකයක්: Hugging Face දියත් කිරීමේ බ්ලොගය 487 සකස් කළ දත්ත කට්ටල ගැන සඳහන් කරන අතර පත්‍රිකාවේ වගුවේ 481ක් සඳහන් වේ. අපි පත්‍රිකාවේ අගය භාවිතා කරන අතර මෙම නොගැලපීම සටහන් කරමු.

එක් අහඹු සිදුවීමක් උපකාරී වේ: SmolVLA පත්‍රිකාවේ Meta-World වගුව TinyVLA හිම ප්‍රකාශිත සංඛ්‍යා මූලික රේඛාවක් ලෙස දක්වයි, එබැවින් එක් වරක් ආකෘති දෙකම එක් වගුවක, SmolVLA-0.45B 57.3 ට සහ TinyVLA-H 31.6 ට ඇත. එය SmolVLA පුහුණුව Pi0 ට වඩා 6 ගුණයකින් අඩු මතකයක් මත 40% ක් පමණ වේගවත් බව ද වාර්තා කරයි. මේ සියල්ල SmolVLA කතුවරුන්ගෙන් ලැබී ඇත; එම අරීනා ඇතුළත් කිරීම එක් එක් අගය එහි මූලාශ්‍රයට සම්බන්ධ කරයි.

SmolVLA එහි කාලය ගත කරන ආකාරය

AY-Robots SmolVLA ක්‍රියා පියවරකට 245 ms ලෙසත් ACT 20 ms ලෙසත් ප්‍රතිපත්ති නාමාවලිය හි ලැයිස්තුගත කරයි. TinyVLA ක්‍රියා අනාවැකියකට 14 ms වාර්තා කරයි. එම සංඛ්‍යා සැසඳිය නොහැකි අතර, ඒවා එසේ යැයි සලකා කටයුතු කිරීම මෙම මාතෘකාවේ වඩාත් පොදු වැරැද්දයි: සමහර විට එක් ඉදිරි ගමන් මාර්ගයක්, සමහර විට එම ගමන් මාර්ගය කොටසක් හරහා බෙදා හරිනු ලබන්නේ ක්‍රියා ඛණ්ඩනය එය අමෝර්ටයිස් කරන විටය.

• SmolVLA එක් ඉදිරි ගමන් මාර්ගයකට ක්‍රියා 50ක් නිකුත් කරන අතර එම 50ම ක්‍රියාත්මක කරයි. පත්‍රිකාව සැබෑ රොබෝවරුන් මත භාවිතා කරන 30 fps වේගයෙන්, එක් අනුමානයක් චලනය වන තත්පර 1.7ක් පමණ ආවරණය කරයි.
• වත්මන් ඛණ්ඩය තවමත් ක්‍රියාත්මක වන අතරතුර අසමමුහුර්ත අනුමානය මඟින් ඊළඟ ඛණ්ඩය ගණනය කරයි: සමමුහුර්ත 13.75 s ට සාපේක්ෂව සාමාන්‍ය කාර්යය සම්පූර්ණ කිරීම 9.7 s, දළ වශයෙන් 30% ක් වේගවත් වන අතර, ස්ථාවර තත්පර 60 ක කවුළුවක් තුළ 9 ට සාපේක්ෂව pick-and-place චක්‍ර 19 ක්.
• සාර්ථකත්ව අනුපාත වඩා හොඳ නොවී සැසඳිය හැකි විය, සමමුහුර්ත 78.3 ට සාපේක්ෂව අසමමුහුර්ත 73.3. අසමමුහුර්තභාවය මඟින් නිවැරදිභාවය නොව, ඵලදායිතාව ලබා දෙයි.
• ඛණ්ඩනය මඟින් ගණනය කිරීමේ ප්‍රමාදය සඟවයි මිස ජාල ප්‍රමාදය නොවේ, තවද එය ක්‍රියා 50කට කැපවී ඇති නිසා ප්‍රතිපත්තිය අඩු ප්‍රතික්‍රියාශීලී කරයි.

එක් consumer card එකක් මත SmolVLA fine-tuning කිරීම

lerobot 0.6.1 මත, 2026 අගෝස්තු 23 වන විට වත්මන් PyPI නිකුතුව. පහත සියල්ලම Hugging Face lerobot SmolVLA documentation වෙතින්, එදිනම ලබාගත් ඒවාය; මඟ පෙන්වන ලද අනුවාදය වඩාත් පහසුය.

1. 1
   smolvla අමතර සමඟ lerobot ස්ථාපනය කරන්න

   SmolVLA යැපීම් විකල්ප අමතර කොටසක් වන අතර, මූලික ස්ථාපනයේ කොටසක් නොවේ. එය නොමැතිව ස්ථාපනය කර පසුව ප්‍රතිපත්ති වර්ගය නොදන්නේ මන්දැයි කල්පනා කිරීම සාමාන්‍යයෙන් පැය භාගයක් නාස්ති කිරීමකි.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   ප්‍රමාණවත් කථාංග සහිත දත්ත කට්ටලයක් ලබා ගන්න

   ලේඛනවල කථාංග 50ක් පමණ නිර්දේශ කරන අතර, කථාංග 25ක් සහිත එකම කාර්යය ප්‍රමාණවත් නොවූ බව සඳහන් කරයි. AY-Robots අවම වශයෙන් 30ක් නියම කරයි. ඔබේම දත්ත වාර්තා කරන්න, නැතහොත් දත්ත කට්ටල නාමාවලියෙන් ආරම්භ කරන්න.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   සියුම්-සුසර කිරීම ආරම්භ කරන්න

   lerobot මාර්ගෝපදේශයෙන් ලබාගත් විධානය, වෙනස් නොකර. ලේඛනවලට අනුව A100 එකක පියවර 20000ක් සඳහා ආසන්න වශයෙන් පැය 4ක් ගතවේ. 24 GB කාඩ්පතකදී, වැඩි කාලයක් අපේක්ෂා කර එය මැන බලන්න.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   ගැළපෙන තෙක් කණ්ඩායම් ප්‍රමාණය අඩු කරන්න

   batch_size=64 යනු ලේඛනගත උදාහරණයකි, ඔබේ කාඩ්පත පිළිබඳ පොරොන්දුවක් නොවේ. ලේඛනවල උපදෙස් දෙන්නේ කුඩාවට ආරම්භ කර, පැටවීමේ කාලය කෙටිව පවතින තාක් වැඩි කරන ලෙසයි.

   bash

   lerobot-train --help

5. 5
   චෙක්පොයින්ට් එක අත මත ක්‍රියාත්මක කරන්න

   එකම පුස්තකාලය, එක් විධානයක්. තත්‍ය කාලීන ඛණ්ඩනය කිරීමේ ධජ ලේඛනවල අදහස් දක්වා ඇති අතර, අඩු බලැති දෘඪාංග සඳහා ඒවා භාවිතා කළ යුතුය.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

කුඩා VLA එකක් අතකට ලබා ගැනීමට ක්‍රම දෙකක්

කුඩා ආකෘතියක් වැරදි තේරීමක් වන විට

සාරාංශවලට වඩා පත්‍රිකා දෙකම මෙහිදී වඩාත් ප්‍රවේශම් සහගතය. TinyVLA හි අසාර්ථක විශ්ලේෂණය නිශ්චිතය: 0.4 B ප්‍රභේදය උපදෙස් වැරදි ලෙස කියවීමෙන් තුන් වතාවක් අසාර්ථක විය, එය කතුවරුන් කුඩා VLM හි සීමිත භාෂා අවබෝධයට ආරෝපණය කරයි, එම මාදිලිය 1.3 B හිදී අතුරුදහන් විය. SmolVLA අනෙක් අන්තයෙන් එකම වක්‍රය පෙන්වයි: එකම ගෘහ නිර්මාණ ශිල්පයේ 2.25 B අනුවාදය LIBERO හි 88.75 ක් සහ Meta-World හි 68.24 ක් ලබා ගනී, 0.45 B ආකෘතිය සඳහා 87.3 සහ 57.3 ට සාපේක්ෂව.

ධාවනය කිරීමට වටිනා සංසන්දනය TinyVLA එදිරිව SmolVLA නොවේ. එය SmolVLA එදිරිව ACT ඔබේම කාර්යය මත, සහ SmolVLA පත්‍රිකාව එයට හේතුව සඳහා තර්කයයි. රොබෝ විද්‍යා පූර්ව පුහුණුවකින් තොරව තනි-කාර්යයක් ලෙස පුහුණු කරන ලද SmolVLA, තනි-කාර්ය ACT 48.3 ක් කළමනාකරණය කළ SO-100 කාර්යයන් තුනක් හරහා සාමාන්‍යයෙන් 40.0 ක් ලබා ගත්තේය. එය 78.3 දක්වා ඔසවා තබන්නේ ප්‍රජා පූර්ව පුහුණුව සහ බහු-කාර්ය පුහුණුව මිස ගෘහ නිර්මාණ ශිල්පය පමණක් නොවේ. SO-101 ලෙගෝ කාර්යය මත, තනි-කාර්ය දෙකම, SmolVLA ජය ගනී: බෙදාහැරීමේදී 70 ට එරෙහිව 90. ඉන්පසු SmolVLA එදිරිව Pi0.5 අයවැය ඉඩ දෙන්නේ නම්.

ඔබට ක්‍රියා කළ හැකි තීරණ වගුවක්

අවසාන පේළිය සඳහා, සජීවී අත ගිණුමක් නොමැතිව බ්‍රවුසරයෙන් ධාවනය කළ හැකි භෞතික SO-100 එකක් විකාශනය කරයි, තවද ආරම්භ කිරීමට ක්‍රම තුන ඉතිරිය ආවරණය කරයි. SO-100 මෙහි යොමු අත වන අතර, කොටස් සඳහා දළ වශයෙන් යුරෝ 110 සිට 150 දක්වා වැය වන අතර, සම්පූර්ණ සැකසුම් මාර්ගෝපදේශයක් ඇත.

1 B ට අඩු මාදිලිවලින් පසුව එන්නේ කුමක්ද?

පරාමිති ගණන අඩු කිරීම VLA එකක් ලාභදායී කිරීමට එක් ක්‍රමයක් වන අතර එය පැහැදිලිවම ජයග්‍රාහී ක්‍රමය නොවේ. OpenVLA-OFT (arXiv 2502.19645) 7 B බැක්බෝන් එක රඳවා තබා ගන්නා අතර ක්‍රියා විකේතනය කරන ආකාරය පමණක් වෙනස් කරයි, ක්‍රියා ජනන ධාරිතාව 26 ගුණයකින් වැඩිවීමක් සහ LIBERO 76.5 සිට 97.1 දක්වා ඉහළ යාමක් වාර්තා කරයි. BitVLA (arXiv 2506.07530) 1-bit BitNet b1.58 2B4T බැක්බෝන් එකක සෑම බරක්ම ත්‍රිත්ව බවට පත් කරයි, 11.0x අඩු මතකයක් සහ 4.4x අඩු අන්ත-සිට-අන්ත ප්‍රමාදයක් වාර්තා කරන අතර සම්පූර්ණ නිරවද්‍යතාවයෙන් යුත් OpenVLA-OFT සමඟ ගැලපේ. X-VLA-0.9B (arXiv 2510.10274) ප්‍රවාහ ගැලපීම සමඟ 1 B රේඛාවේ පිහිටා ඇත.

පොදු කරුණ: ප්‍රමාදය පවතින්නේ භාෂා ආකෘතියේ නොව, ක්‍රියා විකේතකයේ ය. ප්‍රතිපත්තියක් ක්‍රියා නිකුත් කරන්නේ කෙසේදැයි විමසීමට පෙර, එහි පරාමිති කීයක් තිබේදැයි විමසන්න. අරීනා සතුව මාදිලි 85ක් සහ ප්‍රතිඵල 332ක් ඇත, ඒ සෑම එකක්ම එහි මූලාශ්‍රයට සම්බන්ධ කර ඇත; පුළුල් දළ විශ්ලේෂණයක් අපගේ VLA හැඳින්වීම තුළ ඇත.