Жижиг VLA загварууд: TinyVLA, SmolVLA болон 1 тэрбумаас доош параметрийн тохиолдол

Бараг бүх хараа-хэл-үйлдэл загвар тухай бичигдсэн загварууд нь дата төвийн картыг шаарддаг. OpenVLA нь 7 тэрбум параметр юм. GR00T N1.7 болон Pi0.5 нь ойролцоогоор 3 тэрбум бөгөөд нарийн тааруулахын тулд A100 80 GB шаарддаг. Хэрэв таны ширээн дээрх карт 4090 бол, энэ төрлийн загвар нь хүртээмжгүй юм.

Хоёр судалгааны ажил үүнийг шаардлагагүй гэж үздэг. TinyVLA (arXiv 2409.12514, 2025 оны 2-р сард IEEE Robotics and Automation Letters-т хүлээн зөвшөөрөгдсөн) нь 400 саяаас 1.3 тэрбум хүртэлх нуруу болон диффузийн үйлдлийн толгойноос VLA-г бүтээдэг. SmolVLA (arXiv 2506.01844, 2025 оны 6-р сарын 2-нд ирүүлсэн) нь нээлттэй жин, нээлттэй өгөгдөл, нэг хэрэглээний карт дээр ажилладаг скрипттэй 450 сая параметрийг гаргадаг. Энд хоёулаа юу хэмжсэн, мөн 1 тэрбумаас доош гэсэн аргумент хаана хүчингүй болж байгааг харуулав.

Жижиг VLA гэж юуг тооцох вэ

Моделийн картын параметрийн тоо нь нэг тоо биш юм. Энэ нь нийт жин, дүгнэлт хийх үед ачаалагдсан жин, эсвэл градиент хүлээн авдаг жинг илэрхийлж болно . TinyVLA нь энэ хоёрыг хоёуланг нь мэдээлдэг бөгөөд зөрүү нь их: TinyVLA-H нь нийт 1.3 тэрбум боловч 143 сая нь сургах боломжтой, учир нь харааны цамхаг болон хэлний загварын ихэнх хэсэг нь хөлдүү хэвээр байхад LoRA адаптерууд болон үйлдлийн толгой хөдөлдөг. Уг баримт бичигт сургах боломжтой хувийг ойролцоогоор 5 хувь гэж заасан байна.

Хоёр мөр маргаантай байна. ойролцоогоор 80 сая нь энд байгаа бусад бүхнээс жижиг боловч хэлний загваргүй тул VLA биш юм: энэ нь нэг даалгаврыг сурч, өөр даалгавар гүйцэтгэхийг зааж чадахгүй. 27 сая нь T5-Base текст кодлогчоор дамжуулан нөхцөлдсөн бөгөөд LLM-ийн үндсэн бүтэц биш юм. Сайн суурь үзүүлэлтүүд боловч аль нь ч шошгоны заасан зааврыг дагаж мөрдөх боломжийг олгодоггүй.

TinyVLA: хурд нь толгойноос ирдэг, нуруунаас биш

Илэрхий уншигдаж байгаагаар тэд хэлний загварыг жижигрүүлсэн тул хурдан болсон. Гэвч судалгааны ажлын аблацийн шинжилгээ өөр зүйлийг харуулж байна. OpenVLA-ийн 7B нурууг ойролцоогоор 1B нуруугаар солиход үйлдлийн таамаглалыг 292 мс-ээс 140 мс болгон бууруулж, 2 дахин хурдасгасан. TinyVLA-H нь ижил төстэй параметрийн тоотой байхад ижил карт дээр 14 мс-ээр ажилладаг. Үлдсэн 10 дахин хурд нь үйлдлийн толгойноос үүдэлтэй.

OpenVLA нь үйлдлүүдийг хэлний загварын толгойгоор дамжуулан, үйлдлийн хэмжээс тус бүрт нэг нэгээр нь, авторегрессив байдлаар дискретчилсэн токен хэлбэрээр ялгаруулдаг. TinyVLA нь бүх хэсгийг нэг дор гаргадаг диффузийн декодерыг ашигладаг. Хүснэгт V нь TinyVLA-H-ийн архитектурыг харуулж, ижил таван бодит роботын даалгавар дээр зөвхөн толгойг нь сольсон. Энэ нь аль ч судалгааны ажилд хамгийн тодорхой нотолгоо болж байна урсгал тааруулах бодлогууд хийдэг, мөн шалтгаан нь Pi0 токен декодчилохоос татгалзсан.

TinyVLA-ийн гүйцэтгэл

Хоёр гарт мөрийн тайлбар нь өөрөө уйтгартай: OpenVLA нь зөвхөн нэг гарт өгөгдлөөс бүрдсэн Open X-Embodiment дээр урьдчилан сургагдсан тул хоёр гарт үйлдлийн орон зай нь тархалтаас гадуур бөгөөд тэг оноо авдаг. Диффузийн бодлогын суурь нь эдгээр гурван даалгаврын хоёрт нь TinyVLA-H-г давсан. Дэлгэрэнгүй мэдээлэл: Open X-Embodiment-ийн тайлбар.

TinyVLA репо, 2026 оны 8-р сарын байдлаар

Энэхүү цаас нь сайн. Код нь судалгааны зорилгоор гаргасан. Репозитори нь github.com/liyaxuanliyaxuan/TinyVLA; түүний README нь кодын хувилбарыг 2025 оны 2-р сарын 17-нд, сүүлийн коммитыг 2025 оны 3-р сарын 11-нд хийсэн гэж заасан байна. Цаасыг хуулбарлахад тохиромжтой, харин тогтмол арчилдаг номын сан хүсвэл асуудалтай.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA нь мөн уншдаггүй LeRobot өгөгдлийн багцууд. Түүний формат нь ACT-маягийн HDF5: action, language_raw, болон олон харагдацтай зураг, joint_positions, qpos, qvel агуулсан observations бүлэг. Репозитори нь RLDS оролтод зориулсан data_utils/rlds_to_h5py.py-ийг агуулдаг бөгөөд таск бүрийг aloha_scripts/constants.py файлд dataset_dir, episode_len, camera_names-тай нь гараар бүртгэдэг. Хэрэв таны эпизодууд lerobot эсвэл ширээний компьютер клиент-аас ирсэн бол, та хөрвүүлэлтийг өөрөө хийнэ.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 нь найман карттай төхөөрөмжийг илэрхийлнэ. Үүнийг 1 болгож, багцын хэмжээг 32-оос доош буулгана уу. Нэг GPU-тэй хувилбар нь дээд урсгалд байхгүй тул тушаалыг 4090 дээр яг таг ажиллуулах боломжгүй.
• --deepspeed scripts/zero2.json нь дээд түвшний скрипт директорт байхгүй файлыг заана. DeepSpeed тохиргоонууд нь llava-pythia/scripts/zero2.json хаягаар байрладаг. Эхний ажиллуулахаасаа өмнө замыг засна уу.
• README нь гаралтын директорын нэрэнд llava_pythia, мөн LoRA идэвхжүүлсэн бол lora-г агуулсан байхыг шаарддаг.
• Суурь загвар нь тусдаа татаж авах боломжтой: lesjie/Llava-Pythia-400M, -700M эсвэл -1.3B. lerobot/smolvla_base руу заадаг шиг бодлогыг заах нэг суурь чекпойнт байхгүй.

SmolVLA: Өнөөдөр үдээс хойш ажиллуулж болох 1 тэрбумаас бага параметр бүхий загвар

SmolVLA нь засвар үйлчилгээтэй номын санд ижил аргументыг дэвшүүлдэг. Энэ нь SmolVLM2-500M-Video-Instruct суурь загвар дээр 450 сая параметр агуулдаг бөгөөд үр ашиг нь жижиг хэмжээтэй гэсэн мэдэгдлээс бус, харин configuration_smolvla.py файлаас уншиж болох тохиргоонуудаас үүдэлтэй.

Урьдчилсан сургалтад 481 олон нийтийн LeRobot өгөгдлийн багц, 22.9 K эпизод, 10.6 M фрэймийг 4 GPUs дээр, 256-ийн глобал багцаар 200000 алхам ашигласан; уг баримт бичигт төслийн нийт хугацааг ойролцоогоор 30 K GPU цаг гэж тооцсон байна. Анхаарах нэг тоо: Hugging Face-ийн нээлтийн блогт 487 сонгомол өгөгдлийн багц гэж дурдсан бол баримт бичгийн хүснэгтэд 481 гэсэн байна. Бид баримт бичгийн тоог ашиглаж, зөрүүг тэмдэглэж байна.

Нэгэн тохиолдол тусална: SmolVLA-ийн баримт бичгийн Meta-World хүснэгтэд TinyVLA-ийн өөрийн хэвлэгдсэн тоог суурь болгон ашигласан тул нэг удаа хоёр загвар нэг хүснэгтэд багтсан байна: SmolVLA-0.45B 57.3, TinyVLA-H 31.6. Мөн SmolVLA нь Pi0-ээс 6 дахин бага санах ой ашиглан 40 хувь хурдан сургагдсан гэж мэдээлсэн. Энэ бүхэн SmolVLA-ийн зохиогчдоос гаралтай; аренагийн бичилт нь утга бүрийг эх сурвалжтай нь холбодог.

SmolVLA хаана цагаа зарцуулдаг вэ

AY-Robots нь SmolVLA-г үйлдлийн алхам тутамд 245 мс, ACT-г 20 мс гэж бодлогын каталог-т жагсаасан байна. TinyVLA нь үйлдлийн таамаглал тутамд 14 мс гэж мэдээлсэн. Эдгээр тоог харьцуулах боломжгүй бөгөөд тэдгээрийг харьцуулж үзэх нь энэ сэдвийн хамгийн түгээмэл алдаа юм: зарим нь нэг урагш дамжуулалтыг хугацаалдаг, зарим нь тэр дамжуулалтыг нэг хэсэгт хувааж, үйлдлийн хэсэгчилэл үүнийг хуваарилдаг.

• SmolVLA нь нэг урагш дамжуулалтаар 50 үйлдэл ялгаруулж, бүх 50-г гүйцэтгэдэг. Баримт бичигт бодит роботууд дээр ашигладаг 30 fps-ээр нэг дүгнэлт нь ойролцоогоор 1.7 секундын хөдөлгөөнийг хамардаг.
• Асинхрон дүгнэлт нь одоогийн хэсэг гүйцэтгэгдэж байхад дараагийн хэсгийг тооцоолно: дундаж даалгавар гүйцэтгэл 9.7 секунд, синхрон 13.75 секунд, ойролцоогоор 30 хувь хурдан, мөн тогтмол 60 секундын хугацаанд 19 сонгож байрлуулах мөчлөг, 9-ийн эсрэг.
• Амжилтын түвшин нь илүү сайн биш, харин харьцуулах боломжтой байсан: синхрон 78.3, асинхрон 73.3. Асинхрон нь нарийвчлал биш, харин гүйцэтгэлийг нэмэгдүүлдэг.
• Хэсэгчилэл нь тооцооллын хоцрогдлыг нуудаг боловч сүлжээний хоцрогдлыг нуудаггүй бөгөөд энэ нь 50 үйлдлийг гүйцэтгэхээр тогтсон тул бодлогыг бага хариу үйлдэлтэй болгодог.

SmolVLA-г нэг хэрэглээний карт дээр нарийн тааруулах

Гарын авлагын зам, lerobot 0.6.1 дээр, 2026 оны 8-р сарын 23-ны байдлаарх одоогийн PyPI хувилбар. Доорх бүх мэдээлэл нь Hugging Face lerobot SmolVLA баримт бичгээс, мөн өдөр татагдсан; удирдамжтай хувилбар нь илүү хялбар.

1. 1
   lerobot-ийг smolvla нэмэлттэйгээр суулгах

   SmolVLA-ийн хамаарал нь нэмэлт сонголт бөгөөд үндсэн суулгалтын хэсэг биш юм. Үүнийг суулгалгүйгээр бодлогын төрөл яагаад үл мэдэгдэх байгааг гайхах нь хагас цаг алдах нийтлэг шалтгаан юм.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Хангалттай ангитай өгөгдлийн сан авах

   Баримт бичигт ойролцоогоор 50 анги зөвлөж, 25 ангитай ижил даалгавар хангалтгүй байсан гэж заасан. AY-Robots хамгийн багадаа 30-ыг тогтоодог. Өөрийнхөө бичлэгийг хийх, эсвэл өгөгдлийн сангийн лавлах-аас эхлэх.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Нарийвчилсан тохируулгыг эхлүүлэх

   lerobot гарын авлагаас авсан тушаал, өөрчлөгдөөгүй. Баримт бичигт 20000 алхамыг нэг A100 дээр ойролцоогоор 4 цаг гэж заасан. 24 ГБ карт дээр илүү урт хугацаа шаардагдах тул хэмжиж үзээрэй.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Багцын хэмжээг таарах хүртэл бууруулах

   batch_size=64 нь баримтжуулсан жишээ бөгөөд таны картны талаарх амлалт биш юм. Баримт бичигт ачаалах хугацаа богино хэвээр байх үед багаас эхлээд нэмэгдүүлэхийг зөвлөж байна.

   bash

   lerobot-train --help

5. 5
   Хяналтын цэгийг гар дээр ашиглах

   Ижил сан, нэг тушаал. Бодит цагийн хэсэгчлэх флагууд нь баримт бичигт тайлбарлагдсан бөгөөд бага чадалтай техник хангамж дээр ашиглах ёстой зүйлс юм.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Жижиг VLA-г гар дээр суулгах хоёр арга

Жижиг загвар буруу сонголт байх үед

Хоёр өгүүлэл хоёулаа хураангуйгаас илүү нарийвчилсан байна. TinyVLA-ийн алдааны дүн шинжилгээ тодорхой: 0.4B хувилбар нь зааврыг буруу уншсанаас гурван удаа алдаа гаргасан бөгөөд үүнийг зохиогчид жижиг VLM-ийн хэлний ойлголт хязгаарлагдмал байсантай холбон тайлбарласан бөгөөд энэ горим 1.3B дээр алга болсон. SmolVLA нь ижил муруйг нөгөө талаас харуулж байна: ижил архитектурын 2.25B хувилбар нь LIBERO дээр 88.75, Meta-World дээр 68.24 оноо авсан бол 0.45B загвар нь 87.3 ба 57.3 оноо авсан байна.

Хийх ёстой харьцуулалт нь TinyVLA-г SmolVLA-тай харьцуулах биш. Энэ нь SmolVLA-г ACT таны өөрийн даалгавар дээр харьцуулах бөгөөд SmolVLA-ийн өгүүлэл нь яагаад гэдгийг тайлбарласан байна. Роботын урьдчилсан сургалтгүйгээр нэг даалгаварт сургагдсан SmolVLA нь гурван SO-100 даалгавар дээр дунджаар 40.0 оноо авсан бол нэг даалгаварт ACT 48.3 оноо авсан. Үүнийг 78.3 болгож өсгөсөн зүйл бол зөвхөн архитектур биш, харин олон нийтийн урьдчилсан сургалт болон олон даалгаварт сургалт юм. SO-101 лего даалгавар дээр, хоёулаа нэг даалгаварт, SmolVLA ялдаг: тархалтаар 70-ын эсрэг 90. Дараа нь SmolVLA-г Pi0.5 хэрэв төсөв зөвшөөрвөл.

Таны хэрэгжүүлж болох шийдвэрийн хүснэгт

Сүүлийн эгнээнд, шууд дамжуулалттай гар нь таныг бүртгэлгүйгээр хөтөчөөс удирдах боломжтой бодит SO-100-г дамжуулдаг бөгөөд, эхлүүлэх гурван арга нь бусдыг хамарна. SO-100 нь энд лавлагаа гар бөгөөд, эд ангиудад ойролцоогоор 110-150 EUR үнэтэй, мөн бүрэн тохиргооны гарын авлагатай.

1 тэрбумаас доош загваруудын дараа юу ирэх вэ

Параметрийн тоог багасгах нь VLA-г хямд болгох нэг арга боловч ялалт авчрах нь тодорхойгүй. OpenVLA-OFT (arXiv 2502.19645) нь 7 тэрбум нурууг хадгалж, үйлдлийг хэрхэн тайлбарлахыг л өөрчилснөөр үйлдлийн үүсгэлтийн хурдыг 26 дахин нэмэгдүүлж, LIBERO-г 76.5-аас 97.1 хувь хүртэл өсгөсөн байна. BitVLA (arXiv 2506.07530) нь 1-битийн BitNet b1.58 2B4T нурууны жин бүрийг гуравласан болгож, бүрэн нарийвчлалтай OpenVLA-OFT-тэй тэнцэхүйц байхад санах ойг 11.0 дахин багасгаж, төгсгөлөөс төгсгөл хүртэлх хоцролтыг 4.4 дахин бууруулсан байна. X-VLA-0.9B (arXiv 2510.10274) нь урсгалын тааруулалттайгаар 1 тэрбумын шугам дээр байрладаг.

Нийтлэг зүйл: хоцролт нь хэлний загварт бус, үйлдлийн декодерт байдаг. Бодлого хэдэн параметр агуулдаг вэ гэж асуухаасаа өмнө хэрхэн үйлдэл ялгаруулдаг вэ гэж асуу. арена нь 85 загвар, 332 үр дүнтэй бөгөөд тус бүр нь эх сурвалжтайгаа холбогдсон; илүү өргөн хүрээтэй тоймыг манай VLA танилцуулгад үзнэ үү.