Шағын VLA модельдері: TinyVLA, SmolVLA және 1 миллиардтан төмен параметрлер жағдайы

Жазылған дерлік әрбір көру-тіл-әрекет моделі деректер орталығының картасын қажет етеді. OpenVLA 7 миллиард параметрден тұрады. GR00T N1.7 және Pi0.5 шамамен 3 миллиард параметрден тұрады және оларды дәл баптау үшін A100 80 ГБ қажет. Егер үстеліңіздегі карта 4090 болса, онда мұндай модельдер класы қолжетімсіз болады.

Екі мақала мұның қажет емес екенін дәлелдейді. TinyVLA (arXiv 2409.12514, 2025 жылдың ақпанында IEEE Robotics and Automation Letters журналы қабылдаған) 400 миллионнан 1.3 миллиардқа дейінгі негізгі құрылымнан және диффузиялық әрекет басынан VLA құрады. SmolVLA (arXiv 2506.01844, 2025 жылдың 2 маусымында ұсынылған) ашық салмақтармен, ашық деректермен және бір тұтынушы картасында жұмыс істейтін скриптпен 450 миллион параметрді жеткізеді. Міне, екеуі де не өлшегені және 1 миллиардтан төмен аргументтің қай жерде жарамсыз болатыны.

Шын мәнінде кішкентай VLA не болып саналады

Модель картасындағы параметрлер саны бір сан емес. Ол жалпы салмақтарды, инференция кезінде жүктелген салмақтарды немесе градиенттерді қабылдайтын салмақтарды білдіруі мүмкін . TinyVLA екеуін де хабарлайды, және айырмашылық үлкен: TinyVLA-H жалпы 1.3 B, бірақ 143 M оқытылатын, себебі визуалды мұнара мен тіл моделінің көп бөлігі қатып қалады, ал LoRA адаптерлері мен әрекет басы қозғалады. Мақалада оқытылатын үлес шамамен 5 пайызды құрайды.

Екі қатар туралы дауласуға болады. шамамен 80 M басқаларға қарағанда кішірек, бірақ тіл моделі жоқ, сондықтан ол VLA емес: ол бір тапсырманы үйренеді және оған басқа тапсырманы орындауды айту мүмкін емес. 27 M T5-Base мәтін кодтағышы арқылы шартталған, LLM негізгі архитектурасы арқылы емес. Жақсы базалық үлгілер, бірақ екеуі де белгіде көрсетілген нұсқауларды орындауды қамтамасыз етпейді.

TinyVLA: жылдамдық бас бөліктен келеді, негізгі құрылымнан емес

Айқын оқылым бойынша, олар тіл моделін кішірейткендіктен, ол жылдамырақ болды. Мақаладағы абляция керісінше дейді. OpenVLA-ның 7 B негізгі құрылымын шамамен 1 B құрылымға ауыстыру әр әрекетті болжауды 292 мс-тан 140 мс-қа дейін қысқартты, бұл 2 еселік өсім. TinyVLA-H, салыстырмалы параметр санымен, сол картада 14 мс жылдамдықпен жұмыс істейді. Қалған 10 еселік өсім әрекет басынан.

OpenVLA әрекеттерді тіл моделінің басы арқылы дискреттелген токендер ретінде шығарады, әр әрекет өлшеміне бір-бірден, авторегрессивті түрде. TinyVLA бүкіл бөлікті бірден шығаратын диффузиялық декодерді қосады. V кестесі TinyVLA-H архитектурасын көрсетеді және сол бес нақты робот тапсырмасында тек басын ауыстырады. Бұл екі мақалада да дәлелдеу үшін ең таза дәлел ағынды сәйкестендіру саясаттары жасайды, және себебі Pi0 токенді декодтаудан бас тартты.

TinyVLA қандай нәтиже көрсетті

Бимануалды қатардың өзіндік түсініктемесі бар, ол қағазда берілген: OpenVLA Open X-Embodiment-те алдын ала оқытылған, ол толығымен бір қолды деректерден тұрады, сондықтан екі қолды әрекет кеңістігі таралудан тыс және ол нөлдік ұпай жинайды. Диффузиялық саясаттың негізгі көрсеткіші TinyVLA-H-ті сол үш тапсырманың екеуінде жеңеді. Толығырақ Open X-Embodiment шолуында.

TinyVLA репозиторийі, 2026 жылдың тамыз айындағы жағдай бойынша

Мақала жақсы. Код зерттеу нәтижесі. Репозиторий github.com/liyaxuanliyaxuan/TinyVLA; оның README файлы кодтың шығарылған күнін 2025 жылдың 17 ақпаны деп көрсетеді, ал соңғы коммит 2025 жылдың 11 наурызында болған. Мақаланы қайталау үшін жақсы, бірақ егер сіз қолдау көрсетілетін кітапхананы қаласаңыз, бұл мәселе.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA сонымен қатар оқымайды LeRobot деректер жинақтары. Оның форматы ACT-стиліндегі HDF5: action, language_raw және көп көріністі кескіндер, joint_positions, qpos және qvel бар бақылаулар тобы. Репозиторий RLDS енгізу үшін data_utils/rlds_to_h5py.py файлын жеткізеді, және әр тапсырма aloha_scripts/constants.py файлында dataset_dir, episode_len және camera_names арқылы қолмен тіркеледі. Егер сіздің эпизодтарыңыз lerobot-тан немесе жұмыс үстелі клиентінен, конверсия сізге тиесілі.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 сегіз карталы түйінді болжайды. Оны 1-ге орнатып, пакет өлшемін 32-ден әлдеқайда төмен түсіріңіз. Жалғыз GPU нұсқасы жоғары ағынға жіберілмейді, сондықтан бұл команданы 4090-да дәл сол қалпында іске қосу мүмкін емес.
• --deepspeed scripts/zero2.json жоғарғы деңгейдегі scripts каталогында жоқ файлды көрсетеді. DeepSpeed конфигурациялары llava-pythia/scripts/zero2.json мекенжайында орналасқан. Алғашқы іске қосу алдында жолды түзетіңіз.
• README файлы шығыс каталогының атауында llava_pythia болуын талап етеді, сонымен қатар lora қосылған болса, lora болуы керек.
• Негізгі модель бөлек жүктеледі: lesjie/Llava-Pythia-400M, -700M немесе -1.3B. lerobot/smolvla_base-ге нұсқағандай, саясатты нұсқайтын бір базалық бақылау нүктесі жоқ.

SmolVLA: осы түстен кейін іске қосуға болатын 1 миллиардтан төмен модель

SmolVLA қолдау көрсетілетін кітапхана ішінде дәл осындай аргументті келтіреді. Ол SmolVLM2-500M-Video-Instruct негізгі моделінде 450 миллион параметрге ие, және тиімділік оның кішкентай екендігі туралы мәлімдемеден емес, configuration_smolvla.py файлынан оқуға болатын параметрлерден туындайды.

Алдын ала оқыту 481 қауымдастық LeRobot деректер жиынтығын, 22.9 K эпизодты және 10.6 M кадрды 4 GPU-да, 200000 қадамды 256 жаһандық пакетпен пайдаланды; құжат бүкіл жобаны шамамен 30 K GPU сағатына бағалайды. Назар аударатын бір сан: Hugging Face іске қосу блогында 487 таңдалған деректер жиынтығы көрсетілген, ал құжаттың кестесінде 481 делінген. Біз құжаттың санын қолданамыз және келіспеушілікті белгілейміз.

Бір кездейсоқтық көмектеседі: SmolVLA мақаласының Meta-World кестесі TinyVLA-ның өзі жариялаған сандарын базалық көрсеткіш ретінде қамтиды, сондықтан бір рет екі модель де бір кестеде орналасқан, SmolVLA-0.45B 57.3, ал TinyVLA-H 31.6. Сондай-ақ, SmolVLA жаттығуы Pi0-ге қарағанда 6 есе аз жадта шамамен 40 пайызға жылдамырақ екенін хабарлайды. Мұның бәрі SmolVLA авторларынан; арена жазбасы әрбір мәнді оның дереккөзіне сілтейді.

SmolVLA уақытын қайда жұмсайды

AY-Robots SmolVLA-ны әрекет қадамына 245 мс, ал ACT 20 мс деп көрсетеді саясат каталогында. TinyVLA әрекетті болжауға 14 мс деп хабарлайды. Бұл сандар салыстыруға келмейді, және оларды салыстыруға болатындай етіп қарастыру бұл тақырыптағы ең көп тараған қателік: кейбіреулері бір алға басуға уақыт жұмсайды, кейбіреулері оны бір бөлікке бөледі, әрекетті бөліктеу оны амортизациялағаннан кейін.

• SmolVLA бір алға басуға 50 әрекет шығарады және барлық 50 әрекетті орындайды. Мақалада нақты роботтарда қолданылатын 30 кадр/сек жылдамдықта бір қорытынды шамамен 1.7 секунд қозғалысты қамтиды.
• Асинхронды қорытынды ағымдағы бөлік әлі орындалып жатқанда келесі бөлікті есептейді: орташа тапсырманы орындау 9.7 с синхронды 13.75 с-қа қарсы, шамамен 30 пайызға жылдамырақ, және белгіленген 60 секундтық терезеде 19 таңдау-орналастыру циклі 9-ға қарсы.
• Табыс көрсеткіштері жақсырақ емес, салыстырмалы болды: синхронды 78.3 асинхронды 73.3-ке қарсы. Асинхрондылық дәлдікті емес, өткізу қабілетін арттырады.
• Бөліктеу есептеу кідірісін жасырады, желі кідірісін емес, және ол саясатты аз реактивті етеді, себебі ол 50 әрекетке міндеттелген.

SmolVLA-ны бір тұтынушы картасында дәл баптау

Қолмен жасалатын жол, lerobot 0.6.1 нұсқасында, 2026 жылғы 23 тамыздағы ағымдағы PyPI шығарылымы. Төмендегінің бәрі сол күні алынған Hugging Face lerobot SmolVLA құжаттамасынан; нұсқаулық нұсқасы жұмсағырақ.

1. 1
   lerobot-ты smolvla қосымшасымен орнату

   SmolVLA тәуелділіктері – қосымша опция, негізгі орнатудың бөлігі емес. Оны орнатпай, содан кейін саясат түрі неге белгісіз деп таңдану – жиі кездесетін жарты сағаттық шығын.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Жеткілікті эпизодтары бар деректер жинағын алу

   Құжаттар шамамен 50 эпизодты ұсынады және 25 эпизодпен бірдей тапсырманың жеткіліксіз болғанын айтады. AY-Robots ең аз мөлшерді 30 деп белгілейді. Өзіңіз жазыңыз немесе деректер жинағы каталогынан бастаңыз.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Нақтылауды бастау

   lerobot нұсқаулығындағы өзгертілмеген пәрмен. Құжаттар 20000 қадамды бір A100-де шамамен 4 сағат деп көрсетеді. 24 ГБ картада ұзағырақ болады деп күтіңіз және оны өлшеңіз.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Сыймайынша пакет өлшемін азайтыңыз

   batch_size=64 – құжатталған мысал, картаңызға қатысты уәде емес. Құжаттар жүктеу уақыты қысқа болған кезде кішігірім мөлшерден бастап, оны арттыруды ұсынады.

   bash

   lerobot-train --help

5. 5
   Бақылау нүктесін қолға жіберу

   Бірдей кітапхана, бір пәрмен. Нақты уақыттағы бөліктеу жалаушалары құжаттарда түсініктеме ретінде берілген және қуаты аз жабдықта қолдануға арналған.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Шағын VLA-ны қолға орнатудың екі жолы

Шағын модель дұрыс таңдау болмаған кезде

Екі мақала да мұнда қысқаша мазмұндарға қарағанда мұқият. TinyVLA-ның ақауларды талдауы нақты: 0.4 B нұсқасы нұсқауды қате оқу арқылы үш рет сәтсіздікке ұшырады, мұны авторлар кіші VLM-дегі шектеулі тілді түсінумен байланыстырады және бұл режим 1.3 B-да жоғалып кетті. SmolVLA сол қисықты басқа жағынан көрсетеді: бірдей архитектураның 2.25 B нұсқасы LIBERO-да 88.75 және Meta-World-да 68.24 ұпай жинады, ал 0.45 B моделі үшін 87.3 және 57.3 болды.

Жүргізуге тұрарлық салыстыру TinyVLA мен SmolVLA арасында емес. Бұл SmolVLA-ны өзіңіздің тапсырмаңызда ACT моделімен салыстыру, және SmolVLA мақаласы мұның себебін түсіндіреді. Робототехникалық алдын ала оқытусыз, бір тапсырмалы оқытылған SmolVLA үш SO-100 тапсырмасында орташа есеппен 40.0 ұпай жинады, ал бір тапсырмалы ACT 48.3 ұпай жинады. Оны 78.3-ке көтеретін нәрсе – тек архитектура емес, қауымдастық алдын ала оқытуы мен көп тапсырмалы оқыту. SO-101 лего тапсырмасында, екеуі де бір тапсырмалы болғанда, SmolVLA жеңеді: таралуда 70-ке қарсы 90. Содан кейін бюджет мүмкіндік берсе, SmolVLA-ны Pi0.5 моделімен салыстыру.

Әрекет етуге болатын шешім кестесі

Соңғы қатар үшін, тікелей қол браузерден тіркелгісіз басқаруға болатын физикалық SO-100 ағынын жібереді, және бастаудың үш жолы қалғанын қамтиды. SO-100 мұндағы эталондық қол, бөлшектері шамамен 110-нан 150 ЕУРО-ға дейін, толық орнату нұсқаулығымен.

1 миллиардтан төмен модельдерден кейін не келеді

Параметрлер санын азайту VLA-ны арзан етудің бір жолы, бірақ бұл міндетті түрде жеңімпаз жол емес. OpenVLA-OFT (arXiv 2502.19645) 7 миллиардтық негізгі құрылымды сақтайды және тек әрекеттердің қалай декодталатынын өзгертеді, әрекеттерді генерациялау өткізу қабілетінің 26 есе артқанын және LIBERO-ның 76.5-тен 97.1 пайызға дейін өскенін хабарлайды. BitVLA (arXiv 2506.07530) 1-биттік BitNet b1.58 2B4T негізгі құрылымының әрбір салмағын үштік етеді, 11.0 есе аз жадты және 4.4 есе төмен соңынан соңына дейінгі кідірісті хабарлайды, сонымен қатар толық дәлдіктегі OpenVLA-OFT-ке сәйкес келеді. X-VLA-0.9B (arXiv 2510.10274) ағын сәйкестігімен 1 миллиардтық желіде орналасқан.

Ортақ тақырып: кідіріс тіл моделінде емес, әрекет декодерінде болады. Қанша параметрі бар екенін сұрамас бұрын, саясаттың әрекеттерді қалай шығаратынын сұраңыз. Аренада 85 моделі және 332 нәтижесі бар, олардың әрқайсысы өз дереккөзіне сілтемеленген; кеңірек шолу біздің VLA кіріспесінде.