Малі моделі VLA: TinyVLA, SmolVLA та випадок до 1 мільярда параметрів

Майже кожна візіо-мовна модель дії, про яку пишуть, передбачає використання карти для датацентрів. OpenVLA має 7 B параметрів. GR00T N1.7 та Pi0.5 мають близько 3 B параметрів і потребують A100 80 GB для донавчання. Якщо на вашому столі стоїть карта 4090, цей клас моделей недосяжний.

Дві статті стверджують, що це не потрібно. TinyVLA (arXiv 2409.12514, прийнята IEEE Robotics and Automation Letters у лютому 2025 року) створює VLA з основи від 400 M до 1.3 B плюс дифузійну голову дії. SmolVLA (arXiv 2506.01844, подана 2 червня 2025 року) поставляється з 450 M параметрами, відкритими вагами, відкритими даними та скриптом, який працює на одній споживчій карті. Ось що виміряли обидві, і де аргумент про моделі менше 1 B перестає бути актуальним.

Що насправді вважається малою VLA

Кількість параметрів на картці моделі не є одним числом. Вона може означати загальну кількість ваг, ваги, завантажені під час висновку, або ваги, які отримують градієнти під час . TinyVLA повідомляє обидва значення, і розрив великий: TinyVLA-H має 1.3 B загальних параметрів, але 143 M тренованих, оскільки візуальна частина та більша частина мовної моделі залишаються замороженими, тоді як адаптери LoRA та голова дії рухаються. У статті зазначено, що частка тренованих параметрів становить близько 5 відсотків.

Два рядки варто обговорити. з приблизно 80 M менший за все інше тут, але не має мовної моделі, тому це не VLA: він вивчає одне завдання і не може бути навчений робити інше. з 27 M обумовлений через текстовий кодувальник T5-Base, а не основу LLM. Хороші базові моделі, жодна з них не забезпечує виконання інструкцій, які передбачає назва.

TinyVLA: швидкість походить від голови, а не від основи

Очевидне тлумачення полягає в тому, що вони зменшили мовну модель, тому вона стала швидшою. Аблаційне дослідження в статті стверджує протилежне. Заміна 7 B основи OpenVLA на приблизно 1 B зменшила передбачення на дію з 292 мс до 140 мс, що є 2-кратним прискоренням. TinyVLA-H, з порівнянною кількістю параметрів, працює за 14 мс на тій самій карті. Інші 10x — це голова дії.

OpenVLA видає дії як дискретизовані токени через голову мовної моделі, по одному на вимір дії, авторегресійно. TinyVLA приєднує дифузійний декодер, який виробляє весь фрагмент за один раз. Таблиця V містить архітектуру TinyVLA-H і змінює лише голову, на тих самих п'яти завданнях реального робота. Це найчистіший доказ у будь-якій статті для аргументу, який зіставлення потоків політики створюють, і причина, чому Pi0 відійшов від декодування токенів.

Які результати показав TinyVLA

Рядок бімануальних завдань має нудне пояснення, яке дає сама стаття: OpenVLA попередньо навчений на Open X-Embodiment, який повністю складається з даних для однієї руки, тому простір дій для двох рук є поза розподілом, і він отримує нуль балів. Базова модель дифузійної політики перевершує TinyVLA-H у двох із цих трьох завдань. Довідкова інформація в описі Open X-Embodiment.

Репозиторій TinyVLA, станом на серпень 2026 року

Стаття хороша. Код є дослідницьким випуском. Репозиторій — github.com/liyaxuanliyaxuan/TinyVLA; його README датує випуск коду 17 лютого 2025 року, а останній коміт — 11 березня 2025 року. Це добре для відтворення статті, але проблема, якщо ви хотіли підтримувану бібліотеку.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA також не читає набори даних LeRobot. Його формат — HDF5 у стилі ACT: action, language_raw та група спостережень з багатокамерними зображеннями, joint_positions, qpos та qvel. Репозиторій постачає data_utils/rlds_to_h5py.py для вхідних даних RLDS, і кожне завдання реєструється вручну в aloha_scripts/constants.py з його dataset_dir, episode_len та camera_names. Якщо ваші епізоди надійшли з lerobot або десктопного клієнта, ви відповідаєте за конвертацію.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 припускає вузол з вісьмома картами. Встановіть його на 1 і значно зменшіть розмір пакету (batch size) нижче 32. Жоден варіант для однієї відеокарти не постачається в основній гілці, тому команду не можна запустити дослівно на 4090.
• --deepspeed scripts/zero2.json вказує на файл, який не знаходиться в кореневому каталозі scripts. Конфігурації DeepSpeed постачаються за адресою llava-pythia/scripts/zero2.json. Виправте шлях перед першим запуском.
• README вимагає, щоб назва вихідного каталогу містила llava_pythia, а також lora, якщо LoRA увімкнено.
• Основа (backbone) завантажується окремо: lesjie/Llava-Pythia-400M, -700M or -1.3B. Немає єдиної базової контрольної точки, на яку ви вказуєте політику так, як ви вказуєте на lerobot/smolvla_base.

SmolVLA: модель менше 1 мільярда параметрів, яку ви можете запустити вже сьогодні вдень

SmolVLA використовує той самий підхід у підтримуваній бібліотеці. Вона має 450 мільйонів параметрів на основі SmolVLM2-500M-Video-Instruct, а ефективність походить від налаштувань, які ви можете прочитати з configuration_smolvla.py, а не від заяви про її малий розмір.

Попереднє навчання використовувало 481 набір даних спільноти LeRobot, 22.9 тис. епізодів та 10.6 млн кадрів на 4 графічних процесорах, 200000 кроків при глобальному розмірі пакету 256; у статті зазначено, що весь проєкт зайняв близько 30 тис. годин GPU. Один показник, на який варто звернути увагу: блог Hugging Face про запуск говорить про 487 відібраних наборів даних, тоді як таблиця в статті вказує 481. Ми використовуємо дані зі статті та відзначаємо розбіжність.

Один випадок допомагає: таблиця Meta-World у статті SmolVLA містить власні опубліковані дані TinyVLA як базові, тож цього разу обидві моделі знаходяться в одній таблиці: SmolVLA-0.45B на 57.3 проти TinyVLA-H на 31.6. Також повідомляється, що навчання SmolVLA відбувається приблизно на 40 відсотків швидше, ніж Pi0, використовуючи в 6 разів менше пам'яті. Усе це походить від авторів SmolVLA; запис арени посилається на джерело кожного значення.

На що SmolVLA витрачає свій час

AY-Robots вказує SmolVLA на 245 мс за крок дії, а ACT на 20 мс у каталозі політик. TinyVLA повідомляє 14 мс на передбачення дії. Ці числа не порівнянні, і розглядати їх як такі є найпоширенішою помилкою в цій темі: деякі вимірюють один прямий прохід, деякі ділять цей прохід на фрагмент, коли розбиття дій на фрагменти амортизує його.

• SmolVLA генерує 50 дій за один прямий прохід і виконує всі 50. При 30 кадрах на секунду, які використовуються в статті для реальних роботів, один висновок охоплює близько 1.7 секунди руху.
• Асинхронний висновок обчислює наступний фрагмент, поки поточний ще виконується: 9.7 с середнього часу виконання завдання проти 13.75 с синхронного, приблизно на 30 відсотків швидше, і 19 циклів захоплення та розміщення за фіксоване 60-секундне вікно проти 9.
• Показники успішності були порівнянними, а не кращими: 78.3 синхронно проти 73.3 асинхронно. Асинхронність забезпечує пропускну здатність, а не точність.
• Розбиття на фрагменти приховує затримку обчислень, а не затримку мережі, і робить політику менш реактивною, оскільки вона зобов'язана виконати 50 дій.

Додаткове налаштування SmolVLA на одній споживчій карті

Ручний шлях, на lerobot 0.6.1, поточний випуск PyPI станом на 23 серпня 2026 року. Все нижче взято з документації Hugging Face lerobot SmolVLA, отриманої того ж дня; керована версія є м'якшою.

1. 1
   Встановіть lerobot з додатком smolvla

   Залежності SmolVLA є необов'язковим доповненням, не частиною базової інсталяції. Встановлення без них, а потім здивування, чому тип політики невідомий, — це звичайна втрата півгодини.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Отримайте набір даних з достатньою кількістю епізодів

   Документація рекомендує близько 50 епізодів і стверджує, що того ж завдання з 25 було недостатньо. AY-Robots встановлює мінімум на 30. Запишіть власні або почніть з каталогу наборів даних.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Почніть доналаштування

   Команда з посібника lerobot, без змін. Документація вказує 20000 кроків приблизно за 4 години на одній A100. На карті 24 ГБ очікуйте довше і виміряйте це.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Зменшуйте розмір пакету, доки він не підійде

   batch_size=64 — це задокументований приклад, а не обіцянка щодо вашої карти. Документація радить починати з малого і збільшувати, поки час завантаження залишається коротким.

   bash

   lerobot-train --help

5. 5
   Розгорніть контрольну точку на маніпуляторі

   Та сама бібліотека, одна команда. Прапори для розбиття на частини в реальному часі закоментовані в документації і є тими, до яких варто звертатися на апаратному забезпеченні з низьким енергоспоживанням.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Два способи встановити невеликий VLA на маніпулятор

Коли мала модель є неправильним вибором

Обидві статті тут обережніші, ніж їхні резюме. Аналіз відмов TinyVLA є специфічним: варіант 0.4 B тричі не зміг правильно прочитати інструкцію, що автори пояснюють обмеженим розумінням мови в меншій VLM, і цей режим зник при 1.3 B. SmolVLA показує ту саму криву з іншого кінця: версія 2.25 B ідентичної архітектури набирає 88.75 на LIBERO та 68.24 на Meta-World проти 87.3 та 57.3 для моделі 0.45 B.

Порівняння, яке варто провести, це не TinyVLA проти SmolVLA. Це SmolVLA проти ACT на вашому власному завданні, і стаття SmolVLA є аргументом, чому. Навчена на одному завданні без попереднього навчання робототехніці, SmolVLA набрала в середньому 40.0 балів у трьох завданнях SO-100, тоді як однозадачна ACT набрала 48.3. Те, що піднімає її до 78.3, це попереднє навчання спільноти плюс багатозадачне навчання, а не лише архітектура. У завданні SO-101 з лего, обидві однозадачні, SmolVLA перемагає: 90 проти 70 у розподілі. Потім SmolVLA проти Pi0.5 якщо дозволяє бюджет.

Таблиця рішень, за якою можна діяти

Для останнього рядка, живий маніпулятор транслює фізичний SO-100, яким можна керувати з браузера без облікового запису, а три способи початку роботи охоплюють решту. SO-100 є тут еталонним маніпулятором, вартістю приблизно від 110 до 150 євро за запчастини, з повним посібником з налаштування.

Що йде після моделей з менш ніж 1 мільярдом параметрів

Зменшення кількості параметрів — це один зі способів зробити VLA дешевим, але не очевидно, що він є виграшним. OpenVLA-OFT (arXiv 2502.19645) зберігає 7-мільярдну основу та змінює лише спосіб декодування дій, повідомляючи про 26-кратне збільшення пропускної здатності генерації дій та зростання LIBERO з 76.5 до 97.1 відсотка. BitVLA (arXiv 2506.07530) робить кожну вагу 1-бітної основи BitNet b1.58 2B4T тернарною, повідомляючи про 11.0-кратне зменшення пам'яті та 4.4-кратне зниження наскрізної затримки, при цьому відповідаючи повноточній OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) знаходиться на межі 1 мільярда параметрів з методом flow matching.

Спільна нитка: декодер дій, а не мовна модель, є джерелом затримки. Запитайте, як політика видає дії, перш ніж запитувати, скільки параметрів вона має. Арена містить 85 моделей та 332 результати, кожен з яких пов'язаний зі своїм джерелом; ширший огляд представлений у нашому вступі до VLA.