Малые модели VLA: TinyVLA, SmolVLA и случай с менее чем 1 миллиардом параметров

Почти каждая визуально-языковая модель действий, о которой пишут, предполагает использование карты для дата-центра. OpenVLA имеет 7 миллиардов параметров. GR00T N1.7 и Pi0.5 имеют около 3 миллиардов параметров и требуют A100 80 ГБ для дообучения. Если на вашем столе стоит карта 4090, этот класс моделей недоступен.

Две статьи утверждают, что это не требуется. TinyVLA (arXiv 2409.12514, принятая IEEE Robotics and Automation Letters в феврале 2025 года) строит VLA на основе архитектуры от 400 миллионов до 1.3 миллиарда параметров с диффузионной головой действий. SmolVLA (arXiv 2506.01844, представленная 2 июня 2025 года) поставляется с 450 миллионами параметров, открытыми весами, открытыми данными и скриптом, который запускается на одной потребительской карте. Вот что измерили обе модели, и где аргумент о моделях менее 1 миллиарда параметров перестает быть актуальным.

Что на самом деле считается небольшой VLA

Количество параметров в карточке модели — это не одно число. Оно может означать общее количество весов, веса, загруженные при инференсе, или веса, которые получают градиенты во время . TinyVLA сообщает оба значения, и разрыв велик: TinyVLA-H имеет 1.3 B общих параметров, но 143 M обучаемых, потому что визуальный модуль и большая часть языковой модели остаются замороженными, в то время как адаптеры LoRA и головка действий изменяются. В статье указана обучаемая доля около 5 процентов.

Две строки заслуживают обсуждения. с примерно 80 M параметров меньше всего остального здесь, но не имеет языковой модели, поэтому это не VLA: она изучает одну задачу и не может быть обучена выполнять другую. с 27 M параметров обусловлена через текстовый кодировщик T5-Base, а не через основу LLM. Хорошие базовые модели, но ни одна из них не обеспечивает следования инструкциям, которое подразумевает название.

TinyVLA: скорость исходит от головы, а не от основы

Очевидное предположение состоит в том, что они уменьшили языковую модель, и поэтому она стала быстрее. Абляция в статье говорит об обратном. Замена основы OpenVLA с 7 B на примерно 1 B сократила время предсказания на действие с 292 мс до 140 мс, что является 2-кратным ускорением. TinyVLA-H, при сопоставимом количестве параметров, работает со скоростью 14 мс на той же карте. Остальное 10-кратное ускорение обеспечивает головка действий.

OpenVLA выдает действия в виде дискретизированных токенов через головку языковой модели, по одному на каждое измерение действия, авторегрессивно. TinyVLA использует диффузионный декодер, который производит весь фрагмент за один раз. Таблица V содержит архитектуру TinyVLA-H и меняет только головку, на тех же пяти задачах реального робота. Это самое чистое доказательство в обеих статьях в пользу аргумента сопоставление потоков политик, и причина, по которой Pi0 отказался от декодирования токенов.

Результаты TinyVLA

Бимануальный ряд имеет скучное объяснение, которое даёт сама статья: OpenVLA предварительно обучен на Open X-Embodiment, который полностью состоит из данных для одной руки, поэтому пространство действий для двух рук находится вне распределения, и он набирает ноль. Базовая модель с диффузионной политикой превосходит TinyVLA-H в двух из этих трёх задач. Подробности в статье об Open X-Embodiment.

Репозиторий TinyVLA, по состоянию на август 2026 года

Статья хорошая. Код — это исследовательская версия. Репозиторий находится по адресу github.com/liyaxuanliyaxuan/TinyVLA; его README датирует выпуск кода 17 февраля 2025 года, а последний коммит — 11 марта 2025 года. Это хорошо для воспроизведения статьи, но проблема, если вам нужна поддерживаемая библиотека.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA также не читает наборы данных LeRobot. Его формат — HDF5 в стиле ACT: action, language_raw и группа наблюдений с многоракурсными изображениями, joint_positions, qpos и qvel. Репозиторий поставляется с data_utils/rlds_to_h5py.py для ввода RLDS, и каждая задача регистрируется вручную в aloha_scripts/constants.py с указанием dataset_dir, episode_len и camera_names. Если ваши эпизоды получены из lerobot или десктопного клиента, преобразование лежит на вас.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 предполагает узел с восемью картами. Установите его на 1 и значительно уменьшите размер пакета ниже 32. Вариант с одной GPU не поставляется в основной ветке, поэтому команду нельзя запустить дословно на 4090.
• --deepspeed scripts/zero2.json указывает на файл, который находится не в корневом каталоге scripts. Конфигурации DeepSpeed поставляются в llava-pythia/scripts/zero2.json. Исправьте путь перед первым запуском.
• README требует, чтобы имя выходного каталога содержало llava_pythia, а также lora, если LoRA включена.
• Базовая модель загружается отдельно: lesjie/Llava-Pythia-400M, -700M или -1.3B. Нет единой базовой контрольной точки, на которую вы указываете политику так, как вы указываете на lerobot/smolvla_base.

SmolVLA: модель менее 1 миллиарда параметров, которую можно запустить сегодня днем

SmolVLA приводит тот же аргумент внутри поддерживаемой библиотеки. Она имеет 450 миллионов параметров на основе SmolVLM2-500M-Video-Instruct, и эффективность достигается за счет настроек, которые можно прочитать из configuration_smolvla.py, а не за счет утверждения о ее малом размере.

Предварительное обучение использовало 481 набор данных сообщества LeRobot, 22,9 тыс. эпизодов и 10,6 млн кадров на 4 GPU, 200000 шагов при глобальном размере пакета 256; в статье весь проект оценивается примерно в 30 тыс. GPU-часов. Одна цифра, на которую стоит обратить внимание: в блоге Hugging Face о запуске говорится о 487 отобранных наборах данных, тогда как в таблице статьи указано 481. Мы используем данные из статьи и отмечаем расхождение.

Один случай помогает: таблица Meta-World в статье SmolVLA содержит опубликованные числа TinyVLA в качестве базового уровня, так что впервые обе модели находятся в одной таблице: SmolVLA-0.45B с результатом 57.3 против TinyVLA-H с 31.6. Также сообщается, что обучение SmolVLA примерно на 40 процентов быстрее, чем Pi0, и требует в 6 раз меньше памяти. Все это получено от авторов SmolVLA; запись в арене ссылается на источник каждого значения.

Куда SmolVLA тратит свое время

AY-Robots указывает SmolVLA со временем 245 мс на шаг действия и ACT со временем 20 мс в каталоге политик. TinyVLA сообщает о 14 мс на предсказание действия. Эти числа несопоставимы, и рассматривать их как таковые — самая распространенная ошибка в этой теме: некоторые измеряют время одного прямого прохода, другие делят этот проход на чанк, когда разбиение действий на чанки амортизирует его.

• SmolVLA выдает 50 действий за один прямой проход и выполняет все 50. При 30 кадрах в секунду, используемых в статье для реальных роботов, один вывод охватывает около 1.7 секунды движения.
• Асинхронный вывод вычисляет следующий чанк, пока текущий еще выполняется: 9.7 с среднее время выполнения задачи против 13.75 с синхронного, примерно на 30 процентов быстрее, и 19 циклов захвата и размещения в фиксированном 60-секундном окне против 9.
• Показатели успешности были сопоставимы, а не лучше: 78.3 синхронно против 73.3 асинхронно. Асинхронность обеспечивает пропускную способность, а не точность.
• Разбиение на чанки скрывает задержку вычислений, а не задержку сети, и делает политику менее реактивной, поскольку она привязана к 50 действиям.

Тонкая настройка SmolVLA на одной потребительской карте

Ручной путь, на lerobot 0.6.1, текущий релиз PyPI по состоянию на 23 августа 2026 года. Все нижеследующее взято из документации Hugging Face lerobot SmolVLA, полученной в тот же день; версия с руководством более щадящая.

1. 1
   Установка lerobot с дополнением smolvla

   Зависимости SmolVLA являются необязательным дополнением и не входят в базовую установку. Установка без них, а затем недоумение, почему тип политики неизвестен, — это часто теряемые полчаса.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Получите набор данных с достаточным количеством эпизодов

   Документация рекомендует около 50 эпизодов и утверждает, что 25 эпизодов для той же задачи было недостаточно. AY-Robots устанавливает минимум в 30. Запишите свои собственные или начните с каталога наборов данных.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Начать дообучение

   Команда из руководства lerobot, без изменений. Документация указывает, что 20000 шагов занимают примерно 4 часа на одной A100. На карте с 24 ГБ ожидайте большего времени и измерьте его.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Уменьшите размер пакета, пока он не подойдет

   batch_size=64 — это документированный пример, а не обещание относительно вашей карты. Документация советует начинать с малого и увеличивать размер пакета, пока время загрузки остается коротким.

   bash

   lerobot-train --help

5. 5
   Развернуть контрольную точку на манипуляторе

   Та же библиотека, одна команда. Флаги для чанкинга в реальном времени закомментированы в документации и предназначены для использования на маломощном оборудовании.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Два способа установить небольшой VLA на манипулятор

Когда маленькая модель — неправильный выбор

Обе статьи здесь более осторожны, чем их краткие изложения. Анализ отказов TinyVLA специфичен: вариант 0.4 B трижды ошибался при чтении инструкции, что авторы объясняют ограниченным пониманием языка в меньшей VLM, и этот режим исчез при 1.3 B. SmolVLA показывает ту же кривую с другого конца: версия 2.25 B идентичной архитектуры набирает 88.75 баллов на LIBERO и 68.24 на Meta-World против 87.3 и 57.3 для модели 0.45 B.

Сравнение, которое стоит провести, — это не TinyVLA против SmolVLA. Это SmolVLA против ACT на вашей собственной задаче, и статья SmolVLA является аргументом в пользу этого. Обученная однозадачно без предварительного обучения робототехнике, SmolVLA показала в среднем 40.0 баллов по трем задачам SO-100, где однозадачная ACT набрала 48.3. Что поднимает ее до 78.3, так это предварительное обучение сообществом плюс многозадачное обучение, а не только архитектура. В задаче SO-101 с лего, обе однозадачные, SmolVLA действительно выигрывает: 90 против 70 в распределении. Затем SmolVLA против Pi0.5 если позволяет бюджет.

Таблица решений, по которой можно действовать

Для последней строки, живая рука транслирует физический SO-100, которым можно управлять из браузера без учетной записи, а три способа начать охватывают остальное. SO-100 является здесь эталонной рукой, стоимостью примерно от 110 до 150 евро в запчастях, с полным руководством по настройке.

Что идет после моделей с числом параметров менее 1 млрд

Сокращение количества параметров — один из способов сделать VLA дешевым, но не обязательно выигрышный. OpenVLA-OFT (arXiv 2502.19645) сохраняет 7-миллиардную основу и изменяет только способ декодирования действий, сообщая о 26-кратном увеличении пропускной способности генерации действий и росте LIBERO с 76,5 до 97,1 процента. BitVLA (arXiv 2506.07530) делает каждый вес 1-битной основы BitNet b1.58 2B4T троичным, сообщая о 11,0-кратном снижении потребления памяти и 4,4-кратном снижении сквозной задержки при сохранении точности OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) находится на линии 1 миллиарда с согласованием потоков.

Общая нить: задержка кроется в декодере действий, а не в языковой модели. Сначала спросите, как политика генерирует действия, а потом уже о количестве ее параметров. Арена содержит 85 моделей и 332 результата, каждый из которых связан со своим источником; более широкий обзор представлен в нашем введении в VLA.