Малки VLA модели: TinyVLA, SmolVLA и случаят под 1 милиард параметри

Почти всеки визуално-езиков-акционен модел, за който се пише, предполага карта за център за данни. OpenVLA е със 7 милиарда параметри. GR00T N1.7 и Pi0.5 са около 3 милиарда и изискват A100 80 GB за фина настройка. Ако картата на бюрото ви е 4090, този клас модели е недостижим.

Две статии твърдят, че не ви е необходим. TinyVLA (arXiv 2409.12514, приет от IEEE Robotics and Automation Letters през февруари 2025 г.) изгражда VLA от гръбнак с 400 милиона до 1.3 милиарда параметри плюс дифузионна глава за действие. SmolVLA (arXiv 2506.01844, подаден на 2 юни 2025 г.) предлага 450 милиона параметри с отворени тегла, отворени данни и скрипт, който работи на една потребителска карта. Ето какво измериха и двата, и къде аргументът за под-1 милиард спира да е валиден.

Какво всъщност се счита за малък VLA

Броят на параметрите в картата на модела не е едно число. Той може да означава общи тегла, тегла, заредени по време на инференция, или тегла, които получават градиенти по време на . TinyVLA отчита и двете, като разликата е голяма: TinyVLA-H е 1.3 B общо, но 143 M тренируеми, тъй като визуалната кула и по-голямата част от езиковия модел остават замразени, докато LoRA адаптерите и главата за действие се променят. Докладът посочва тренируемия дял на около 5 процента.

Два реда си струва да бъдат обсъдени. с приблизително 80 M е по-малък от всичко останало тук, но няма езиков модел, така че не е VLA: той научава една задача и не може да му бъде казано да изпълни друга. с 27 M е обусловен чрез текстов енкодер T5-Base, а не чрез LLM гръбнак. Добри базови модели, но нито един от тях не осигурява следването на инструкции, което етикетът предполага.

TinyVLA: скоростта идва от главата, не от гръбнака

Очевидното тълкуване е, че са направили езиковия модел по-малък, така че е станал по-бърз. Аблационният анализ на статията твърди обратното. Замяната на 7 B гръбнак на OpenVLA с приблизително 1 B намали предвиждането за действие от 292 ms на 140 ms, 2x увеличение. TinyVLA-H, със сравним брой параметри, работи на 14 ms на същата карта. Другото 10x е главата за действие.

OpenVLA излъчва действия като дискретизирани токени чрез главата на езиковия модел, по един за всяко измерение на действието, авторегресивно. TinyVLA прикрепя дифузионен декодер, който произвежда целия блок наведнъж. Таблица V показва архитектурата на TinyVLA-H и заменя само главата, върху същите пет задачи с реален робот. Това е най-чистото доказателство в която и да е статия за аргумента, който съпоставяне на потоци политиките правят, и причината, поради която Pi0 се отдалечи от декодирането на токени.

Какво постигна TinyVLA

Бимануалният ред има скучно обяснение, което самата статия дава: OpenVLA е предварително обучен на Open X-Embodiment, който се състои изцяло от данни за една ръка, така че пространството за действия с две ръце е извън разпределението и резултатът му е нула. Базовата линия на дифузионната политика побеждава TinyVLA-H на две от тези три задачи. Предистория в статията за Open X-Embodiment.

Хранилището на TinyVLA, към август 2026 г.

Статията е добра. Кодът е изследователска разработка. Хранилището е github.com/liyaxuanliyaxuan/TinyVLA; неговият README датира пускането на кода на 17 февруари 2025 г., а последният commit е от 11 март 2025 г. Добре е за възпроизвеждане на статия, проблем е, ако искате поддържана библиотека.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA също не чете набори от данни LeRobot. Форматът му е HDF5 в ACT стил: action, language_raw и група за наблюдения с многоизгледни изображения, joint_positions, qpos и qvel. Хранилището предоставя data_utils/rlds_to_h5py.py за RLDS вход, като всяка задача е регистрирана ръчно в aloha_scripts/constants.py с нейните dataset_dir, episode_len и camera_names. Ако вашите епизоди са дошли от lerobot или десктоп клиент, вие притежавате конверсията.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 предполага възел с осем карти. Задайте го на 1 и намалете размера на пакета доста под 32. Няма вариант с един GPU, който да се доставя нагоре по веригата, така че командата не може да бъде изпълнена дословно на 4090.
• --deepspeed scripts/zero2.json сочи към файл, който не е в директорията scripts от най-високо ниво. Конфигурациите на DeepSpeed се доставят в llava-pythia/scripts/zero2.json. Коригирайте пътя преди първото си изпълнение.
• The README изисква името на изходната директория да съдържа llava_pythia, плюс lora, ако LoRA е активирана.
• Гръбнакът е отделно изтегляне: lesjie/Llava-Pythia-400M, -700M или -1.3B. Няма единна базова контролна точка, към която да насочите политика по начина, по който насочвате към lerobot/smolvla_base.

SmolVLA: моделът под 1 милиард, който можете да стартирате този следобед

SmolVLA използва същия аргумент в поддържана библиотека. Той е с 450 M параметри на гръбнак SmolVLM2-500M-Video-Instruct, а ефективността идва от настройки, които можете да прочетете от configuration_smolvla.py, а не от твърдение, че е малък.

Предварителното обучение използва 481 общностни LeRobot набора от данни, 22.9 K епизода и 10.6 M кадъра на 4 графични процесора, 200000 стъпки при глобален пакет от 256; статията оценява целия проект на около 30 K GPU часа. Едно число за наблюдение: блогът за стартиране на Hugging Face казва 487 подбрани набора от данни, докато таблицата в статията казва 481. Ние използваме данните от статията и отбелязваме несъответствието.

Един инцидент помага: таблицата Meta-World на статията за SmolVLA съдържа собствените публикувани числа на TinyVLA като база, така че за първи път и двата модела са в една таблица, SmolVLA-0.45B при 57.3 срещу TinyVLA-H при 31.6. Също така се съобщава, че обучението на SmolVLA е около 40 процента по-бързо от Pi0 с 6 пъти по-малко памет. Всичко това идва от авторите на SmolVLA; запис в арената свързва всяка стойност с нейния източник.

Къде SmolVLA прекарва времето си

AY-Robots изброява SmolVLA на 245 ms за стъпка на действие и ACT на 20 ms в каталога с политики. TinyVLA отчита 14 ms за предсказване на действие. Тези числа не са сравними и да се третират като такива е най-честата грешка по тази тема: някои измерват едно преминаване напред, други разделят това преминаване върху част, след като групиране на действия го амортизира.

• SmolVLA излъчва 50 действия на едно преминаване напред и изпълнява всичките 50. При 30 кадъра в секунда, които статията използва за реални роботи, едно извеждане покрива около 1.7 секунди движение.
• Асинхронното извеждане изчислява следващия блок, докато текущият все още се изпълнява: 9.7 s средно време за изпълнение на задачата срещу 13.75 s синхронно, приблизително 30 процента по-бързо, и 19 цикъла на взимане и поставяне във фиксиран 60-секунден прозорец срещу 9.
• Процентът на успех беше сравним, а не по-добър, 78.3 синхронно срещу 73.3 асинхронно. Асинхронността купува пропускателна способност, не точност.
• Групирането скрива латентността на изчисленията, а не латентността на мрежата, и прави политиката по-малко реактивна, защото е обвързана с 50 действия.

Фина настройка на SmolVLA на една потребителска карта

Ръчният път, на lerobot 0.6.1, текущата PyPI версия към 23 август 2026 г. Всичко по-долу идва от документацията на Hugging Face lerobot SmolVLA, извлечена същия ден; насочваната версия е по-лесна.

1. 1
   Инсталирайте lerobot с добавката smolvla

   Зависимостите на SmolVLA са незадължителна добавка, която не е част от основната инсталация. Инсталирането без тях и последващото чудене защо типът на политиката е неизвестен е често срещана загуба на половин час.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Вземете набор от данни с достатъчно епизоди

   Документацията препоръчва около 50 епизода и посочва, че същата задача с 25 не е била достатъчна. AY-Robots определя минимума на 30. Запишете свои собствени, или започнете от директорията с набори от данни.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Стартирайте фината настройка

   Командата от ръководството на lerobot, непроменена. Документацията посочва 20000 стъпки за приблизително 4 часа на един A100. На 24 GB карта очаквайте по-дълго време и го измерете.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Намалете размера на пакета, докато пасне

   batch_size=64 е документиран пример, а не обещание за вашата карта. Документацията съветва да започнете с малък размер и да го увеличавате, докато времето за зареждане остава кратко.

   bash

   lerobot-train --help

5. 5
   Разгърнете контролната точка на рамото

   Същата библиотека, една команда. Флаговете за chunking в реално време са коментирани в документацията и са тези, към които да се обърнете при хардуер с ниска мощност.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Два начина да поставите малък VLA на роботизирано рамо

Когато малък модел е грешен избор

И двата документа са по-внимателни тук, отколкото са резюметата. Анализът на отказите на TinyVLA е специфичен: вариантът от 0.4 B се провали три пъти, като неправилно прочете инструкцията, което авторите приписват на ограниченото езиково разбиране в по-малкия VLM, и този режим изчезна при 1.3 B. SmolVLA показва същата крива от другия край: версията от 2.25 B на идентичната архитектура постига 88.75 точки на LIBERO и 68.24 на Meta-World срещу 87.3 и 57.3 за модела от 0.45 B.

Сравнението, което си струва да се направи, не е TinyVLA срещу SmolVLA. Това е SmolVLA срещу ACT на ваша собствена задача, а документът за SmolVLA е аргументът защо. Обучен за една задача без предварително обучение по роботика, SmolVLA постигна средно 40.0 точки в три SO-100 задачи, където ACT за една задача постигна 48.3. Това, което го издига до 78.3, е предварителното обучение в общността плюс многозадачното обучение, а не само архитектурата. При задачата SO-101 с лего, и двете еднозадачни, SmolVLA печели: 90 срещу 70 в разпределението. След това SmolVLA срещу Pi0.5 ако бюджетът позволява.

Таблица за решения, по която можете да действате

За последния ред, живата ръка предава на живо физически SO-100, който можете да управлявате от браузъра без акаунт, а трите начина да започнете покрива останалото. SO-100 е референтната ръка тук, приблизително 110 до 150 EUR за части, с пълно ръководство за настройка.

Какво следва след моделите под 1 милиард

Намаляването на броя на параметрите е един от начините да се направи VLA евтин и не е очевидно печелившият. OpenVLA-OFT (arXiv 2502.19645) запазва 7 милиардната основа и променя само начина, по който се декодират действията, отчитайки 26-кратно увеличение на пропускателната способност за генериране на действия и нарастване на LIBERO от 76.5 на 97.1 процента. BitVLA (arXiv 2506.07530) прави всяка тежест на 1-битова BitNet b1.58 2B4T основа троична, отчитайки 11.0x по-малко памет и 4.4x по-ниска латентност от край до край, докато съвпада с пълнопрецизния OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) се намира на линията от 1 милиард с flow matching.

Общата нишка: декодерът на действията, а не езиковият модел, е мястото, където се крие латентността. Питайте как една политика излъчва действия, преди да попитате колко параметри има. Арената има 85 модела и 332 резултата, всеки свързан със своя източник; има по-широк преглед в нашето въведение във VLA.