Мали VLA модели: TinyVLA, SmolVLA и случајот под 1 милијарда параметри

Речиси секој визио-јазичен-акционен модел за кој се пишува претпоставува картичка за центар за податоци. OpenVLA е со 7 милијарди параметри. GR00T N1.7 и Pi0.5 се околу 3 милијарди и бараат A100 80 GB за фино подесување. Ако картичката на вашето биро е 4090, таа класа на модели е недостапна.

Два труда тврдат дека не ви е потребна. TinyVLA (arXiv 2409.12514, прифатен од IEEE Robotics and Automation Letters во февруари 2025) гради VLA од основа од 400 милиони до 1.3 милијарди параметри плус глава за дифузна акција. SmolVLA (arXiv 2506.01844, поднесен на 2 јуни 2025) испорачува 450 милиони параметри со отворени тежини, отворени податоци и скрипта што работи на една потрошувачка картичка. Еве што измерија и двата, и каде аргументот за под-1 милијарда престанува да важи.

Што всушност се смета за мал VLA

Бројот на параметри на картичката на моделот не е еден број. Може да значи вкупни тежини, тежини вчитани при заклучување, или тежини кои примаат градиенти за време на . TinyVLA ги пријавува и двете, а разликата е голема: TinyVLA-H е 1.3 B вкупно, но 143 M тренирачки, бидејќи визуелната кула и поголемиот дел од јазичниот модел остануваат замрзнати додека LoRA адаптерите и акционата глава се движат. Трудот го проценува тренирачкиот удел на околу 5 проценти.

Две редици вреди да се дискутираат. со приближно 80 M е помал од сè друго овде, но нема јазичен модел, па затоа не е VLA: учи една задача и не може да му се каже да прави друга. со 27 M е условен преку текстуален енкодер T5-Base, а не преку LLM основа. Добри основни линии, ниту еден не ви дава следење на инструкциите што ги подразбира етикетата.

TinyVLA: брзината доаѓа од главата, а не од 'backbone'

Очигледното толкување е дека го направиле јазичниот модел помал, па станал побрз. Аблацијата во трудот вели поинаку. Замената на 7 B 'backbone' на OpenVLA со приближно 1 B го намали предвидувањето по акција од 292 ms на 140 ms, што е добивка од 2 пати. TinyVLA-H, со споредлив број на параметри, работи на 14 ms на истата картичка. Другите 10 пати е 'action head'.

OpenVLA емитува акции како дискретизирани токени преку 'language model head', по еден за секоја димензија на акција, авторегресивно. TinyVLA прикачува дифузен декодер кој го произведува целиот дел одеднаш. Табела V ја содржи архитектурата на TinyVLA-H и го менува само 'head', на истите пет задачи со вистински роботи. Тоа е најчистиот доказ во кој било труд за аргументот совпаѓање на проток политиките ги прават, и причината Pi0 се оддалечи од декодирањето на токени.

Што постигна TinyVLA

Бимануалниот ред има досадно објаснување кое самата статија го дава: OpenVLA е претходно трениран на Open X-Embodiment, кој се состои исклучиво од податоци со една рака, така што акциониот простор со две раце е надвор од дистрибуција и постигнува нула. Базната линија на дифузионата политика го надминува TinyVLA-H на две од тие три задачи. Позадина во написот за Open X-Embodiment.

Репозиториумот TinyVLA, од август 2026 година

Статијата е добра. Кодот е истражувачки испуст. Репозиториумот е github.com/liyaxuanliyaxuan/TinyVLA; неговиот README го датира објавувањето на кодот на 17 февруари 2025 година, а последниот commit е на 11 март 2025 година. Добро за репродукција на статија, проблем ако сакате одржувана библиотека.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA исто така не чита LeRobot податочни множества. Неговиот формат е HDF5 во ACT-стил: action, language_raw, и група за набљудувања со слики од повеќе погледи, joint_positions, qpos и qvel. Складиштето испорачува data_utils/rlds_to_h5py.py за RLDS влез, и секоја задача е рачно регистрирана во aloha_scripts/constants.py со нејзиниот dataset_dir, episode_len и camera_names. Ако вашите епизоди дојдоа од lerobot или десктоп клиент, вие сте одговорни за конверзијата.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 претпоставува јазол со осум картички. Поставете го на 1 и намалете ја големината на серијата (batch size) далеку под 32. Нема варијанта со една графичка картичка (single-GPU) која се испорачува нагоре, така што командата не може да се изврши буквално на 4090.
• --deepspeed scripts/zero2.json покажува кон датотека која не е во директориумот scripts на највисоко ниво. Конфигурациите на DeepSpeed се испорачуваат на llava-pythia/scripts/zero2.json. Поправете ја патеката пред првото извршување.
• README бара името на излезниот директориум да содржи llava_pythia, плус lora ако е овозможен LoRA.
• Основата (backbone) е посебно преземање: lesjie/Llava-Pythia-400M, -700M или -1.3B. Нема единствена основна контролна точка (base checkpoint) на која насочувате политика на начинот на кој насочувате кон lerobot/smolvla_base.

SmolVLA: моделот под 1 милијарда параметри што можете да го извршите ова попладне

SmolVLA го изнесува истиот аргумент во рамките на одржувана библиотека. Тој има 450 милиони параметри на основа SmolVLM2-500M-Video-Instruct, а ефикасноста доаѓа од поставките што можете да ги прочитате од configuration_smolvla.py, наместо од тврдењето дека е мал.

Предтренингот користеше 481 LeRobot збирки податоци од заедницата, 22.9 K епизоди и 10.6 M рамки на 4 графички процесори, 200000 чекори со глобална серија од 256; трудот го проценува целиот проект на околу 30 K GPU часа. Еден број за следење: блогот за лансирање на Hugging Face наведува 487 курирани збирки податоци, додека табелата во трудот наведува 481. Ние ја користиме бројката од трудот и го означуваме несогласувањето.

Една случајност помага: табелата Meta-World од трудот за SmolVLA ги содржи објавените бројки на TinyVLA како почетна точка, така што за прв пат двата модели се наоѓаат во една табела, SmolVLA-0.45B со 57.3 наспроти TinyVLA-H со 31.6. Исто така, се известува дека обуката на SmolVLA е околу 40 проценти побрза од Pi0 со 6 пати помалку меморија. Сето тоа доаѓа од авторите на SmolVLA; влезот во арената ги поврзува секоја вредност со нејзиниот извор.

Каде SmolVLA го поминува своето време

AY-Robots го наведува SmolVLA на 245 ms по чекор на акција и ACT на 20 ms во каталогот на политики. TinyVLA известува 14 ms по предвидување на акција. Овие бројки не се споредливи, а нивното третирање како такви е најчеста грешка во оваа тема: некои го мерат едно напредно поминување, некои го делат тоа поминување низ парче откако action chunking ќе го амортизира.

• SmolVLA емитува 50 акции по напредно поминување и ги извршува сите 50. При 30 fps што трудот ги користи на вистински роботи, едно заклучување покрива околу 1.7 секунди движење.
• Асинхроното заклучување го пресметува следниот дел додека тековниот сè уште се извршува: 9.7 s просечно завршување на задачата наспроти 13.75 s синхроно, приближно 30 проценти побрзо, и 19 циклуси на земање и поставување во фиксен прозорец од 60 секунди наспроти 9.
• Стапките на успех беа споредливи, а не подобри, 78.3 синхроно наспроти 73.3 асинхроно. Асинхроното купува пропусност, а не точност.
• Делењето на парчиња ја крие латентноста на пресметувањето, а не латентноста на мрежата, и ја прави политиката помалку реактивна бидејќи е посветена на 50 акции.

Фино подесување на SmolVLA на една потрошувачка картичка

Рачната патека, на lerobot 0.6.1, тековното PyPI издание од 23 август 2026 година. Сè подолу доаѓа од Hugging Face lerobot SmolVLA документацијата, преземена истиот ден; водената верзија е понежна.

1. 1
   Инсталирајте lerobot со додатокот smolvla

   Зависностите на SmolVLA се опционален додаток, не се дел од основната инсталација. Инсталирањето без нив, а потоа прашувањето зошто типот на политиката е непознат, е честа загуба од половина час.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Набавете податочно множество со доволно епизоди

   Документацијата препорачува околу 50 епизоди и наведува дека истата задача со 25 не била доволна. AY-Robots го поставува минимумот на 30. Снимете свои, или започнете од директориумот со податочни множества.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Започнете со фино подесување

   Командата од упатството за lerobot, непроменета. Документацијата наведува 20000 чекори за приближно 4 часа на една A100. На картичка од 24 GB, очекувајте подолго и измерете го.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Намалете ја големината на пакетот додека не одговара

   batch_size=64 е документиран пример, а не ветување за вашата картичка. Документацијата советува да започнете со мала вредност и да ја зголемувате додека времето на вчитување останува кратко.

   bash

   lerobot-train --help

5. 5
   Имплементирајте ја контролната точка на раката

   Иста библиотека, една команда. Знаменцата за парчиња во реално време се коментирани во документацијата и се оние што треба да се користат на хардвер со мала моќност.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Два начини да се постави мал VLA на роботска рака

Кога мал модел е погрешен избор

Двата труда се повнимателни овде отколку резимеата. Анализата на неуспехот на TinyVLA е специфична: варијантата од 0,4 B не успеа трипати со погрешно читање на инструкцијата, што авторите го припишуваат на ограниченото разбирање на јазикот кај помалиот VLM, и тој режим исчезна кај 1,3 B. SmolVLA ја покажува истата крива од другиот крај: верзијата од 2,25 B на идентичната архитектура постигнува 88,75 на LIBERO и 68,24 на Meta-World наспроти 87,3 и 57,3 за моделот од 0,45 B.

Споредбата што вреди да се направи не е TinyVLA наспроти SmolVLA. Тоа е SmolVLA наспроти ACT на вашата сопствена задача, а трудот за SmolVLA е аргументот зошто. Трениран со една задача без претходно тренирање за роботика, SmolVLA постигна просек од 40,0 на три SO-100 задачи каде што ACT со една задача постигна 48,3. Она што го подига на 78,3 е претходното тренирање во заедницата плус повеќезадачното тренирање, а не само архитектурата. На задачата SO-101 лего, и двете со една задача, SmolVLA победува: 90 наспроти 70 во дистрибуција. Потоа SmolVLA наспроти Pi0.5 ако буџетот дозволува.

Табела за одлуки по која можете да постапите

За последниот ред, раката во живо пренесува физички SO-100 со кој можете да управувате од прелистувачот без сметка, а трите начини за почеток ги покрива останатите. SO-100 е референтната рака овде, приближно 110 до 150 ЕУР во делови, со целосен водич за поставување.

Што доаѓа по моделите под 1 милијарда

Намалувањето на бројот на параметри е еден начин да се направи VLA евтин и не очигледно победнички. OpenVLA-OFT (arXiv 2502.19645) го задржува 7 B основниот модел и менува само како се декодираат дејствата, пријавувајќи 26x зголемување на пропусната моќ на генерирање дејства и LIBERO кој се зголемува од 76.5 на 97.1 проценти. BitVLA (arXiv 2506.07530) го прави секој тег на 1-битен BitNet b1.58 2B4T основен модел тернарен, пријавувајќи 11.0x помалку меморија и 4.4x помала латентност од крај до крај, додека се совпаѓа со целосно прецизниот OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) се наоѓа на линијата од 1 B со усогласување на протокот.

Заедничката нишка: декодерот за дејства, а не јазичниот модел, е местото каде што живее латентноста. Прашајте како една политика емитува дејства пред да прашате колку параметри има. Арената има 85 модели и 332 резултати, секој поврзан со неговиот извор; постои поширок преглед во нашиот вовед во VLA.