Как обучить SmolVLA на GPU с 24 ГБ (lerobot 0.6.1)

Большинство людей, которые хотят модель зрения, языка и действий на реальной руке, останавливаются на аппаратной части. GR00T N1.7 и Pi0.5 имеют около трех миллиардов параметров каждая и требуют A100 80 ГБ или H100. Если у вас игровой ПК с RTX 4090, то это конец пути. SmolVLA является исключением: 450 млн параметров, внутри LeRobot, созданная для тонкой настройки на одной потребительской карте и обслуживания с CPU.

Сначала ручной путь: установите lerobot, загрузите контрольную точку lerobot/smolvla_base, запустите реальную команду, читайте вывод во время выполнения. Затем путь через платформу и то, где он не помогает.

Что такое SmolVLA, в числах, которые можно проверить

SmolVLA — это согласование потоков политика, прикрепленная к небольшой визуально-языковой модели. Основой является SmolVLM2-500M-Video-Instruct; в статье сохраняются только первые 16 слоев ее языковой модели, каждый кадр камеры ограничивается 64 визуальными токенами с перемешиванием пикселей вместо мозаичного расположения изображений, и перекрестное внимание чередуется со слоем самовнимания через каждый второй блок. Стоимость инференса была проектным ограничением, а не второстепенной задачей.

Бенчмарки объясняют, почему люди обращают внимание на модель с 450 миллионами параметров. На LIBERO она показывает в среднем 87,3 процента против 76,5 у OpenVLA (7 млрд) и 86,0 у Pi0 (3,3 млрд), предварительно обученной для робототехники; на Meta-World — 57,3 против 47,9. На реальном оборудовании SO-100 многозадачное обучение дает 75 процентов на задачах «взять и положить», 90 на укладке, 70 на сортировке, в среднем 78,3, тогда как ACT, обученная для каждой задачи, в среднем показала 48,3. Те же строки находятся рядом с каждой опубликованной VLA в записи арены SmolVLA и в сравнении ACT со SmolVLA.

Почему карта на 24 ГБ — правильный выбор для первого запуска

LeRobot поставляет руководство по расчету вычислительных ресурсов, самую полезную страницу в репозитории для этой цели. Оно группирует политики по размеру бэкбона и предоставляет один объем VRAM на группу, измеренный при размере батча 8 с AdamW, что является настройкой по умолчанию для lerobot. Только состояние оптимизатора добавляет от 30 до 100 процентов по сравнению с простым прямым и обратным проходом, поэтому это не только данные о весах.

Десять-шестнадцать гигабайт при размере батча 8 — вот аргумент: карта на 24 ГБ вмещает это плюс загрузчик данных. AY-Robots размещает SmolVLA на RTX 4090 или любой карте на 24 ГБ, минимум 30 эпизодов, LeRobot v3.0 данных, 245 ms за шаг действия. В аренду это 2–5 часов по 0.30–0.60 USD в час, около 1–3 USD за тонкую настройку запуск, против 4–12 USD на уровне 80 ГБ, который требуют GR00T и Pi0.5 (цены). Неудачный запуск SmolVLA — это стоимость кофе; неудачный запуск GR00T — стоимость обеда.

Шаг 0: набор данных определяет запуск, а не флаги

Ничто из нижеперечисленного не имеет значения, если запись плохая. Страница LeRobot SmolVLA прямо заявляет: эталонный набор данных состоял из 50 эпизодов по 5 позициям куба, по 10 на позицию, и та же задача с 25 эпизодами выполнялась плохо. Повторение для каждой вариации обобщает, а общее количество эпизодов — нет. Никогда не записывали? Начните с записи вашего первого набора данных, с настольным клиентом, который записывает данные в формате LeRobot из сессии телеуправления, или возьмите один из каталога наборов данных.

• Не менее 30 эпизодов на AY-Robots, около 50 для эталонного рецепта LeRobot.
• Каждая вариация, которую вы ожидаете при развертывании, повторенная несколько раз.
• Одна строка задачи, написанная идентично во время записи и развертывания. Модель обусловлена этим текстом.
• Фиксированные камеры. Камера, перемещенная между записью и развертыванием, является наиболее частой причиной того, что чистая кривая потерь приводит к неподвижной руке.
• Отложенная вариация, на которой вы никогда не обучались, чтобы у вас было что-то честное для тестирования.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Подробнее об этом в как собирать высококачественные данные для обучения VLA. Краткая версия: от 30 до 50 чистых эпизодов одной задачи с преднамеренными вариациями превосходят 200 небрежных эпизодов из трех, с отрывом, который не может сократить ни один гиперпараметр.

Установка lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Базовая установка lerobot является минимальной и скрывает тяжелые зависимости за дополнительными пакетами: smolvla добавляет transformers, num2words и accelerate, training — стек данных и wandb, core_scripts — зависимости для оборудования и визуализации. В Linux путь установки также определяет ваш CUDA-пакет: по умолчанию PyPI предлагает пакет cu130 с минимальной версией драйвера 580.65, поэтому при использовании более старого драйвера сначала установите torch из индекса cu128, а затем lerobot.

Запуск обучения, команда за командой

1. 1
   Аутентификация в Hub

   Базовая контрольная точка берется из Hub, и ваш набор данных, вероятно, тоже.

   bash

   hf auth login

2. 2
   Ознакомьтесь с опциями

   Каждое поле конфигурации пайплайна и политики является флагом. Просмотрите их, прежде чем углубляться в исходный код.

   bash

   lerobot-train --help

3. 3
   Начните дообучение

   Пример в документации запускает пакет 64 на одной A100; собственная привязка A100 40 ГБ в руководстве по вычислениям — это пакет 16, а 8 — эквивалент для 24 ГБ. Флаг планировщика здесь отсутствует намеренно, см. ниже.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Читайте строку лога, а не только потери

   Каждые --log_freq шагов lerobot выводит loss, grdn, lr, updt_s, data_s, smp/s и, на CUDA, mem_gb. mem_gb показывает, помещается ли пакет, lr — затухает ли расписание, а data_s, приближающийся к updt_s, означает, что узким местом является загрузчик данных, а не GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Собирайте контрольные точки для сравнения

   save_freq по умолчанию равен 20000, поэтому запуск на 20000 шагов оставляет одну контрольную точку, и не с чем ее сравнивать. Установите 2000. Для отправки в Hub требуется --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Возобновите, если машина выйдет из строя

   Укажите --config_path на train_config.json рядом с контрольной точкой. lerobot отказывается запускаться в существующий output_dir, если вы не возобновляете работу, поэтому вы не сможете случайно перезаписать запуск.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Флаги, которые действительно влияют на результат

Настройки по умолчанию, которые вы наследуете, если ничего не меняете

Конфигурация политики в lerobot содержит свои собственные предустановки оптимизатора и планировщика, и если вы не установите use_policy_training_preset=false эти предустановки будут применены. Половина вопросов, которые люди задают об обучении SmolVLA, отвечаются настройкой по умолчанию, о существовании которой они не знали.

Две строки, которые удивляют людей, это freeze_vision_encoder и train_expert_only, обе истинны. Из коробки вы обучаете примерно 100 M параметров, а не 450 M, поэтому это помещается на 24 ГБ. Собственный эталонный запуск LeRobot на кластере из четырех GPU H100 переключает обе в false; на одной 24 ГБ карте это превращает рабочий запуск в .

Сколько времени занимает запуск и сколько шагов достаточно

LeRobot публикует привязки реального времени для пяти эпох на наборе данных примерно из 50 эпизодов, около 45000 кадров при 30 fps. Порядок величин, как говорится в документации, но они представляют собой разницу между ожиданием часа и дня.

Запуск доработанной политики на манипуляторе

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 мс на шаг действия легко неправильно истолковать: политика выдает chunk_size = 50 действий за один прямой проход и выполняет n_action_steps = 50 из них, поэтому частота оплаты этой стоимости определяется этими параметрами, а не частотой получения команд сервоприводами. Это то, что дает, и почему модель с задержкой 245 мс может управлять манипулятором с частотой 30 Гц. Что остается, так это в конце пакета.

Эта третья строка — то, что большинство статей пропускают. Асинхронный вывод примерно на 30 процентов быстрее и примерно удваивает пропускную способность в фиксированном окне, а в статье говорится, что показатели успеха сопоставимы, что в среднем так и есть. При этом сортировка упала с 70 до 50 процентов, в то время как захват и перемещение выросли на 5. lerobot 0.6.1 содержит другой рычаг в том же бинарном файле: --inference.type=rtc переключает развертывание на пакетирование в реальном времени, что собственный блок использования скрипта рекомендует для медленных VLA, Pi0, Pi0.5 и SmolVLA.

Два пути к одной контрольной точке

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Когда SmolVLA — неправильный выбор

Критерий того, был ли SmolVLA правильным первым запуском, не в том, сработал ли он, а в том, дала ли неудача какую-то информацию. Достигните 60 или 70 процентов, и более крупная модель станет разумным следующим шагом: данные несут сигнал. Достигните 10 процентов, и модель в 3 миллиарда параметров, скорее всего, также достигнет 10 процентов, что вы только что узнали за три доллара вместо двенадцати.

Стоит прочитать, прежде чем тратить больше: Pi0.5 против SmolVLA, для большей производительности на той же идее, и GR00T N1.7 против SmolVLA, для пути NVIDIA, оба уровня 80 ГБ по цене от 4 до 12 USD за запуск. Другой путь, ACT — это более дешевая базовая модель: 80 млн параметров, 20 мс на шаг действия, без языкового обусловливания. Все пять находятся на странице политик; арене имеет 85 моделей и 332 результата бенчмарков.

Чек-лист перед масштабированием

1. Достиг ли lr своего минимума в 2.5e-6? Ниже 30000 шагов lerobot перемасштабирует затухание и сообщает об этом при запуске; выше этого значения установите --policy.scheduler_decay_steps самостоятельно.
2. Более одного чекпоинта и эпизоды, отложенные с помощью --dataset.eval_split, чтобы потери при оценке имели смысл.
3. Движется ли политика вообще? Падающие потери при неподвижной руке имеют конкретные причины: потери падают, политика ничего не делает.
4. Выдерживает ли она смену сцены? Если нет: политика работает только в одной конфигурации.
5. Записали ли вы сид? lerobot по умолчанию использует 1000, поэтому два нетронутых запуска остаются сопоставимыми.
6. Только потом: больше эпизодов, больше вариаций или более крупная модель. В таком порядке.

О том, почему эти модели существуют и что они делают с языковым вводом, — это предыстория; описывает сборку от до первого запуска . Для готового чекпоинта ; если рука так и не появляется, .