Як тренувати SmolVLA на 24 ГБ GPU (lerobot 0.6.1)

Більшість людей, які хочуть модель зору, мови та дії на реальній руці, зупиняються на апаратному забезпеченні. GR00T N1.7 та Pi0.5 мають близько трьох мільярдів параметрів кожна і потребують A100 80 ГБ або H100. Якщо у вас є ігровий ПК з RTX 4090, це кінець шляху. SmolVLA є винятком: 450 мільйонів параметрів, всередині LeRobot, створена для тонкого налаштування на одній споживчій карті та обслуговування з CPU.

Спочатку ручний шлях: встановіть lerobot, завантажте lerobot/smolvla_base контрольний пункт, запустіть справжню команду, читайте журнал виконання під час його роботи. Потім шлях через платформу, і де він не допомагає.

Що таке SmolVLA, у числах, які можна перевірити

SmolVLA — це узгодження потоків політика, інтегрована в невелику візуально-мовну модель. Основою є SmolVLM2-500M-Video-Instruct; у статті збережено лише перші 16 шарів її мовної моделі, кожен кадр камери обмежено 64 візуальними токенами за допомогою піксельного перемішування замість мозаїчного зображення, а перехресна увага чергується з шаром самостійної уваги через кожен другий блок. Вартість висновку була обмеженням при проектуванні, а не додатковою думкою.

Бенчмарки — це причина, чому люди звертають увагу на модель розміром 450 M. На LIBERO вона показує в середньому 87.3 відсотка проти 76.5 для OpenVLA на 7 B і 86.0 для попередньо навченої робототехнічної Pi0 на 3.3 B; на Meta-World — 57.3 проти 47.9. На реальному обладнанні SO-100 багатозадачне навчання дає 75 відсотків на операціях «взяти і покласти», 90 на укладанні, 70 на сортуванні, в середньому 78.3, тоді як ACT навчена для кожного завдання, в середньому показала 48.3. Ті ж самі рядки знаходяться поруч з кожним опублікованим VLA у записі SmolVLA на арені та у порівнянні ACT зі SmolVLA.

Чому карта на 24 ГБ є правильним вибором для першого запуску

LeRobot постачає посібник з розрахунку обчислювальних ресурсів, найкориснішу сторінку в репозиторії для цього. Він групує політики за розміром основи та надає один об'єм VRAM на групу, виміряний при розмірі пакету 8 з AdamW, що є стандартним для lerobot. Сам стан оптимізатора додає від 30 до 100 відсотків до чистого прямого та зворотного проходу, тому це не лише показники ваг.

Десять-шістнадцять гігабайт при розмірі пакету 8 — це аргумент: карта на 24 ГБ вміщує це плюс завантажувач даних. AY-Robots розміщує SmolVLA на RTX 4090 або будь-якій карті на 24 ГБ, мінімум 30 епізодів, LeRobot v3.0 даних, 245 мс на крок дії. Орендовано, це 2-5 годин за 0.30-0.60 USD за годину, близько 1-3 USD за доналаштування запуск, проти 4-12 USD на рівні 80 ГБ, який потрібен GR00T та Pi0.5 (ціни). Невдалий запуск SmolVLA — це кава; невдалий запуск GR00T — обід.

Крок 0: набір даних визначає запуск, а не прапорці

Ніщо з наведеного нижче не має значення, якщо запис поганий. Сторінка LeRobot SmolVLA прямо заявляє: еталонний набір даних складався з 50 епізодів для 5 позицій куба, по 10 на позицію, і те саме завдання з 25 епізодами виконувалося погано. Повторення для кожної варіації узагальнює, сира кількість епізодів — ні. Ніколи не записували? Почніть з запишіть свій перший набір даних за допомогою десктопного клієнта, який записує формат LeRobot із сесії телеоперації, або запозичте його з каталогу наборів даних.

• Щонайменше 30 епізодів на AY-Robots, близько 50 для еталонного рецепту LeRobot.
• Кожна варіація, яку ви очікуєте під час розгортання, повторена кілька разів.
• Один рядок завдання, написаний ідентично під час запису та розгортання. Модель обумовлена цим текстом.
• Фіксовані камери. Камера, переміщена між записом і розгортанням, є найпоширенішою причиною того, що чиста крива втрат дає нерухому руку.
• Відкладена варіація, на якій ви ніколи не тренувалися, щоб мати щось чесне для тестування.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Більше про це в як збирати високоякісні дані для навчання VLA. Коротка версія: від 30 до 50 чистих епізодів одного завдання з навмисною варіацією перевершують 200 недбалих епізодів трьох, з перевагою, яку не закриє жоден гіперпараметр.

Встановлення lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Базова lerobot інсталяція є мінімальною і приховує важкі залежності за додатковими пакетами: smolvla додає transformers, num2words та accelerate, training стек даних та wandb, core_scripts залежності для апаратного забезпечення та візуалізації. У Linux шлях встановлення також визначає ваш CUDA wheel: за замовчуванням PyPI використовує cu130 wheel з мінімальною версією драйвера 580.65, тому на старому драйвері спочатку встановіть torch з індексу cu128, а потім lerobot.

Запуск навчання, команда за командою

1. 1
   Автентифікація в Hub

   Базовий контрольний пункт походить з Hub, і ваш набір даних, ймовірно, також.

   bash

   hf auth login

2. 2
   Прочитайте параметри один раз

   Кожне поле конфігурації конвеєра та політики є прапорцем. Перегляньте його, перш ніж заглиблюватися у вихідний код.

   bash

   lerobot-train --help

3. 3
   Почніть доналаштування

   Приклад у документації запускає пакет 64 на одному A100; власний якір A100 40 ГБ у посібнику з обчислень — це пакет 16, а 8 — еквівалент 24 ГБ. Прапорець планувальника тут відсутній навмисно, дивіться нижче.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Читайте рядок логу, а не лише втрати

   Кожні --log_freq кроків lerobot виводить loss, grdn, lr, updt_s, data_s, smp/s і, на CUDA, mem_gb. mem_gb показує, чи поміщається пакет, lr — чи розпадається розклад, а data_s, що наближається до updt_s, означає, що вузьким місцем є завантажувач даних, а не GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Збирайте контрольні пункти, які можна порівняти

   save_freq за замовчуванням становить 20000, тому запуск на 20000 кроків залишає один контрольний пункт і нічого для порівняння. Встановіть 2000. Для завантаження в Hub потрібен --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Відновіть, якщо машина вийде з ладу

   Вкажіть --config_path на train_config.json поруч із контрольним пунктом. lerobot відмовляється запускатися в існуючий output_dir, якщо ви не відновлюєте роботу, тому ви не можете випадково перезаписати запуск.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Прапорці, які насправді змінюють результат

Значення за замовчуванням, які ви успадковуєте, якщо нічого не змінюєте

Конфігурація політики у lerobot містить власні попередньо встановлені оптимізатор і планувальник, і якщо ви не встановите use_policy_training_preset=false, ці попередні налаштування мають пріоритет. Половина питань, які люди задають про навчання SmolVLA, відповідаються значенням за замовчуванням, про існування якого вони не знали.

Два рядки, які дивують людей, це freeze_vision_encoder та train_expert_only, обидва істинні. За замовчуванням ви тренуєте приблизно 100 М параметрів, а не 450 М, тому це вміщується на 24 ГБ. Власний еталонний запуск LeRobot на кластері з чотирма GPU H100 змінює обидва на хибні; на одній 24 ГБ карті це перетворює робочий запуск на збій через нестачу пам'яті.

Скільки часу займає запуск і скільки кроків достатньо

LeRobot публікує часові орієнтири для five epochs на наборі даних приблизно з 50 episode, близько 45000 frames зі швидкістю 30 fps. Це приблизні цифри, як зазначено в документації, але вони є різницею між очікуванням години та дня.

Запуск доналаштованої політики на маніпуляторі

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 мс на крок дії легко неправильно зрозуміти: політика видає chunk_size = 50 дій за один прямий прохід і виконує n_action_steps = 50 з них, тому частота оплати цих витрат визначається цими параметрами, а не тим, як часто сервоприводи отримують команду. Це те, що розбиття дій на фрагменти дає, і чому модель з 245 мс може керувати рукою з частотою 30 Гц. Залишається затримка висновку наприкінці фрагмента.

Цей третій рядок більшість описів пропускають. Асинхронний висновок приблизно на 30 відсотків швидший і приблизно подвоює пропускну здатність у фіксованому вікні, а в статті показники успішності називаються порівнянними, якими вони в середньому і є. При цьому сортування впало з 70 до 50 відсотків, тоді як захоплення та розміщення зросло на 5. lerobot 0.6.1 містить інший важіль у тому ж бінарному файлі: --inference.type=rtc перемикає розгортання на фрагментування в реальному часі, що рекомендується власним блоком використання скрипта для повільних VLA, Pi0, Pi0.5 та SmolVLA.

Два шляхи до однієї контрольної точки

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Коли SmolVLA є неправильним вибором

Тест на те, чи був SmolVLA правильним першим запуском, полягає не в тому, чи він спрацював, а в тому, чи невдача щось вам сказала. Досягніть 60 або 70 відсотків, і більша модель є розумною наступною інвестицією: дані несуть сигнал. Досягніть 10 відсотків, і модель 3 B, швидше за все, також досягне 10 відсотків, про що ви щойно дізналися за три долари замість дванадцяти.

Варто прочитати перед тим, як витрачати більше: Pi0.5 проти SmolVLA для більшої потужності за тією ж ідеєю, та GR00T N1.7 проти SmolVLA для маршруту NVIDIA, обидва рівня 80 GB за 4-12 USD за запуск. Іншим шляхом, ACT є дешевшою базовою лінією: 80 M параметрів, 20 ms на крок дії, без мовного кондиціонування. Усі п'ять знаходяться на сторінці політик; арена має 85 моделей та 332 результати бенчмарків.

Контрольний список перед масштабуванням

1. Чи досяг lr свого мінімуму 2.5e-6? Нижче 30000 кроків lerobot перемасштабовує спад і повідомляє про це при запуску; вище цього значення встановіть --policy.scheduler_decay_steps самостійно.
2. Більше одного контрольного пункту та епізоди, виділені за допомогою --dataset.eval_split, щоб втрати оцінки мали сенс.
3. Чи рухається політика взагалі? Падіння втрат при нерухомій руці має конкретні причини: втрати падають, політика нічого не робить.
4. Чи витримує вона зміну сцени? Якщо ні: політика працює лише в одному налаштуванні.
5. Ви записали початкове значення (seed)? lerobot за замовчуванням використовує 1000, тому два незмінені запуски залишаються порівнянними.
6. Тільки тоді: більше епізодів, більше варіацій або більша модель. У такому порядку.

Щодо того, чому існують ці моделі та що вони роблять з мовним вводом, є основою; проводить збірку через до першого запуску. Для завершеного контрольного пункту, ; якщо рука ніколи не з'являється, .