Стоимость обучения VLA: Сколько на самом деле стоит один запуск дообучения

Смета состоит из четырех статей, и GPU — самая маленькая из них

Когда люди спрашивают, сколько стоит дообучение визуально-языковой модели действий для SO-100, они почти всегда имеют в виду аренду GPU. Это число, которое отображается как списание с карты, поэтому оно кажется реальным. Это также, с большим отрывом, наименьшее из четырех чисел, которые определяют, сколько на самом деле стоит работающая политика на самом деле вам обходится.

Время обучения, указанное ниже, взято из собственных статей и репозиториев пяти моделей, стоимость оборудования — из опубликованной спецификации, а данные по платформам — из AY-Robots каталог политик и страница цен. В тех случаях, когда платформа не помогает, это указано в данной статье.

Сколько на самом деле стоит час GPU на спотовом рынке

Единой цены за час A100 не существует. На таких торговых площадках, как vast.ai, каждый хост устанавливает свою собственную ставку, и запуск обучения , который вы запускаете, попадает на ту машину, которая в данный момент дешева и свободна. Честный ответ — это распределение. Вот оно, измерено 23 августа 2026 года в 13:44 UTC: одиночные полнофункциональные карты, по запросу, отфильтрованные по реальной VRAM.

# Live, full-card, single-GPU, on-demand offers from the vast.ai public bundle API.
# No account and no API key needed. gpu_ram is in MB, so an 80 GB card is >= 80000.
python3 - <<'PY'
import json, statistics, urllib.parse, urllib.request

def offers(name, min_ram):
    q = {"rentable": {"eq": True}, "num_gpus": {"eq": 1}, "gpu_name": {"eq": name},
         "order": [["dph_total", "asc"]], "limit": 500, "type": "on-demand"}
    url = "https://console.vast.ai/api/v0/bundles/?q=" + urllib.parse.quote(json.dumps(q))
    with urllib.request.urlopen(url, timeout=60) as r:
        return [o for o in json.load(r)["offers"]
                if o["gpu_frac"] == 1.0 and o["gpu_ram"] >= min_ram]

groups = {
    "RTX 4090 24 GB": (["RTX 4090"], 24000),
    "RTX 5090 32 GB": (["RTX 5090"], 30000),
    "A100 80 GB":     (["A100 PCIE", "A100 SXM4"], 80000),
    "H100 80 GB":     (["H100 SXM", "H100 PCIE"], 80000),
    "H100 NVL 94 GB": (["H100 NVL"], 90000),
}
for label, (names, min_ram) in groups.items():
    o = [x for n in names for x in offers(n, min_ram)]
    if not o:
        print(label, "no offers"); continue
    p = sorted(x["dph_total"] for x in o)
    b = sorted(x["min_bid"] for x in o if x.get("min_bid"))
    bid = f"{b[0]:.2f}" if b else "n/a"
    print(f'{label}: n={len(p)} | {p[0]:.2f} / {statistics.median(p):.2f} / {p[-1]:.2f}'
          f' USD/h | bid floor {bid}')
PY

Почему модели 3B не могут использовать дешевую карту

Час работы 4090 и час работы H100 80 ГБ отличаются примерно в шесть раз по указанным выше медианным значениям. Что вынуждает использовать дорогую карту, так это не скорость, а память. openpi устанавливает минимальный порог для полной Pi0.5 тонкой настройки в 70 ГБ, а NVIDIA рекомендует 40 ГБ или более для GR00T. Обратите внимание, чем не является число для GR00T. Его конфигурация тонкой настройки по умолчанию замораживает языковую модель и визуальный кодировщик (tune_llm и tune_visual являются False, а проектор и диффузионная головка True), поэтому в каталоге указано примерно 40 млн обученных параметров из 3 млрд. 40 ГБ — это не состояние оптимизатора для 3 млрд весов, это замороженный бэкбон плюс активации. Варианты с уменьшенным объемом требуют меньше: путь LoRA от openpi запрашивает 22.5 ГБ и указывает 4090, а рабочий процесс Isaac Lab Arena от NVIDIA перечисляет опцию с одной GPU на 24 ГБ для GR00T после обучения. Платформа разделяет уровни в зависимости от минимальных требований, которые каждый поставщик публикует для фактически используемой им конфигурации. Описание pi0 flow-matching объясняет, откуда берется этот след сопоставления потоков.

Эта таблица объясняет, почему платформа разделяет пять моделей на два уровня. GR00T N1.7, GR00T N1.5 и Pi0.5 используют A100 80 ГБ или H100, потому что именно это требуют поставщики. SmolVLA и ACT используют RTX 4090 или любую карту с 24 ГБ, потому что этого действительно достаточно.

Сколько времени фактически работает каждая из пяти моделей

Время выполнения — это вторая половина стоимости: 2.00 USD в час не имеет значения, если работа занимает 40 минут, и разорительно, если она длится 40 часов. Это параметры по умолчанию, которые AY-Robots фактически отправляет тренеру, с окном выполнения и стоимостью для каждого уровня.

Откуда берутся эти временные окна выполнения

• SmolVLA: документация LeRobot утверждает, что 20 000 шагов занимают примерно 4 часа на одной A100. Платформа выполняет те же 20 000 шагов на более дешевом уровне с 24 ГБ, отсюда и окно, а не фиксированные 4 часа.
• ACT: в оригинальной статье ALOHA сообщается о примерно 5 часах на одной 11 ГБ RTX 2080 Ti для модели с 80 миллионами параметров. 4090 на несколько поколений новее, но платформа выделяет бюджет на 100 000 шагов, поэтому окно попадает в то же место.
• GR00T: эталонный рабочий процесс NVIDIA для поколения N1.6 указывает примерно от 4 до 8 часов для 20 000 шагов при размере пакета 24 на восьми картах L40S, и от 2 до 3 часов для 30 000 шагов при размере пакета 16 на одной Ada 6000. Тонкая настройка 3B VLA на одной карте за несколько часов — это нормально, а не оптимистично.
• Pi0.5: openpi не публикует данные о реальном времени выполнения, но указывает минимальный объем в 70 ГБ для полной тонкой настройки, что определяет карту и, следовательно, скорость.

Стоит остановиться на цифре, за которую вы не платите. В статье GR00T N1 сообщается о примерно 50 000 часах работы GPU H100 для предварительного обучения модели 2.2B на кластере до 1024 GPU, при размере пакета предварительного обучения 16 384 для 200 000 шагов градиента. При стоимости от 1.34 до 2.34 USD в час, измеренной выше, это составляет порядка от 67 000 до 117 000 USD арендованных вычислительных мощностей. В статье SmolVLA указывается, что проект занял примерно 30 000 часов работы GPU на 481 общедоступном наборе данных, 22.9K эпизодах и 10.6M кадрах. Вы наследуете все это по цене загрузки; ваши 8 USD покупают последние 20 000 шагов. Почему VLA строятся таким образом охватывает это разделение.

Манипулятор: единовременные затраты, которые затмевают счет за GPU

Один тренировочный запуск стоит меньше обеда. Робот — нет. Вот почему SO-100 важен: это самый дешевый манипулятор, который фактически поддерживает вся обучающаяся имитация цепочка инструментов.

Исходная спецификация в репозитории SO-ARM100 более детализирована и стоит того, чтобы свериться с вашим регионом: ее Детали для двух манипуляторов список составляет 229.88 USD или 226.30 EUR для конфигурации «лидер плюс ведомый», а ее Детали для одного ведомого манипулятора список составляет 121.94 USD или 124.30 EUR. Шесть сервоприводов STS3215 по 13.89 USD каждый составляют 83.34 из этих 121.94, так что сервоприводы — это и есть манипулятор. При стоимости от 1 до 3 USD за один запуск SmolVLA или ACT, одна пара манипуляторов стоит от 77 до 230 тренировочных запусков. Если вы все еще выбираете, SO-100 против SO-101 — это сравнение, которое имеет значение, потому что эти два манипулятора достаточно близки, чтобы решение зависело от доступности, а не от возможностей.

Человеко-часы: строка, которую никто не вносит в таблицу

Это число, которое переворачивает обсуждение стоимости с ног на голову. Запись демонстраций — это человек, перемещающий роботизированную руку, по одному эпизоду за раз, в реальном времени. Здесь нет пакетной обработки и почасовой аренды. LeRobot набор данных рекордер поставляется с настройками по умолчанию, которые упрощают арифметику, все три подтверждены в DatasetRecordConfig: 60 секунд на эпизод, 60 секунд на сброс сцены, 50 эпизодов. Столбец с деньгами ниже предполагает 15 USD за час чьего-либо времени, что является предположением, а не числом платформы. Подставьте свою собственную ставку; главное — это соотношение.

1. 1
   Запишите набор данных с настройками по умолчанию, за которые вы фактически будете платить

   Это lerobot 0.6.1, версия на PyPI по состоянию на 3 августа 2026 года. Обратите внимание на форму CLI: запись выполняется через точку входа консоли lerobot-record (lerobot.scripts.lerobot_record), а не старый путь модуля python -m lerobot.scripts.record. AY-Robots ориентируется на 0.5.1, и колесо 0.5.1 объявляет те же точки входа lerobot-record и lerobot-train, поэтому форма ниже стабильна для обеих версий. Три флага времени являются стандартными для вышестоящей версии, поэтому это также команда, которую предполагает арифметика в следующей таблице.

   bash

   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower_arm \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader_arm \
       --dataset.repo_id=${HF_USER}/pick-place-cube \
       --dataset.num_episodes=50 \
       --dataset.episode_time_s=60 \
       --dataset.reset_time_s=60 \
       --dataset.single_task="Grab the black cube and put it in the bin"

2. 2
   Посмотрите, что вы записали, прежде чем арендовать хотя бы одну минуту GPU

   Проверка набора данных стоит ноль USD в час. Обнаружение той же проблемы по кривой потерь стоит 2.00 USD в час на уровне H100 и сообщает вам об этом на четыре часа позже. Загрузите набор данных и просмотрите его в LeRobot просмотрщике, или просмотрите AY-Robots каталог наборов данных.

   bash

   # the recorder pushes to the Hub by default; disable with --dataset.push_to_hub=False
   echo https://huggingface.co/datasets/${HF_USER}/pick-place-cube
   
   # then open https://huggingface.co/spaces/lerobot/visualize_dataset
   # and scrub through episodes: are both camera streams alive on every episode?
   # is the gripper actually closing? does the arm sit at a joint limit?

3. 3
   Обучайте и убедитесь, что контрольная точка переживет под

   Арендованная машина по определению временна, поэтому записывайте контрольные точки где-нибудь в надежном месте во время выполнения. Два флага определяют, сохраните ли вы то, за что заплатили. --save_freq по умолчанию составляет 20 000 шагов, поэтому стандартный запуск SmolVLA на 20 000 шагов записывает свою первую контрольную точку, когда выполнение уже завершено; уменьшите его, прежде чем арендовать что-либо прерываемое. --save_checkpoint_to_hub требует --policy.repo_id и не существует в lerobot 0.5.1, поэтому в этой версии вы копируете выходной каталог с машины самостоятельно. Размер пакета ниже является примером из документации вышестоящей версии; форма AY-Robots отправляет 2 для SmolVLA и записывает в объектное хранилище по мере появления контрольных точек.

   bash

   lerobot-train \
       --policy.path=lerobot/smolvla_base \
       --dataset.repo_id=${HF_USER}/pick-place-cube \
       --batch_size=64 \
       --steps=20000 \
       --save_freq=2000 \
       --output_dir=outputs/train/my_smolvla \
       --job_name=my_smolvla_training \
       --policy.device=cuda \
       --policy.repo_id=${HF_USER}/my_smolvla \
       --save_checkpoint_to_hub=true

Сравните правый столбец со стоимостью запуска от 1 до 12 USD. При такой предполагаемой ставке набор данных из 50 эпизодов стоит в два-семь раз дороже для записи, чем для обучения, до калибровки, настройки камеры и отбрасываемых эпизодов. Вот почему имеет прямую денежную ценность. Руководство lerobot предлагает не менее 50 эпизодов по 10 на каждое местоположение объекта; документация SmolVLA сообщает, что версии той же задачи из 25 эпизодов было недостаточно.

Куда на самом деле уходят деньги

1. Запуски на данных, которые изначально не могли сработать

Запуск GR00T на 20 000 шагов на наборе данных с двумя перепутанными потоками камеры стоит столько же, сколько и на чистом наборе данных, занимает то же время и дает кривую потерь, которая выглядит нормально. Сбой проявляется на манипуляторе, спустя часы. оплачиваются почасово, а диагностика — посуточно. Два симптома, которые стоит запомнить: обычно означает, что наблюдения не содержат того, что требуется для задачи, и означает, что набор данных имел меньше вариаций, чем вы думали.

2. Оплата цен базовых моделей для задачи с фиксированной камерой

ACT имеет примерно 80 миллионов параметров и был разработан для обучения с нуля на 50 демонстрациях одной задачи. GR00T N1.7 имеет примерно 3 миллиарда параметров с предварительно обученной основой. Для закрепленной камеры, фиксированного стола и одного объекта модель с 80 миллионами параметров часто справляется, работает со скоростью около 20 мс на шаг действия вместо 152 мс и стоит от 1 до 3 долларов США за запуск вместо от 4 до 12. Потратьте 3 доллара США, чтобы выяснить, работает ли дешевая модель, прежде чем тратить 12 долларов США на дорогую. ACT против SmolVLA и GR00T N1.7 против Pi0.5 показывают, где каждый из них перестает быть правильным решением; арена моделей содержит 85 моделей и 332 результата бенчмарков.

3. Графический процессор, о котором вы забыли

Самая дешевая ошибка, которую можно предотвратить, и самая распространенная. Инстанс, запущенный в пятницу для отладки чего-либо, будет тарифицироваться в течение выходных по той же ставке, что и реальный запуск.

На AY-Robots эта проблема устранена для инференса: поды, предоставляемые API инференса, имеют сторожевой таймер простоя и самоуничтожаются после периода бездействия. Если вы арендуете карту самостоятельно, этот сторожевой таймер — ваше напоминание в календаре.

4. Двойная оплата за один и тот же результат

Точка входа для дообучения GR00T — это CLI tyro, который не предоставляет сид. Это не ограничение платформы, а инструмент вышестоящего уровня: в gr00t/configs/finetune_config.py, а собственные советы по обучению репозитория предупреждают, что результаты запусков могут отличаться на 5-6 процентов из-за недетерминированных аугментаций изображений. lerobot по умолчанию использует сид 1000 как в версии 0.5.1, так и в 0.6.1, поэтому запуски ACT, SmolVLA и Pi0.5 могут быть как минимум повторно выполнены с той же инициализацией и порядком данных. Это не обещание побитово идентичных весов на GPU, но это разница между повторным запуском и новым экспериментом. Если запуск GR00T создает работающую политику, а вы не сохранили контрольную точку, вы платите полную цену за результат, который может отличаться больше, чем та разница, которую вы искали. Есть второй способ потерять оплаченную контрольную точку: CLI по умолчанию использует --save-total-limit 5, что документировано как максимальное количество сохраняемых контрольных точек до удаления старых. Хранение стоит центы; повторный запуск — это 4–12 USD и шесть часов.

Делать это самостоятельно или позволить платформе арендовать карту

# GR00T N1.7, single GPU, Isaac-GR00T as of August 2026.
# Note the entry point: gr00t/experiment/launch_finetune.py, a tyro CLI.
# scripts/gr00t_finetune.py does not exist in this repository; tutorials that
# still reference it are stale. The per-embodiment walkthrough is
# getting_started/finetune_new_embodiment.md.
CUDA_VISIBLE_DEVICES=0 uv run python gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path demo_data/cube_to_bowl_5 \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus 1 \
    --output-dir ./so100-checkpoints \
    --max-steps 20000 \
    --global-batch-size 32 \
    --dataloader-num-workers 4

# v3.0 dataset? Convert it down first or the loader will crash. The helper
# has its own pyproject and must be installed in its own environment:
cd scripts/lerobot_conversion
uv venv && source .venv/bin/activate
uv pip install -e .
python convert_v3_to_v2.py --repo-id <DATASET_REPO_ID>

Что платформа взимает и как она выбирает карту

Логика намеренно проста. Каждая модель в каталоге объявляет уровень GPU; бэкенд берет требуемую VRAM и арендует подходящую карту на том же спотовом рынке, измеренном выше. Вот почему указанная стоимость является диапазоном, а не фиксированной ценой. GR00T и Pi0.5 доступны здесь только в облаке из-за минимальных требований в 40 ГБ и 70 ГБ соответственно. SmolVLA и ACT также работают локально на вашей собственной 24 ГБ карте, где облачная стоимость равна нулю, а электричество — ваша проблема.

Один параметр заслуживает предупреждения. Накопление градиента действительно применимо для обоих вариантов GR00T, поэтому его увеличение позволяет получить больший эффективный пакет на той же карте. Для Pi0.5 и SmolVLA оно не применимо вовсе: lerobot 0.5.1 не имеет опции накопления градиента в своей конфигурации обучения, поэтому установка этого поля в 16 ничего не стоит и ничего не дает. Если задание в очереди так и не запускается, страница о застрявшем в очереди задании описывает, что проверить; если набор данных отклоняется до начала выполнения, это почти всегда проблема с форматом v3.0.

Проработанный бюджет для первой рабочей политики

Все четыре строки вместе, начиная с нуля. Общая сумма GPU предполагает от 3 до 5 запусков: первый доказывает работоспособность конвейера, второй выявляет проблему с данными, третий или четвертый — это тот, который вы сохраняете.

Эта закономерность сохраняется и для роботов такого размера: вычисления — это погрешность округления, оборудование — реальные единовременные затраты, человеко-часы — повторяющиеся расходы. Чтобы протестировать обучающую часть до покупки чего-либо, точки входа без оборудования позволяют сравнивать модели и арендовать GPU без манипулятора, а живой манипулятор — это физический SO-100, которым можно управлять в браузере без регистрации. Для всего конвейера от начала до конца полное руководство по SO-100 охватывает настройку, телеуправление и обучение, а обучите свою первую политику — это краткая версия.