Трошоци за обука на VLA: Колку навистина чини едно извршување на фино подесување

Сметката има четири ставки, а графичкиот процесор е најмалата

Кога луѓето прашуваат колку чини да се дотера модел за визија-јазик-акција за SO-100, тие речиси секогаш мислат на изнајмувањето на графичкиот процесор. Тоа е бројот што се појавува како наплата на картичка, па затоа е оној што изгледа реален. Исто така, со голема разлика, тоа е најмалиот од четирите броја што одлучуваат колку всушност чини една работна политика.

Времињата за обука подолу потекнуваат од сопствените трудови и репозиториуми на петте модели, трошоците за хардвер од објавената спецификација на материјали, бројките за платформата од AY-Robots каталог на политики и страница за цени. Онаму каде што платформата не помага, оваа статија го наведува тоа.

Колку навистина чини еден час GPU на спот пазарот

Не постои единствена цена за еден час A100. На пазар како vast.ai, секој домаќин ја поставува својата стапка, а обука што ја стартувате слетува на која било машина што е евтина и слободна во тој момент. Искрениот одговор е дистрибуција. Еве ја, измерена на 23 август 2026 година во 13:44 UTC: единечни целосни картички, на барање, филтрирани според вистински VRAM.

# Live, full-card, single-GPU, on-demand offers from the vast.ai public bundle API.
# No account and no API key needed. gpu_ram is in MB, so an 80 GB card is >= 80000.
python3 - <<'PY'
import json, statistics, urllib.parse, urllib.request

def offers(name, min_ram):
    q = {"rentable": {"eq": True}, "num_gpus": {"eq": 1}, "gpu_name": {"eq": name},
         "order": [["dph_total", "asc"]], "limit": 500, "type": "on-demand"}
    url = "https://console.vast.ai/api/v0/bundles/?q=" + urllib.parse.quote(json.dumps(q))
    with urllib.request.urlopen(url, timeout=60) as r:
        return [o for o in json.load(r)["offers"]
                if o["gpu_frac"] == 1.0 and o["gpu_ram"] >= min_ram]

groups = {
    "RTX 4090 24 GB": (["RTX 4090"], 24000),
    "RTX 5090 32 GB": (["RTX 5090"], 30000),
    "A100 80 GB":     (["A100 PCIE", "A100 SXM4"], 80000),
    "H100 80 GB":     (["H100 SXM", "H100 PCIE"], 80000),
    "H100 NVL 94 GB": (["H100 NVL"], 90000),
}
for label, (names, min_ram) in groups.items():
    o = [x for n in names for x in offers(n, min_ram)]
    if not o:
        print(label, "no offers"); continue
    p = sorted(x["dph_total"] for x in o)
    b = sorted(x["min_bid"] for x in o if x.get("min_bid"))
    bid = f"{b[0]:.2f}" if b else "n/a"
    print(f'{label}: n={len(p)} | {p[0]:.2f} / {statistics.median(p):.2f} / {p[-1]:.2f}'
          f' USD/h | bid floor {bid}')
PY

Зошто моделите од 3B не можат да ја користат евтината картичка

Час на 4090 и час на H100 80 GB се разликуваат приближно шест пати според горенаведените медијани. Она што ве принудува да користите скапа картичка не е брзината, туку меморијата. openpi го поставува минимумот за целосно Pi0.5 фино подесување на 70 GB, а NVIDIA препорачува 40 GB или повеќе за GR00T. Забележете што не е бројот на GR00T. Неговата конфигурација за фино подесување ги замрзнува јазичниот модел и визуелниот енкодер стандардно (tune_llm и tune_visual се False, проекторот и дифузионата глава True), поради што каталогот наведува приближно 40 M тренирани параметри од 3 B. 40 GB не е состојба на оптимизатор за 3 B тежини, туку е замрзната основа плус активации. Варијантите со намален опсег бараат помалку: патеката LoRA на openpi бара 22.5 GB и го именува 4090, а работниот тек Isaac Lab Arena на NVIDIA наведува опција за една GPU од 24 GB за GR00T пост-тренинг. Платформата се рангира според минимумот што секој продавач го објавува за конфигурацијата што всушност ја извршува. Написот за pi0 flow-matching објаснува од каде доаѓа тој flow-matching отпечаток.

Табелата е причината зошто платформата ги дели петте модели во две нивоа. GR00T N1.7, GR00T N1.5 и Pi0.5 одат на A100 80 GB или H100 бидејќи тоа е она што го бараат продавачите. SmolVLA и ACT одат на RTX 4090 или која било картичка од 24 GB бидејќе тоа е навистина доволно.

Колку долго всушност работи секој од петте модели

Времето на извршување е другата половина од трошокот: 2.00 USD на час е ирелевантно ако работата е 40 минути и катастрофално ако е 40 часа. Ова се стандардните поставки што AY-Robots навистина ги испраќа до тренерот, со прозорецот за извршување и трошокот за секое ниво.

Од каде доаѓаат тие прозорци за извршување од изворот

• SmolVLA: документацијата на lerobot наведува дека 20.000 чекори траат приближно 4 часа на една A100. Платформата ги извршува истите 20.000 чекори на поевтиното ниво од 24 GB, оттука прозорец наместо рамни 4 часа.
• ACT: оригиналниот труд ALOHA известува за околу 5 часа на една 11 GB RTX 2080 Ti за модел со 80 милиони параметри. 4090 е неколку генерации понова, но платформата предвидува 100.000 чекори, така што прозорецот паѓа на истото место.
• GR00T: референтниот работен тек на NVIDIA за генерацијата N1.6 наведува приближно 4 до 8 часа за 20.000 чекори со серија 24 на осум L40S картички, и 2 до 3 часа за 30.000 чекори со серија 16 на една Ada 6000. Фино подесување на 3B VLA со една картичка за неколку часа е нормално, а не оптимистично.
• Pi0.5: openpi не објавува податоци за реално време, но објавува долна граница од 70 GB за целосно фино подесување, што ја одредува картичката, а со тоа и стапката.

Вреди да се задржиме на бројката што не ја плаќате. Трудот GR00T N1 известува за приближно 50.000 H100 GPU часа за претренирање на моделот од 2.2B, на кластер од до 1024 GPU, со големина на серија за претренирање од 16.384 за 200.000 градиентни чекори. При 1.34 до 2.34 УСД на час измерени погоре, тоа е од редот на 67.000 до 117.000 УСД изнајмена компјутерска моќ. Трудот SmolVLA го проценува својот проект на приближно 30.000 GPU часа преку 481 збирки податоци од заедницата, 22.9K епизоди и 10.6M рамки. Вие го наследувате сето тоа по цена на преземање; вашите 8 УСД ги купуваат последните 20.000 чекори. Зошто VLA се изградени на овој начин го покрива тој расцеп.

Раката: еднократен трошок што ја надминува сметката за GPU

Едно извршување на обука чини помалку од ручек. Роботот не. Затоа е важен: тоа е најевтината рака што целата всушност ја поддржува.

Списокот на материјали во SO-ARM100 складиштето е подетален и вреди да се провери според вашиот регион: неговата Делови за две раце листа изнесува вкупно 229.88 USD или 226.30 EUR за поставување на лидер плус следбеник, а неговата Делови за една рака следбеник листа изнесува вкупно 121.94 USD или 124.30 EUR. Шест STS3215 серва по 13.89 USD се 83.34 од тие 121.94, така што сервата е раката. Со 1 до 3 USD по извршување на SmolVLA или ACT, еден пар раце вреди помеѓу 77 и 230 извршувања на обука. Ако сè уште избирате, е споредбата која е важна, бидејќи двете се доволно слични што одлуката е за достапноста, а не за способноста.

Човечки часови: редот што никој не го става во табелата

Ова е бројот што ја превртува дискусијата за трошоците. Снимањето демонстрации е лице кое движи роботска рака, една епизода во исто време, во реално време. Нема групно обработување и нема изнајмување по секунда. Снимачот на LeRobot збир на податоци доаѓа со стандардни поставки кои ја олеснуваат аритметиката, сите три потврдени во DatasetRecordConfig: 60 секунди по епизода, 60 секунди за ресетирање на сцената, 50 епизоди. Колоната за пари подолу претпоставува 15 USD за еден час од нечие време, што е претпоставка, а не бројка од платформата. Заменете ја со вашата стапка; односот е поентата.

1. 1
   Снимете го збирот на податоци со стандардните поставки за кои всушност ќе ви биде наплатено

   Ова е lerobot 0.6.1, верзијата на PyPI од 3 август 2026 година. Забележете ја формата на CLI: снимањето се извршува преку влезната точка на конзолата lerobot-record (lerobot.scripts.lerobot_record), а не преку старата патека на модулот python -m lerobot.scripts.record. AY-Robots цели на 0.5.1, а 0.5.1 пакетот ги декларира истите влезни точки lerobot-record и lerobot-train, така што формата подолу е стабилна за двете. Трите временски ознаки се стандардните поставки, така што ова е и командата што аритметиката во следната табела ја претпоставува.

   bash

   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower_arm \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader_arm \
       --dataset.repo_id=${HF_USER}/pick-place-cube \
       --dataset.num_episodes=50 \
       --dataset.episode_time_s=60 \
       --dataset.reset_time_s=60 \
       --dataset.single_task="Grab the black cube and put it in the bin"

2. 2
   Погледнете што сте снимиле пред да изнајмите ниту една минута GPU

   Инспектирањето на збир на податоци чини нула USD на час. Откривањето на истиот проблем од крива на загуба чини 2.00 USD на час на нивото H100 и ви кажува четири часа подоцна. Притиснете го збирот на податоци и прегледајте го во LeRobot прегледувачот, или прелистајте го AY-Robots директориумот со збирови на податоци.

   bash

   # the recorder pushes to the Hub by default; disable with --dataset.push_to_hub=False
   echo https://huggingface.co/datasets/${HF_USER}/pick-place-cube
   
   # then open https://huggingface.co/spaces/lerobot/visualize_dataset
   # and scrub through episodes: are both camera streams alive on every episode?
   # is the gripper actually closing? does the arm sit at a joint limit?

3. 3
   Тренирајте и осигурете се дека контролната точка ќе го надживее подов

   Изнајмената машина е привремена по дефиниција, затоа запишете ги контролните точки некаде трајно за време на извршувањето. Две ознаки одлучуваат дали ќе го задржите она за што сте платиле. --save_freq стандардно е 20.000 чекори, така што стандардното извршување на SmolVLA од 20.000 чекори ја запишува својата прва контролна точка кога извршувањето е веќе завршено; намалете го пред да изнајмите нешто што може да се прекине. --save_checkpoint_to_hub бара --policy.repo_id и не постои во lerobot 0.5.1, така што на таа верзија сами го копирате излезниот директориум од машината. Големината на серијата подолу е пример од документацијата; AY-Robots формата испраќа 2 за SmolVLA и запишува во складиштето на објекти како што се појавуваат контролните точки.

   bash

   lerobot-train \
       --policy.path=lerobot/smolvla_base \
       --dataset.repo_id=${HF_USER}/pick-place-cube \
       --batch_size=64 \
       --steps=20000 \
       --save_freq=2000 \
       --output_dir=outputs/train/my_smolvla \
       --job_name=my_smolvla_training \
       --policy.device=cuda \
       --policy.repo_id=${HF_USER}/my_smolvla \
       --save_checkpoint_to_hub=true

Споредете ја десната колона со 1 до 12 УСД што чини извршувањето. По таа претпоставена стапка, збир на податоци од 50 епизоди чини два до седум пати повеќе за снимање отколку за тренирање, пред калибрација, поставување камера и епизодите што ги отфрлате. Затоа има директна доларска вредност. Водичот на lerobot предлага најмалку 50 епизоди со 10 по локација на објект; документацијата на SmolVLA известува дека верзија од 25 епизоди на истата задача не била доволна.

Каде всушност исчезнуваат парите

1. Извршувања на податоци кои никогаш немаше да функционираат

Извршување на GR00T од 20.000 чекори на збир на податоци со два заменети видео стрима од камера чини исто како и на чист збир на податоци, трае исто време и произведува крива на загуба која изгледа добро. Неуспехот се појавува на раката, часови подоцна. се наплаќаат по час, а дијагнозата се наплаќа во денови. Два симптоми вредни за паметење: обично значи дека набљудувањата не го содржат она што е потребно за задачата, и значи дека збирот на податоци имал помала варијација отколку што мислевте.

2. Плаќање цени на основни модели за задача со фиксна камера

ACT е приближно 80 милиони параметри и беше дизајниран да се тренира од нула на 50 демонстрации на една задача. GR00T N1.7 е приближно 3 милијарди со претходно тренирана основа. За прицврстена камера, фиксна маса и еден објект, моделот од 80 милиони често успева, работи со околу 20 ms по чекор на акција наместо 152 ms, и чини 1 до 3 USD по извршување наместо 4 до 12. Потрошете 3 USD за да дознаете дали евтиниот модел работи пред да потрошите 12 USD на скапиот. ACT против SmolVLA и GR00T N1.7 против Pi0.5 покажуваат каде секој престанува да биде вистинскиот одговор; арена на модели има 85 модели и 332 резултати од бенчмарк.

3. ГПУ-то што го заборавивте

Најевтината грешка за спречување и најчестата за правење. Инстанца започната во петок за дебагирање нешто се наплаќа во текот на викендот по иста стапка како и вистинско извршување.

На AY-Robots, овој дефект е елиминиран за инференција: подовите обезбедени од API за инференција носат неактивен надзорник и се уништуваат по период на неактивност. Ако ја изнајмите картичката сами, тој надзорник е вашиот потсетник во календарот.

4. Плаќање двапати за истиот одговор

Влезната точка за фино подесување на GR00T е tyro CLI што не изложува семе. Тоа не е ограничување на платформата, тоа е алатката од изворот: нема поле за семе во gr00t/configs/finetune_config.py, а сопствените совети за обука на репозиториумот предупредуваат дека извршувањата варираат за 5 до 6 проценти бидејќи зголемувањата на сликите се недетерминистички. lerobot стандардно користи семе 1000 и во 0.5.1 и во 0.6.1, така што извршувањата на ACT, SmolVLA и Pi0.5 можат барем да се повторат од истата иницијализација и редослед на податоци. Тоа не е ветување за битно-идентични тежини на графички процесор, но е разликата помеѓу повторно извршување и нов експеримент. Ако извршување на GR00T произведе политика што функционира и не сте го зачувале контролна точка, плаќате целосна цена за резултат што може да се разликува повеќе од разликата што ја баравте. Постои втор начин да изгубите контролна точка за која сте платиле: CLI стандардно користи --save-total-limit 5, документирано како максимален број на контролни точки што се чуваат пред постарите да бидат избришани. Складирањето е центи; повторно извршување е 4 до 12 USD и шест часа.

Правењето сами наспроти дозволувањето на платформата да ја изнајми картичката

# GR00T N1.7, single GPU, Isaac-GR00T as of August 2026.
# Note the entry point: gr00t/experiment/launch_finetune.py, a tyro CLI.
# scripts/gr00t_finetune.py does not exist in this repository; tutorials that
# still reference it are stale. The per-embodiment walkthrough is
# getting_started/finetune_new_embodiment.md.
CUDA_VISIBLE_DEVICES=0 uv run python gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path demo_data/cube_to_bowl_5 \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus 1 \
    --output-dir ./so100-checkpoints \
    --max-steps 20000 \
    --global-batch-size 32 \
    --dataloader-num-workers 4

# v3.0 dataset? Convert it down first or the loader will crash. The helper
# has its own pyproject and must be installed in its own environment:
cd scripts/lerobot_conversion
uv venv && source .venv/bin/activate
uv pip install -e .
python convert_v3_to_v2.py --repo-id <DATASET_REPO_ID>

Што наплаќа платформата и како ја избира картичката

Логиката е намерно едноставна. Секој модел во каталогот, декларира ниво на графички процесор; бекендот ја зема потребната VRAM и изнајмува соодветна картичка на истиот спот пазар измерен погоре. Затоа наведената цена е опсег, а не фиксна цена. GR00T и Pi0.5 се достапни само во облак овде поради ограничувањата од 40 GB и 70 GB. SmolVLA и ACT исто така работат локално на вашата сопствена картичка од 24 GB, каде што трошоците за облак се нула, а електричната енергија е ваш проблем.

Една поставка заслужува предупредување. Акумулацијата на градиенти навистина важи за двете GR00T варијанти, така што нејзиното зголемување овозможува поголема ефективна серија на истата картичка. За Pi0.5 и SmolVLA воопшто не важи: lerobot 0.5.1 нема опција за акумулација на градиенти во својата конфигурација за обука, така што поставувањето на полето на 16 не чини ништо и не дава ништо. Ако работата во редица никогаш не започне, страницата за заглавени работи во редица опфаќа што да проверите; ако множеството податоци е одбиено пред да започне извршувањето, тоа е речиси секогаш проблемот со форматот v3.0.

Разработен буџет за прва функционална политика

Сите четири линии заедно, почнувајќи од ништо. Вкупниот износ за графичкиот процесор претпоставува 3 до 5 извршувања: првото докажува дека цевководот работи, второто открива проблем со податоците, третото или четвртото е она што го задржувате.

Моделот важи и за оваа големина на робот: пресметковната моќ е грешка при заокружување, хардверот е вистински еднократен трошок, човечките часови се повторлив трошок. За да ја тестирате половината за обука пред да купите нешто, ви овозможуваат да споредувате модели и да изнајмите графичка картичка без роботска рака, а е физички SO-100 што можете да го управувате во прелистувачот без регистрација. За целиот процес од почеток до крај, опфаќа поставување, и обука, а е кратката верзија.