Náklady na tréning VLA: Koľko skutočne stojí jemné doladenie

Účet má štyri položky a GPU je tá najmenšia

Keď sa ľudia pýtajú, koľko stojí doladenie vizuálno-jazykovo-akčného modelu pre SO-100, takmer vždy myslia prenájom GPU. To je číslo, ktoré sa zobrazí ako poplatok na karte, takže je to to, ktoré sa zdá byť skutočné. Je to tiež, s veľkým náskokom, najmenšie zo štyroch čísel, ktoré rozhodujú o tom, koľko vás skutočne stojí funkčná policy.

Časy tréningu nižšie pochádzajú z vlastných prác a repozitárov piatich modelov, náklady na hardvér z publikovaného zoznamu materiálov, čísla platformy z AY-Robots katalógu politík a stránky s cenami. Tam, kde platforma nepomáha, tento článok to uvádza.

Koľko v skutočnosti stojí hodina GPU na spotovom trhu

Neexistuje jednotná cena za hodinu A100. Na trhovisku ako vast.ai si každý hostiteľ nastavuje vlastnú sadzbu a tréningové spustenie , ktoré spustíte, pristane na akomkoľvek stroji, ktorý je v danom okamihu lacný a voľný. Úprimná odpoveď je distribúcia. Tu je, merané 23. augusta 2026 o 13:44 UTC: jednotlivé plné karty, na požiadanie, filtrované podľa skutočnej VRAM.

# Live, full-card, single-GPU, on-demand offers from the vast.ai public bundle API.
# No account and no API key needed. gpu_ram is in MB, so an 80 GB card is >= 80000.
python3 - <<'PY'
import json, statistics, urllib.parse, urllib.request

def offers(name, min_ram):
    q = {"rentable": {"eq": True}, "num_gpus": {"eq": 1}, "gpu_name": {"eq": name},
         "order": [["dph_total", "asc"]], "limit": 500, "type": "on-demand"}
    url = "https://console.vast.ai/api/v0/bundles/?q=" + urllib.parse.quote(json.dumps(q))
    with urllib.request.urlopen(url, timeout=60) as r:
        return [o for o in json.load(r)["offers"]
                if o["gpu_frac"] == 1.0 and o["gpu_ram"] >= min_ram]

groups = {
    "RTX 4090 24 GB": (["RTX 4090"], 24000),
    "RTX 5090 32 GB": (["RTX 5090"], 30000),
    "A100 80 GB":     (["A100 PCIE", "A100 SXM4"], 80000),
    "H100 80 GB":     (["H100 SXM", "H100 PCIE"], 80000),
    "H100 NVL 94 GB": (["H100 NVL"], 90000),
}
for label, (names, min_ram) in groups.items():
    o = [x for n in names for x in offers(n, min_ram)]
    if not o:
        print(label, "no offers"); continue
    p = sorted(x["dph_total"] for x in o)
    b = sorted(x["min_bid"] for x in o if x.get("min_bid"))
    bid = f"{b[0]:.2f}" if b else "n/a"
    print(f'{label}: n={len(p)} | {p[0]:.2f} / {statistics.median(p):.2f} / {p[-1]:.2f}'
          f' USD/h | bid floor {bid}')
PY

Prečo modely 3B nemôžu používať lacnú kartu

Hodina na 4090 a hodina na H100 80 GB sa líšia približne šesťnásobne pri vyššie uvedených mediánoch. To, čo vás núti použiť drahú kartu, nie je rýchlosť, ale pamäť. openpi stanovuje spodnú hranicu pre úplné jemné doladenie Pi0.5 na 70 GB a NVIDIA odporúča 40 GB alebo viac pre GR00T. Všimnite si, čo číslo GR00T neznamená. Jeho konfigurácia jemného doladenia predvolene zmrazuje jazykový model a vizuálny kódovač (tune_llm a tune_visual sú False, projektor a difúzna hlava True), preto katalóg uvádza približne 40 M trénovaných parametrov z 3 B. 40 GB nie je stav optimalizátora pre 3 B váhy, je to zmrazená chrbtica plus aktivácie. Varianty so zníženým rozsahom klesajú nižšie: cesta LoRA od openpi vyžaduje 22.5 GB a spomína 4090, a pracovný postup NVIDIA Isaac Lab Arena uvádza možnosť 24 GB s jednou GPU pre GR00T po tréningu. Platforma sa riadi minimálnymi požiadavkami, ktoré každý dodávateľ zverejňuje pre konfiguráciu, ktorú skutočne používa. Článok o pi0 flow-matching vysvetľuje, odkiaľ pochádza táto stopa flow-matching.

Táto tabuľka je dôvodom, prečo platforma rozdeľuje päť modelov do dvoch úrovní. GR00T N1.7, GR00T N1.5 a Pi0.5 bežia na A100 80 GB alebo H100, pretože to je to, čo dodávatelia požadujú. SmolVLA a ACT bežia na RTX 4090 alebo akejkoľvek 24 GB karte, pretože to je skutočne dosť.

Ako dlho skutočne beží každý z piatich modelov

Doba behu je druhá polovica nákladov: 2.00 USD za hodinu je irelevantné, ak úloha trvá 40 minút, a zničujúce, ak trvá 40 hodín. Toto sú predvolené hodnoty, ktoré AY-Robots skutočne posiela trénerovi, spolu s časovým oknom behu a nákladmi pre každú úroveň.

Odkiaľ pochádzajú tieto časové okná behu z upstreamu

• SmolVLA: dokumentácia lerobot uvádza, že 20 000 krokov trvá približne 4 hodiny na jednej A100. Platforma spúšťa rovnakých 20 000 krokov na lacnejšej úrovni s 24 GB, preto ide o okno a nie o fixné 4 hodiny.
• ACT: pôvodný článok ALOHA uvádza približne 5 hodín na jednej 11 GB RTX 2080 Ti pre model s 80M parametrami. Karta 4090 je o niekoľko generácií novšia, ale platforma rozpočtuje 100 000 krokov, takže časové okno sa nachádza na rovnakom mieste.
• GR00T: referenčný pracovný postup NVIDIA pre generáciu N1.6 uvádza približne 4 až 8 hodín pre 20 000 krokov pri dávke 24 na ôsmich kartách L40S a 2 až 3 hodiny pre 30 000 krokov pri dávke 16 na jednej Ada 6000. Jemné doladenie 3B VLA na jednej karte za niekoľko hodín je normálne, nie optimistické.
• Pi0.5: openpi nezverejňuje žiadne údaje o reálnom čase, ale zverejňuje minimálnu požiadavku 70 GB pre úplné jemné doladenie, čo určuje kartu a tým aj rýchlosť.

Stojí za to pozastaviť sa pri čísle, ktoré neplatíte. Článok GR00T N1 uvádza približne 50 000 H100 GPU hodín na predtrénovanie 2.2B modelu, na klastri až 1024 GPU, s veľkosťou dávky predtrénovania 16 384 pre 200 000 gradientných krokov. Pri cene 1.34 až 2.34 USD za hodinu, meranej vyššie, to predstavuje rádovo 67 000 až 117 000 USD za prenajatý výpočtový výkon. Článok SmolVLA odhaduje svoj projekt na približne 30 000 GPU hodín naprieč 481 komunitnými dátovými sadami, 22.9K epizódami a 10.6M snímkami. Všetko to zdedíte za cenu stiahnutia; vašich 8 USD kúpi posledných 20 000 krokov. Prečo sú VLA modely postavené týmto spôsobom pokrýva toto rozdelenie.

Rameno: jednorazový náklad, ktorý zatieňuje účet za GPU

Tréningový beh stojí menej ako obed. Robot nie. Preto je SO-100 dôležitý: je to najlacnejšie rameno, ktoré celá učenie napodobňovaním sada nástrojov skutočne podporuje.

Zoznam materiálov v repozitári SO-ARM100 je podrobnejší a oplatí sa ho skontrolovať vzhľadom na váš región: jeho Diely pre dve ramená zoznam celkovo predstavuje 229.88 USD alebo 226.30 EUR pre nastavenie s jedným lídrom a jedným nasledovníkom, a jeho Diely pre jedno rameno nasledovníka zoznam celkovo predstavuje 121.94 USD alebo 124.30 EUR. Šesť serv STS3215 po 13.89 USD za kus tvorí 83.34 z týchto 121.94, takže servá sú rameno. Pri cene 1 až 3 USD za beh SmolVLA alebo ACT má jeden pár ramien hodnotu medzi 77 a 230 tréningovými behmi. Ak si stále vyberáte, SO-100 proti SO-101 je porovnanie, na ktorom záleží, pretože tieto dva sú si dostatočne blízke, takže rozhodnutie je skôr o dostupnosti než o schopnostiach.

Ľudské hodiny: riadok, ktorý nikto neuvádza v tabuľke

Toto je číslo, ktoré prevráti diskusiu o nákladoch naruby. Nahrávanie demonštrácií znamená, že človek pohybuje robotickým ramenom, jednu epizódu za druhou, v reálnom čase. Neexistuje žiadne dávkovanie ani prenájom na sekundu. dátová sada LeRobot nahrávač sa dodáva s predvolenými nastaveniami, ktoré uľahčujú výpočty, všetky tri potvrdené v DatasetRecordConfig: 60 sekúnd na epizódu, 60 sekúnd na resetovanie scény, 50 epizód. Stĺpec s peniazmi nižšie predpokladá 15 USD za hodinu času človeka, čo je skôr predpoklad ako číslo platformy. Nahraďte si vlastnú sadzbu; dôležitý je pomer.

1. 1
   Nahrajte dátovú sadu s predvolenými nastaveniami, za ktoré vám budú skutočne účtované poplatky

   Toto je lerobot 0.6.1, verzia na PyPI k 3. augustu 2026. Všimnite si tvar CLI: nahrávanie prebieha cez vstupný bod konzoly lerobot-record (lerobot.scripts.lerobot_record), nie starú cestu modulu python -m lerobot.scripts.record. AY-Robots cieli na verziu 0.5.1 a wheel 0.5.1 deklaruje rovnaké vstupné body lerobot-record a lerobot-train, takže tvar nižšie je stabilný pre obe verzie. Tri časovacie príznaky sú predvolené nastavenia upstreamu, takže toto je aj príkaz, ktorý predpokladá aritmetika v nasledujúcej tabuľke.

   bash

   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower_arm \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader_arm \
       --dataset.repo_id=${HF_USER}/pick-place-cube \
       --dataset.num_episodes=50 \
       --dataset.episode_time_s=60 \
       --dataset.reset_time_s=60 \
       --dataset.single_task="Grab the black cube and put it in the bin"

2. 2
   Pozrite sa, čo ste nahrali, predtým než si prenajmete jedinú minútu GPU

   Kontrola dátovej sady stojí nula USD za hodinu. Objavovanie rovnakého problému z krivky straty stojí 2.00 USD za hodinu na úrovni H100 a dozviete sa o ňom o štyri hodiny neskôr. Nahrajte dátovú sadu a prejdite si ju v prehliadači LeRobot, alebo si prezrite adresár dátových sád AY-Robots.

   bash

   # the recorder pushes to the Hub by default; disable with --dataset.push_to_hub=False
   echo https://huggingface.co/datasets/${HF_USER}/pick-place-cube
   
   # then open https://huggingface.co/spaces/lerobot/visualize_dataset
   # and scrub through episodes: are both camera streams alive on every episode?
   # is the gripper actually closing? does the arm sit at a joint limit?

3. 3
   Trénujte a uistite sa, že kontrolný bod prežije pod

   Prenajatý stroj je podľa definície dočasný, takže počas behu zapisujte kontrolné body niekam trvalým spôsobom. Dva príznaky rozhodujú o tom, či si ponecháte to, za čo ste zaplatili. --save_freq má predvolenú hodnotu 20 000 krokov, takže predvolený beh SmolVLA s 20 000 krokmi zapíše svoj prvý kontrolný bod, keď je beh už ukončený; znížte ho predtým, než si prenajmete čokoľvek prerušiteľné. --save_checkpoint_to_hub vyžaduje --policy.repo_id a neexistuje v lerobot 0.5.1, takže v tejto verzii si musíte skopírovať výstupný adresár zo stroja sami. Veľkosť dávky nižšie je príklad z dokumentácie upstreamu; formulár AY-Robots posiela 2 pre SmolVLA a zapisuje do objektového úložiska, keď sa objavia kontrolné body.

   bash

   lerobot-train \
       --policy.path=lerobot/smolvla_base \
       --dataset.repo_id=${HF_USER}/pick-place-cube \
       --batch_size=64 \
       --steps=20000 \
       --save_freq=2000 \
       --output_dir=outputs/train/my_smolvla \
       --job_name=my_smolvla_training \
       --policy.device=cuda \
       --policy.repo_id=${HF_USER}/my_smolvla \
       --save_checkpoint_to_hub=true

Porovnajte pravý stĺpec s nákladmi na spustenie v rozsahu 1 až 12 USD. Pri tejto predpokladanej sadzbe stojí nahrávanie dátovej sady s 50 epizódami dva až sedemkrát viac ako jej trénovanie, a to pred kalibráciou, nastavením kamery a epizódami, ktoré vyradíte. Preto má priamu peňažnú hodnotu. Sprievodca LeRobot navrhuje minimálne 50 epizód s 10 na každé umiestnenie objektu; dokumentácia SmolVLA uvádza, že 25-epizódová verzia rovnakej úlohy nebola dostatočná.

Kde sa peniaze skutočne strácajú

1. Spustenia na dátach, ktoré nikdy nemali fungovať

Spustenie GR00T s 20 000 krokmi na dátovej sade s dvoma prehodenými kamerovými streamami stojí rovnako ako na čistej dátovej sade, trvá rovnako dlho a produkuje krivku straty, ktorá vyzerá v poriadku. Zlyhanie sa prejaví na ramene o hodiny neskôr. sú účtované hodinovou sadzbou a diagnostika je účtovaná v dňoch. Dva príznaky, ktoré si stojí za to zapamätať: zvyčajne znamená, že pozorovania neobsahujú to, čo úloha potrebuje, a znamená, že dátová sada mala menej variácií, než ste si mysleli.

2. Platenie cien základných modelov za úlohu s pevnou kamerou

ACT má približne 80M parametrov a bol navrhnutý na trénovanie od nuly na 50 demonštráciách jednej úlohy. GR00T N1.7 má približne 3B s predtrénovanou chrbticou. Pre pevnú kameru, pevný stôl a jeden objekt sa 80M model často dostane k cieľu, beží približne 20 ms na akčný krok namiesto 152 ms a stojí 1 až 3 USD za spustenie namiesto 4 až 12. Minúť 3 USD na zistenie, či lacný model funguje, predtým ako miniete 12 USD na drahý. ACT proti SmolVLA a GR00T N1.7 proti Pi0.5 ukazujú, kde každý prestáva byť správnou odpoveďou; aréna modelov má 85 modelov a 332 výsledkov benchmarkov.

3. GPU, na ktoré ste zabudli

Najlacnejšia chyba, ktorej sa dá predísť, a najčastejšia, ktorú možno urobiť. Inštancia spustená v piatok na ladenie niečoho sa účtuje cez víkend rovnakou sadzbou ako skutočné spustenie.

Na AY-Robots je táto chyba pri inferencii eliminovaná: pody poskytované inferenčným API obsahujú strážneho psa nečinnosti a po období nečinnosti sa samy zničia. Ak si kartu prenajímate sami, tento strážny pes je vašou pripomienkou v kalendári.

4. Platenie dvakrát za rovnakú odpoveď

Vstupný bod pre jemné ladenie GR00T je tyro CLI, ktoré neexponuje žiadne seed. To nie je obmedzenie platformy, je to nástroj od dodávateľa: v gr00t/configs/finetune_config.py, a vlastné tréningové tipy repozitára varujú, že spustenia sa líšia o 5 až 6 percent, pretože augmentácie obrázkov sú nedeterministické. lerobot predvolene používa seed 1000 v oboch verziách 0.5.1 a 0.6.1, takže spustenia ACT, SmolVLA a Pi0.5 môžu byť aspoň znova spustené z rovnakej inicializácie a poradia dát. To nie je prísľub bitovo identických váh na GPU, ale je to rozdiel medzi opätovným spustením a novým experimentom. Ak spustenie GR00T vytvorí funkčnú politiku a vy ste si neuchovali kontrolný bod, zaplatíte plnú cenu za výsledok, ktorý sa môže líšiť viac, než bol rozdiel, ktorý ste hľadali. Existuje druhý spôsob, ako stratiť kontrolný bod, za ktorý ste zaplatili: CLI predvolene používa --save-total-limit 5, čo je zdokumentované ako maximálny počet uchovávaných kontrolných bodov pred odstránením starších. Úložisko stojí centy; opätovné spustenie je 4 až 12 USD a šesť hodín.

Robíte to sami verzus necháte platformu prenajať kartu

# GR00T N1.7, single GPU, Isaac-GR00T as of August 2026.
# Note the entry point: gr00t/experiment/launch_finetune.py, a tyro CLI.
# scripts/gr00t_finetune.py does not exist in this repository; tutorials that
# still reference it are stale. The per-embodiment walkthrough is
# getting_started/finetune_new_embodiment.md.
CUDA_VISIBLE_DEVICES=0 uv run python gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path demo_data/cube_to_bowl_5 \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus 1 \
    --output-dir ./so100-checkpoints \
    --max-steps 20000 \
    --global-batch-size 32 \
    --dataloader-num-workers 4

# v3.0 dataset? Convert it down first or the loader will crash. The helper
# has its own pyproject and must be installed in its own environment:
cd scripts/lerobot_conversion
uv venv && source .venv/bin/activate
uv pip install -e .
python convert_v3_to_v2.py --repo-id <DATASET_REPO_ID>

Čo platforma účtuje a ako vyberá kartu

Logika je zámerne nudná. Každý model v katalógu, deklaruje úroveň GPU; backend vezme požadovanú VRAM a prenajme zodpovedajúcu kartu na rovnakom spotovom trhu, ako je uvedené vyššie. Preto je uvedená cena rozsah, nie pevná cena. GR00T a Pi0.5 sú tu len pre cloud kvôli minimálnym požiadavkám 40 GB a 70 GB. SmolVLA a ACT bežia aj lokálne na vašej vlastnej 24 GB karte, kde sú náklady na cloud nulové a elektrina je váš problém.

Jedno nastavenie si zaslúži upozornenie. Akumulácia gradientu sa skutočne vzťahuje na oba varianty GR00T, takže jej zvýšenie kúpi väčšiu efektívnu dávku na rovnakej karte. Pre Pi0.5 a SmolVLA sa vôbec neuplatňuje: lerobot 0.5.1 nemá vo svojej tréningovej konfigurácii možnosť akumulácie gradientu, takže nastavenie poľa na 16 nič nestojí a nič nekúpi. Ak sa úloha vo fronte nikdy nespustí, stránka o úlohách zaseknutých vo fronte, pokrýva, čo skontrolovať; ak je dátový súbor odmietnutý pred spustením, je to takmer vždy problém s formátom v3.0.

Vypracovaný rozpočet pre prvú funkčnú politiku

Všetky štyri riadky spolu, začínajúc od nuly. Celková suma za GPU predpokladá 3 až 5 spustení: prvé preukáže funkčnosť pipeline, druhé odhalí problém s dátami, tretie alebo štvrté je to, ktoré si ponecháte.

Tento vzor platí aj pre túto veľkosť robota: výpočty sú zaokrúhľovacia chyba, hardvér je skutočný jednorazový náklad, ľudské hodiny sú opakujúce sa výdavky. Ak chcete otestovať tréningovú časť pred kúpou čohokoľvek, vstupné body bez hardvéru vám umožnia porovnať modely a prenajať si GPU bez ramena, a živé rameno je fyzický SO-100, ktorý môžete ovládať v prehliadači bez registrácie. Pre celý end-to-end pipeline, kompletný sprievodca SO-100 pokrýva nastavenie, teleoperáciu a tréning, a natrénujte svoju prvú politiku je krátka verzia.