VLA Trainingskosten: Was ein Fine-Tuning-Lauf wirklich kostet

Die Rechnung hat vier Posten, und die GPU ist der kleinste davon

Wenn Leute fragen, was es kostet, ein Vision-Sprach-Aktionsmodell für einen SO-100 zu feinabzustimmen, meinen sie fast immer die GPU-Miete. Das ist die Zahl, die als Belastung auf einer Karte erscheint, also diejenige, die sich real anfühlt. Sie ist auch, mit großem Abstand, die kleinste der vier Zahlen, die entscheiden, was eine funktionierende Policy tatsächlich kostet.

Die unten angegebenen Trainingszeiten stammen aus den eigenen Papieren und Repositories der fünf Modelle, die Hardwarekosten aus der veröffentlichten Stückliste, die Plattformzahlen von den AY-Robots Richtlinienkatalog und Preisseite. Wo die Plattform nicht hilft, wird dies in diesem Artikel erwähnt.

Was eine GPU-Stunde auf dem Spotmarkt tatsächlich kostet

Es gibt keinen einzelnen Preis für eine A100-Stunde. Auf einem Marktplatz wie vast.ai legt jeder Host seinen eigenen Tarif fest, und der Trainingslauf, den Sie starten, landet auf der Maschine, die in diesem Moment günstig und frei ist. Die ehrliche Antwort ist eine Verteilung. Hier ist sie, gemessen am 23. August 2026 um 13:44 UTC: einzelne volle Karten, auf Abruf, gefiltert nach echtem VRAM.

# Live, full-card, single-GPU, on-demand offers from the vast.ai public bundle API.
# No account and no API key needed. gpu_ram is in MB, so an 80 GB card is >= 80000.
python3 - <<'PY'
import json, statistics, urllib.parse, urllib.request

def offers(name, min_ram):
    q = {"rentable": {"eq": True}, "num_gpus": {"eq": 1}, "gpu_name": {"eq": name},
         "order": [["dph_total", "asc"]], "limit": 500, "type": "on-demand"}
    url = "https://console.vast.ai/api/v0/bundles/?q=" + urllib.parse.quote(json.dumps(q))
    with urllib.request.urlopen(url, timeout=60) as r:
        return [o for o in json.load(r)["offers"]
                if o["gpu_frac"] == 1.0 and o["gpu_ram"] >= min_ram]

groups = {
    "RTX 4090 24 GB": (["RTX 4090"], 24000),
    "RTX 5090 32 GB": (["RTX 5090"], 30000),
    "A100 80 GB":     (["A100 PCIE", "A100 SXM4"], 80000),
    "H100 80 GB":     (["H100 SXM", "H100 PCIE"], 80000),
    "H100 NVL 94 GB": (["H100 NVL"], 90000),
}
for label, (names, min_ram) in groups.items():
    o = [x for n in names for x in offers(n, min_ram)]
    if not o:
        print(label, "no offers"); continue
    p = sorted(x["dph_total"] for x in o)
    b = sorted(x["min_bid"] for x in o if x.get("min_bid"))
    bid = f"{b[0]:.2f}" if b else "n/a"
    print(f'{label}: n={len(p)} | {p[0]:.2f} / {statistics.median(p):.2f} / {p[-1]:.2f}'
          f' USD/h | bid floor {bid}')
PY

Warum die 3B-Modelle die günstige Karte nicht nutzen können

Eine 4090-Stunde und eine H100 80 GB-Stunde unterscheiden sich bei den oben genannten Medianwerten um etwa das Sechsfache. Was Sie auf die teure Karte zwingt, ist nicht die Geschwindigkeit, sondern der Speicher. openpi setzt die Untergrenze für ein vollständiges Pi0.5 Fine-Tuning bei 70 GB an, und NVIDIA empfiehlt 40 GB oder mehr für GR00T. Beachten Sie, was die GR00T-Zahl nicht ist. Die Fine-Tune-Konfiguration friert das Sprachmodell und den visuellen Encoder standardmäßig ein (tune_llm und tune_visual sind False, der Projektor und der Diffusionskopf True), weshalb der Katalog etwa 40 Millionen trainierte Parameter von 3 Milliarden auflistet. Die 40 GB sind kein Optimizer-Zustand für 3 Milliarden Gewichte, sondern das eingefrorene Backbone plus Aktivierungen. Varianten mit reduziertem Umfang fallen niedriger aus: openpis LoRA-Pfad benötigt 22,5 GB und nennt die 4090, und NVIDIAs Isaac Lab Arena-Workflow listet eine 24 GB Single-GPU-Option für GR00T nach dem Training auf. Die Plattform staffelt sich nach der Untergrenze, die jeder Anbieter für die tatsächlich ausgeführte Konfiguration veröffentlicht. Der pi0 Flow-Matching-Bericht erklärt, woher dieser Flow-Matching-Fußabdruck stammt.

Diese Tabelle erklärt, warum die Plattform die fünf Modelle in zwei Stufen unterteilt. GR00T N1.7, GR00T N1.5 und Pi0.5 laufen auf A100 80 GB oder H100, weil dies von den Anbietern gefordert wird. SmolVLA und ACT laufen auf einer RTX 4090 oder jeder 24 GB Karte, weil das tatsächlich ausreicht.

Wie lange jedes der fünf Modelle tatsächlich läuft

Die Laufzeit ist die andere Hälfte der Kosten: 2.00 USD pro Stunde sind irrelevant, wenn der Auftrag 40 Minuten dauert, und ruinös, wenn er 40 Stunden dauert. Dies sind die Standardwerte, die AY-Robots tatsächlich an den Trainer sendet, zusammen mit dem Laufzeitfenster und den Kosten für jede Stufe.

Woher diese Laufzeitfenster stammen

• SmolVLA: Die lerobot-Dokumentation besagt, dass 20.000 Schritte auf einer einzelnen A100 ungefähr 4 Stunden dauern. Die Plattform führt dieselben 20.000 Schritte auf der günstigeren 24-GB-Stufe aus, daher ein Zeitfenster statt pauschal 4 Stunden.
• ACT: Das ursprüngliche ALOHA-Paper berichtet von etwa 5 Stunden auf einer einzelnen 11 GB RTX 2080 Ti für ein Modell mit 80 Millionen Parametern. Eine 4090 ist mehrere Generationen neuer, aber die Plattform budgetiert 100.000 Schritte, sodass das Zeitfenster am selben Punkt landet.
• GR00T: NVIDIAs Referenz-Workflow für die N1.6-Generation gibt ungefähr 4 bis 8 Stunden für 20.000 Schritte bei Batch 24 auf acht L40S-Karten und 2 bis 3 Stunden für 30.000 Schritte bei Batch 16 auf einer einzelnen Ada 6000 an. Das Fine-Tuning eines 3B VLA auf einer einzelnen Karte in wenigen Stunden ist normal, nicht optimistisch.
• Pi0.5: openpi veröffentlicht keine tatsächliche Laufzeit, aber es veröffentlicht die 70 GB Untergrenze für ein vollständiges Fine-Tuning, was die Karte und damit die Rate festlegt.

Es lohnt sich, einen Moment innezuhalten und über die Kosten nachzudenken, die Sie nicht tragen. Das GR00T N1-Paper berichtet von ungefähr 50.000 H100 GPU-Stunden, um das 2.2B-Modell vorzutrainieren, auf einem Cluster von bis zu 1024 GPUs, mit einer Pretraining-Batch-Größe von 16.384 für 200.000 Gradientenschritte. Bei den oben gemessenen 1.34 bis 2.34 USD pro Stunde entspricht das einer Größenordnung von 67.000 bis 117.000 USD an gemieteter Rechenleistung. Das SmolVLA-Paper beziffert sein Projekt auf ungefähr 30.000 GPU-Stunden über 481 Community-Datensätze, 22.9K Episoden und 10.6M Frames. Sie erben all dies zum Preis eines Downloads; Ihre 8 USD kaufen die letzten 20.000 Schritte. Warum VLAs so aufgebaut sind behandelt diese Aufteilung.

Der Arm: eine einmalige Investition, die die GPU-Kosten in den Schatten stellt

Ein Trainingslauf kostet weniger als ein Mittagessen. Der Roboter nicht. Deshalb ist der SO-100 wichtig: Er ist der günstigste Arm, den die gesamte Imitationslernen Toolchain tatsächlich unterstützt.

Die vorgelagerte Stückliste im SO-ARM100 Repository ist detaillierter und sollte mit Ihrer Region abgeglichen werden: Die Liste Teile für zwei Arme beläuft sich auf insgesamt 229.88 USD oder 226.30 EUR für ein Leader-plus-Follower-Setup, und die Liste Teile für einen Follower-Arm beläuft sich auf insgesamt 121.94 USD oder 124.30 EUR. Sechs STS3215 Servos zu je 13.89 USD machen 83.34 von diesen 121.94 aus, die Servos sind also der Arm. Bei 1 bis 3 USD pro SmolVLA oder ACT Lauf ist ein Armpaar zwischen 77 und 230 Trainingsläufe wert. Wenn Sie noch am Auswählen sind, ist SO-100 gegen SO-101 der Vergleich, der zählt, denn die beiden sind sich so ähnlich, dass die Entscheidung eher von der Verfügbarkeit als von der Leistungsfähigkeit abhängt.

Menschliche Arbeitsstunden: die Zeile, die niemand in die Tabelle einträgt

Dies ist die Zahl, die die Kostendiskussion auf den Kopf stellt. Das Aufzeichnen von Demonstrationen bedeutet, dass eine Person einen Roboterarm bewegt, eine Episode nach der anderen, in Echtzeit. Es gibt keine Stapelverarbeitung und keine sekundengenaue Miete. Der LeRobot-Datensatz Rekorder wird mit Standardeinstellungen geliefert, die die Berechnung vereinfachen, alle drei bestätigt in DatasetRecordConfig: 60 Sekunden pro Episode, 60 Sekunden zum Zurücksetzen der Szene, 50 Episoden. Die Spalte für die Kosten unten geht von 15 USD für eine Stunde Arbeitszeit aus, was eine Annahme und keine Plattformzahl ist. Ersetzen Sie Ihren eigenen Satz; das Verhältnis ist der entscheidende Punkt.

1. 1
   Zeichnen Sie den Datensatz mit den Standardeinstellungen auf, die Ihnen tatsächlich in Rechnung gestellt werden

   Dies ist lerobot 0.6.1, die Version auf PyPI vom 3. August 2026. Beachten Sie die CLI-Form: Die Aufzeichnung erfolgt über den Konsoleneinstiegspunkt lerobot-record (lerobot.scripts.lerobot_record), nicht über den alten Modulpfad python -m lerobot.scripts.record. AY-Robots zielt auf 0.5.1 ab, und das 0.5.1-Wheel deklariert dieselben Einstiegspunkte lerobot-record und lerobot-train, sodass die unten gezeigte Form über beide Versionen hinweg stabil ist. Die drei Zeit-Flags sind die Upstream-Standardwerte, daher ist dies auch der Befehl, den die Berechnung in der nächsten Tabelle annimmt.

   bash

   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower_arm \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader_arm \
       --dataset.repo_id=${HF_USER}/pick-place-cube \
       --dataset.num_episodes=50 \
       --dataset.episode_time_s=60 \
       --dataset.reset_time_s=60 \
       --dataset.single_task="Grab the black cube and put it in the bin"

2. 2
   Sehen Sie sich an, was Sie aufgenommen haben, bevor Sie eine einzige GPU-Minute mieten

   Die Inspektion eines Datensatzes kostet null USD pro Stunde. Das Entdecken desselben Problems anhand einer Verlustkurve kostet 2.00 USD pro Stunde auf der H100-Stufe und sagt es Ihnen vier Stunden zu spät. Laden Sie den Datensatz hoch und überprüfen Sie ihn im LeRobot-Viewer, oder durchsuchen Sie das AY-Robots Datensatzverzeichnis.

   bash

   # the recorder pushes to the Hub by default; disable with --dataset.push_to_hub=False
   echo https://huggingface.co/datasets/${HF_USER}/pick-place-cube
   
   # then open https://huggingface.co/spaces/lerobot/visualize_dataset
   # and scrub through episodes: are both camera streams alive on every episode?
   # is the gripper actually closing? does the arm sit at a joint limit?

3. 3
   Trainieren Sie und stellen Sie sicher, dass der Checkpoint den Pod überlebt

   Eine gemietete Maschine ist per Definition temporär, daher sollten Sie während des Laufs Checkpoints an einem dauerhaften Ort speichern. Zwei Flags entscheiden, ob Sie behalten, wofür Sie bezahlt haben. --save_freq ist standardmäßig auf 20.000 Schritte eingestellt, sodass ein standardmäßiger 20.000-Schritte-SmolVLA-Lauf seinen ersten Checkpoint schreibt, wenn der Lauf bereits beendet ist; senken Sie diesen Wert, bevor Sie etwas Unterbrechbares mieten. --save_checkpoint_to_hub erfordert --policy.repo_id und existiert nicht in lerobot 0.5.1, daher müssen Sie in dieser Version das Ausgabeverzeichnis selbst von der Maschine kopieren. Die unten angegebene Batch-Größe ist das Beispiel der Upstream-Dokumentation; das AY-Robots-Formular sendet 2 für SmolVLA und schreibt Checkpoints in den Objektspeicher, sobald sie erscheinen.

   bash

   lerobot-train \
       --policy.path=lerobot/smolvla_base \
       --dataset.repo_id=${HF_USER}/pick-place-cube \
       --batch_size=64 \
       --steps=20000 \
       --save_freq=2000 \
       --output_dir=outputs/train/my_smolvla \
       --job_name=my_smolvla_training \
       --policy.device=cuda \
       --policy.repo_id=${HF_USER}/my_smolvla \
       --save_checkpoint_to_hub=true

Vergleichen Sie die rechte Spalte mit den 1 bis 12 USD, die der Lauf kostet. Bei dieser angenommenen Rate kostet ein Datensatz mit 50 Episoden zwei- bis siebenmal so viel in der Aufzeichnung wie im Training, vor Kalibrierung, Kamera-Setup und den Episoden, die Sie verwerfen. Deshalb hat einen direkten monetären Wert. Der lerobot-Leitfaden empfiehlt mindestens 50 Episoden mit 10 pro Objektposition; die SmolVLA-Dokumentation berichtet, dass eine 25-Episoden-Version derselben Aufgabe nicht ausreichte.

Wo das Geld tatsächlich verloren geht

1. Läufe mit Daten, die niemals funktionieren würden

Ein 20.000-Schritte GR00T-Lauf auf einem Datensatz mit zwei vertauschten Kamerastreams kostet dasselbe wie einer auf einem sauberen Datensatz, dauert gleich lang und erzeugt eine Verlustkurve, die gut aussieht. Der Fehler zeigt sich erst Stunden später am Arm. werden stundenweise abgerechnet und die Diagnose in Tagen. Zwei Symptome, die man sich merken sollte: bedeutet normalerweise, dass die Beobachtungen nicht das enthalten, was die Aufgabe erfordert, und bedeutet, dass der Datensatz weniger Variation aufwies, als Sie dachten.

2. Preise für Basismodelle für eine Aufgabe mit fester Kamera bezahlen

ACT hat ungefähr 80 Millionen Parameter und wurde entwickelt, um von Grund auf mit 50 Demonstrationen einer Aufgabe trainiert zu werden. GR00T N1.7 hat ungefähr 3 Milliarden Parameter mit einem vortrainierten Backbone. Für eine fest verschraubte Kamera, einen festen Tisch und ein Objekt erreicht das 80M-Modell häufig das Ziel, läuft mit etwa 20 ms pro Aktionsschritt anstatt 152 ms und kostet 1 bis 3 USD pro Lauf anstatt 4 bis 12. Geben Sie 3 USD aus, um herauszufinden, ob das günstige Modell funktioniert, bevor Sie 12 USD für das teure ausgeben. ACT gegen SmolVLA und GR00T N1.7 gegen Pi0.5 zeigen, wo jedes aufhört, die richtige Antwort zu sein; die Modell-Arena hat 85 Modelle und 332 Benchmark-Ergebnisse.

3. Die GPU, die Sie vergessen haben

Der günstigste Fehler, den man vermeiden kann, und der häufigste, den man macht. Eine am Freitag zur Fehlersuche gestartete Instanz wird über das Wochenende zum gleichen Tarif abgerechnet wie ein echter Lauf.

Bei AY-Robots ist dieser Fehler für die Inferenz ausgeschlossen: Von der Inferenz-API bereitgestellte Pods verfügen über einen Leerlauf-Watchdog und zerstören sich nach einer Leerlaufperiode selbst. Wenn Sie die Karte selbst mieten, ist dieser Watchdog Ihre Kalendererinnerung.

4. Zweimal für dieselbe Antwort bezahlen

GR00Ts Einstiegspunkt für das Fine-Tuning ist ein tyro CLI, das keinen Seed offenlegt. Das ist keine Plattformbeschränkung, sondern das Upstream-Tool: Es gibt kein Seed-Feld in gr00t/configs/finetune_config.py, und die eigenen Trainings-Tipps des Repositories warnen davor, dass Läufe um 5 bis 6 Prozent variieren, da die Bild-Augmentierungen nicht-deterministisch sind. lerobot verwendet standardmäßig Seed 1000 in 0.5.1 und 0.6.1, sodass ACT-, SmolVLA- und Pi0.5-Läufe zumindest mit derselben Initialisierung und Datenreihenfolge erneut ausgeführt werden können. Das ist kein Versprechen bit-identischer Gewichte auf einer GPU, aber es ist der Unterschied zwischen einer Wiederholung und einem neuen Experiment. Wenn ein GR00T-Lauf eine funktionierende Policy erzeugt und Sie den Checkpoint nicht behalten haben, zahlen Sie den vollen Preis für ein Ergebnis, das um mehr abweichen kann, als den Unterschied, den Sie verfolgten. Es gibt eine zweite Möglichkeit, einen bezahlten Checkpoint zu verlieren: Das CLI verwendet standardmäßig --save-total-limit 5, dokumentiert als die maximale Anzahl von Checkpoints, die aufbewahrt werden, bevor ältere gelöscht werden. Speicher kostet Cents; eine Wiederholung kostet 4 bis 12 USD und sechs Stunden.

Es selbst tun versus die Plattform die Karte mieten lassen

# GR00T N1.7, single GPU, Isaac-GR00T as of August 2026.
# Note the entry point: gr00t/experiment/launch_finetune.py, a tyro CLI.
# scripts/gr00t_finetune.py does not exist in this repository; tutorials that
# still reference it are stale. The per-embodiment walkthrough is
# getting_started/finetune_new_embodiment.md.
CUDA_VISIBLE_DEVICES=0 uv run python gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path demo_data/cube_to_bowl_5 \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus 1 \
    --output-dir ./so100-checkpoints \
    --max-steps 20000 \
    --global-batch-size 32 \
    --dataloader-num-workers 4

# v3.0 dataset? Convert it down first or the loader will crash. The helper
# has its own pyproject and must be installed in its own environment:
cd scripts/lerobot_conversion
uv venv && source .venv/bin/activate
uv pip install -e .
python convert_v3_to_v2.py --repo-id <DATASET_REPO_ID>

Was die Plattform berechnet und wie sie die Karte auswählt

Die Logik ist bewusst langweilig. Jedes Modell im Katalog deklariert eine GPU-Stufe; das Backend nimmt den benötigten VRAM und mietet eine passende Karte auf demselben oben gemessenen Spotmarkt. Deshalb ist der angegebene Preis eine Spanne, kein fester Preis. GR00T und Pi0.5 sind hier nur in der Cloud verfügbar, aufgrund der Untergrenzen von 40 GB und 70 GB. SmolVLA und ACT laufen auch lokal auf Ihrer eigenen 24-GB-Karte, wo die Cloud-Kosten null sind und der Strom Ihr Problem ist.

Eine Einstellung verdient eine Warnung. Die Gradientenakkumulation gilt tatsächlich für beide GR00T-Varianten, sodass eine Erhöhung einen größeren effektiven Batch auf derselben Karte ermöglicht. Für Pi0.5 und SmolVLA gilt sie überhaupt nicht: lerobot 0.5.1 hat keine Option zur Gradientenakkumulation in seiner Trainingskonfiguration, daher kostet das Setzen des Feldes auf 16 nichts und bringt auch nichts. Wenn ein in der Warteschlange stehender Job nie startet, die Seite für in der Warteschlange hängengebliebene Jobs erklärt, was zu überprüfen ist; wenn der Datensatz vor Beginn des Laufs abgelehnt wird, ist es fast immer das v3.0 Formatproblem.

Ein ausgearbeitetes Budget für eine erste funktionierende Policy

Alle vier Zeilen zusammen, von Grund auf neu. Die GPU-Gesamtsumme geht von 3 bis 5 Läufen aus: der erste beweist, dass die Pipeline funktioniert, der zweite deckt ein Datenproblem auf, der dritte oder vierte ist der, den Sie behalten.

Das Muster gilt auch für diese Robotergröße: Rechenleistung ist ein Rundungsfehler, Hardware ist eine echte einmalige Investition, menschliche Arbeitsstunden sind die wiederkehrenden Kosten. Um die Trainingshälfte vor dem Kauf zu testen, können Sie Modelle vergleichen und eine GPU mieten, ohne einen Arm zu besitzen, und ist ein physischer SO-100, den Sie ohne Anmeldung im Browser steuern können. Für die gesamte End-to-End-Pipeline deckt der die Einrichtung, und das Training ab, und ist die Kurzversion.