Wie man SmolVLA auf einer 24 GB GPU trainiert (lerobot 0.6.1)

Die meisten Leute, die ein Vision-Sprach-Aktionsmodell auf einem echten Arm wollen, scheitern an der Hardware. GR00T N1.7 und Pi0.5 haben jeweils etwa drei Milliarden Parameter und benötigen eine A100 80 GB oder eine H100. Wenn Sie einen Gaming-PC mit einer RTX 4090 besitzen, ist das das Ende der Fahnenstange. SmolVLA ist die Ausnahme: 450 M Parameter, innerhalb von LeRobot, entwickelt zum Fine-Tuning auf einer Consumer-Karte und zum Servieren von einer CPU.

Zuerst der manuelle Weg: lerobot installieren, den lerobot/smolvla_base Checkpoint herunterladen, den eigentlichen Befehl ausführen, den Lauf währenddessen verfolgen. Dann der Plattformweg und wo er nicht hilft.

Was SmolVLA ist, in überprüfbaren Zahlen

SmolVLA ist eine Flow-Matching Policy, die auf ein kleines Vision-Sprachmodell aufgesetzt ist. Das Rückgrat ist SmolVLM2-500M-Video-Instruct; das Paper behält nur die ersten 16 Schichten seines Sprachmodells bei, begrenzt jeden Kamerarahmen auf 64 visuelle Token mit einem Pixel-Shuffle anstelle von Bild-Tiling und verschränkt Cross-Attention mit einer Self-Attention-Schicht in jedem zweiten Block. Die Inferenzkosten waren eine Designbeschränkung, nicht ein nachträglicher Gedanke.

Die Benchmarks sind der Grund, warum man sich mit einem 450 M Modell beschäftigt. Auf LIBERO erreicht es durchschnittlich 87.3 Prozent gegenüber 76.5 für OpenVLA bei 7 B und 86.0 für ein robotik-vortrainiertes Pi0 bei 3.3 B; auf Meta-World, 57.3 gegenüber 47.9. Auf echter SO-100 Hardware liefert Multi-Task-Training 75 Prozent bei Pick-and-Place, 90 beim Stapeln, 70 beim Sortieren, im Durchschnitt 78.3, während ACT pro Aufgabe trainiert durchschnittlich 48.3 erreichte. Dieselben Zeilen stehen neben jedem veröffentlichten VLA im SmolVLA Arena-Eintrag und dem ACT gegen SmolVLA Vergleich.

Warum eine 24-GB-Karte der richtige erste Lauf ist

LeRobot liefert einen Leitfaden zur Berechnung der Größe, die nützlichste Seite im Repository hierfür. Er gruppiert Richtlinien nach Backbone-Größe und gibt pro Gruppe einen VRAM-Bedarf an, gemessen bei einer Batch-Größe von 8 mit AdamW, der Standardeinstellung von LeRobot. Der Optimiererzustand allein fügt 30 bis 100 Prozent über einen reinen Vorwärts- und Rückwärtsdurchlauf hinzu, sodass dies keine reinen Gewichtsangaben sind.

Zehn bis sechzehn Gigabyte bei Batch 8 ist das Argument: Eine 24-GB-Karte passt dazu plus den Dataloader. AY-Robots setzt SmolVLA auf die RTX 4090 oder jede 24-GB-Karte, mindestens 30 Episoden, LeRobot v3.0 Daten, 245 ms pro Aktionsschritt. Gemietet sind das 2 bis 5 Stunden zu 0.30 bis 0.60 USD pro Stunde, etwa 1 bis 3 USD pro Fine-Tuning Lauf, gegenüber 4 bis 12 USD auf der 80-GB-Stufe, die GR00T und Pi0.5 benötigen (Preise). Ein fehlgeschlagener SmolVLA-Lauf ist ein Kaffee; ein fehlgeschlagener GR00T-Lauf, ein Mittagessen.

Schritt 0: Der Datensatz entscheidet über den Lauf, nicht die Flags

Nichts davon ist relevant, wenn die Aufnahme schlecht ist. Die LeRobot SmolVLA-Seite ist deutlich: Der Referenzdatensatz umfasste 50 Episoden über 5 Würfelpositionen, 10 pro Position, und dieselbe Aufgabe mit 25 Episoden schnitt schlecht ab. Wiederholung pro Variation generalisiert, die reine Episodenanzahl nicht. Noch nie eine aufgenommen? Beginnen Sie bei nehmen Sie Ihren ersten Datensatz auf, mit dem Desktop-Client, der das LeRobot-Format aus einer Teleoperationssitzung-Sitzung, oder leihen Sie sich eine aus dem Datensatzverzeichnis.

• Mindestens 30 Episoden auf AY-Robots, etwa 50 für das LeRobot-Referenzrezept.
• Jede Variation, die Sie beim Rollout erwarten, mehrmals wiederholt.
• Ein Aufgaben-String, der bei der Aufzeichnung und beim Rollout identisch geschrieben ist. Das Modell wird auf diesen Text konditioniert.
• Feste Kameras. Eine Kamera, die zwischen Aufzeichnung und Rollout bewegt wurde, ist der häufigste Grund, warum eine saubere Verlustkurve zu einem bewegungslosen Arm führt.
• Eine zurückgehaltene Variation, die Sie nie trainiert haben, damit Sie etwas Echtes zum Testen haben.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Mehr dazu in wie man hochwertige VLA-Trainingsdaten für die Robotermanipulation sammelt. Die Kurzversion: 30 bis 50 saubere Episoden einer Aufgabe mit bewusster Variation schlagen 200 schlampige Episoden von dreien, und zwar mit einem Vorsprung, den kein Hyperparameter schließen kann.

lerobot 0.6.1 installieren

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Die Basis-lerobot-Installation ist schlank und schirmt schwere Abhängigkeiten hinter Extras ab: smolvla fügt Transformers, num2words und Accelerate hinzu, training den Datensatz-Stack und wandb, core_scripts die Hardware- und Visualisierungsabhängigkeiten. Unter Linux entscheidet der Installationspfad auch über Ihr CUDA-Wheel: Der PyPI-Standard ist ein cu130-Wheel mit einer Treiberuntergrenze von 580.65. Installieren Sie daher bei einem älteren Treiber zuerst Torch vom cu128-Index und dann lerobot.

Der Trainingslauf, Befehl für Befehl

1. 1
   Authentifizierung am Hub

   Der Basis-Checkpoint stammt vom Hub, und Ihr Datensatz wahrscheinlich auch.

   bash

   hf auth login

2. 2
   Optionen einmal lesen

   Jedes Feld der Pipeline- und Policy-Konfiguration ist ein Flag. Überfliegen Sie es, bevor Sie sich in den Quellcode vertiefen.

   bash

   lerobot-train --help

3. 3
   Das Fine-Tuning starten

   Das Dokumentationsbeispiel verwendet Batch 64 auf einer einzelnen A100; der eigene A100 40 GB Anker des Compute-Guides ist Batch 16, und 8 ist das 24 GB Äquivalent. Absichtlich kein Scheduler-Flag hier, siehe unten.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Die Log-Zeile lesen, nicht nur den Verlust

   Alle --log_freq Schritte gibt lerobot loss, grdn, lr, updt_s, data_s, smp/s und, auf CUDA, mem_gb aus. mem_gb zeigt an, ob der Batch passt, lr ob der Zeitplan abnimmt, und data_s, das sich updt_s nähert, bedeutet, dass der Dataloader der Engpass ist, nicht die GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Checkpoints sammeln, die Sie vergleichen können

   save_freq ist standardmäßig 20000, daher hinterlässt ein 20000-Schritte-Lauf einen Checkpoint und nichts zum Vergleich. Setzen Sie 2000. Das Pushen zum Hub erfordert --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Fortsetzen, wenn die Maschine ausfällt

   Richten Sie --config_path auf die train_config.json neben dem Checkpoint. lerobot weigert sich, in ein bestehendes output_dir zu starten, es sei denn, Sie setzen fort, sodass Sie einen Lauf nicht versehentlich überschreiben können.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Die Flags, die das Ergebnis tatsächlich ändern

Die Standardwerte, die Sie übernehmen, wenn Sie nichts ändern

Eine Richtlinien-Konfiguration in lerobot enthält eigene Optimizer- und Scheduler-Voreinstellungen, und sofern Sie nicht use_policy_training_preset=false setzen, haben diese Voreinstellungen Vorrang. Die Hälfte der Fragen, die Leute zum SmolVLA-Training stellen, werden durch einen Standard beantwortet, dessen Existenz sie nicht kannten.

Die beiden Zeilen, die überraschen, sind freeze_vision_encoder und train_expert_only, beide auf 'true' gesetzt. Standardmäßig trainieren Sie etwa 100 M Parameter, nicht 450 M, weshalb es auf 24 GB passt. LeRobot's eigener Referenzlauf auf einem H100-Cluster mit vier GPUs setzt beide auf 'false'; auf einer 24-GB-Karte verwandelt dies einen funktionierenden Lauf in einen Out-of-Memory-Absturz.

Wie lange der Lauf dauert und wie viele Schritte ausreichend sind

LeRobot veröffentlicht Echtzeit-Anker für fünf Epochen über einen Datensatz von etwa 50 Episoden, etwa 45000 Frames bei 30 fps. Größenordnungszahlen, so die Dokumentation, aber sie machen den Unterschied aus, ob man eine Stunde oder einen Tag erwartet.

Ausführen der feinabgestimmten Policy auf dem Arm

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Die 245 ms pro Aktionsschritt sind leicht misszuverstehen: Die Policy emittiert chunk_size = 50 Aktionen pro Forward-Pass und führt n_action_steps = 50 davon aus, wie oft diese Kosten anfallen, wird also durch diese Parameter bestimmt, nicht dadurch, wie oft die Servos einen Befehl erhalten. Das ist es, was bringt, und warum ein 245 ms Modell einen 30 Hz Arm steuern kann. Was übrig bleibt, ist die am Ende des Chunks.

Diese dritte Zeile wird in den meisten Berichten übersprungen. Asynchrone Inferenz ist etwa 30 Prozent schneller und verdoppelt die Durchsatzrate in einem festen Zeitfenster, und das Paper bezeichnet die Erfolgsraten als vergleichbar, was sie im Durchschnitt auch sind. Darunter fiel das Sortieren von 70 auf 50 Prozent, während Pick-and-Place um 5 Prozent zulegte. lerobot 0.6.1 enthält den anderen Hebel im selben Binary: --inference.type=rtc schaltet den Rollout auf Echtzeit-Chunking um, was der eigene Nutzungsblock des Skripts für die langsamen VLAs, Pi0, Pi0.5 und SmolVLA empfiehlt.

Zwei Wege zum selben Checkpoint

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Wenn SmolVLA die falsche Wahl ist

Der Test, ob SmolVLA der richtige erste Lauf war, ist nicht, ob es funktioniert hat, sondern ob der Fehler Ihnen etwas gesagt hat. Erreichen Sie 60 oder 70 Prozent, und ein größeres Modell ist eine vernünftige nächste Investition: Die Daten enthalten ein Signal. Erreichen Sie 10 Prozent, und ein 3-B-Modell erreicht höchstwahrscheinlich auch 10 Prozent, was Sie gerade für drei statt zwölf Dollar gelernt haben.

Lesenswert, bevor Sie mehr ausgeben: Pi0.5 gegen SmolVLA für mehr Kapazität bei gleicher Idee, und GR00T N1.7 gegen SmolVLA für den NVIDIA-Weg, beide 80 GB Tier für 4 bis 12 USD pro Lauf. Der andere Weg, ACT ist die günstigere Basislinie: 80 M Parameter, 20 ms pro Aktionsschritt, keine Sprachkonditionierung. Alle fünf befinden sich auf der Policies-Seite; der Arena hat 85 Modelle und 332 Benchmark-Ergebnisse.

Die Checkliste, bevor Sie etwas skalieren

1. Hat der lr seinen 2.5e-6-Mindestwert erreicht? Unter 30000 Schritten skaliert lerobot den Zerfall neu und gibt dies beim Start an; darüber legen Sie --policy.scheduler_decay_steps selbst fest.
2. Mehr als ein Checkpoint und Episoden, die mit --dataset.eval_split zurückgehalten wurden, damit der Eval-Verlust etwas bedeutet.
3. Bewegt sich die Policy überhaupt? Ein fallender Verlust bei einem bewegungslosen Arm hat spezifische Ursachen: Verlust fällt, Policy tut nichts.
4. Überlebt sie einen Szenenwechsel? Wenn nicht: Policy funktioniert nur in einem Setup.
5. Haben Sie den Seed notiert? lerobot verwendet standardmäßig 1000, sodass zwei unberührte Läufe vergleichbar bleiben.
6. Erst dann: mehr Episoden, mehr Variation oder ein größeres Modell. In dieser Reihenfolge.

Warum diese Modelle existieren und was sie mit der Spracheingabe tun, ist der Hintergrund; führt die Montage durch bis zum ersten Lauf. Für den fertigen Checkpoint, ; wenn der Arm nie erscheint, .