Welche VLA-Policy sollten Sie 2026 trainieren?

Fünf Richtlinien sind heute auf einem SO-100-Klasse-Arm trainierbar. Sie unterscheiden sich um den Faktor 24 in der Inferenz-Latenz, 37 in der Parameteranzahl und 12 in den Kosten eines Laufs, und darin, ob Sie das Ergebnis versenden dürfen. Fünf Modellkarten werden es nicht klären: keine beantwortet die Frage, die Sie haben, welche soll ich zuerst ausführen?

Jede der untenstehenden Zahlen wurde im August 2026 aus den Papieren, Repositories und Karten entnommen. Plattformzahlen stammen aus dem AY-Robots Richtlinienkatalog; wo die beiden nicht übereinstimmen, werden beide angezeigt.

Die Entscheidungstabelle

Die fünf Kandidaten

Alle fünf sind Policies: Kamera-Frames, Gelenkpositionen und, für vier von ihnen, eine Sprachanweisung, die auf einen Block zukünftiger Gelenkziele abgebildet wird. Was sie unterscheidet, ist, wie viel gelernt wurde, bevor Sie ankamen.

GR00T N1.7

NVIDIAs aktuelles Vision-Sprach-Aktionsmodell, etwa 3 Mrd. Parameter, davon rund 40 Mio. trainiert während des Feintunings. Das Repository listet die Deltas von N1.6 auf: Backbone von einem proprietären Eagle-Modell zu Cosmos-Reason2-2B auf Qwen3-VL, Diffusionsschichten 32 auf 16, Zustands- und Aktionsdimensionen 29 auf 132, Aktionshorizont 16 auf 40.

Was bei einem kleinen Arm zählt, ist der relative Endeffektor-Aktionsraum: N1.7 prognostiziert Deltas von der aktuellen Pose, wodurch 20.000 Stunden menschliches EgoScale-Video in eine Roboterrichtlinie übertragen werden können. Spezifikationen auf der N1.7-Seite, Vorgehensweise im N1.7 auf SO-100 Leitfaden.

GR00T N1.5

Gleicher 3 B Maßstab, Eagle 2 Backbone, SigLip2 und T5, Flow-Matching DiT Head. Es dient dazu, ein zu erweitern, das Sie bereits haben. Zwei Dinge machen es zu einer schlechten Standardeinstellung: Die Gewichte unterliegen NVIDIAs einseitiger nicht-kommerzieller Lizenz, und aktuelle LeRobot-Veröffentlichungen haben die N1.5-Unterstützung entfernt. Siehe .

Pi0.5

Physical Intelligence's VLA, Richtlinientyp pi05. Das Paper beschreibt ein 2 B VLM, das aus PaliGemma initialisiert wurde, plus einen 300 M Aktions-Experten, der den Roboter mit 50 Hz antreibt; LeRobots pi05-Konfiguration verwendet standardmäßig einen 50-Schritt-Chunk, eine Sekunde bei dieser Rate. Das Verkaufsargument sind ungesehene Orte: etwa 400 Stunden mobile Manipulation in echten Haushalten und eine Skalierungsstudie über 3, 12, 22, 53, 82 und 104 Standorte, wobei das Modell mit 104 Standorten eine Steuerung erreichte, die an den Testhaushalten selbst trainiert wurde.

Eine Grenze, angegeben auf der lerobot/pi05_base Karte: Der Port trägt nur den flussabgleichenden Action-Head. Subtask-Vorhersage, Action-Tokenisierung und RL wurden nicht upstream veröffentlicht, und openpi sagt dasselbe über sein eigenes Repository. Die Pi0.5-Seite und den Pi0.5 auf SO-100 Leitfaden haben den Rest.

SmolVLA

450 M Parameter, davon etwa 100 M im Action-Experten, auf SmolVLM-2 mit eingefrorenem VLM und nur seinen ersten 16 Sprachmodell-Layern verwendet. Das Vortraining basierte auf Community-Daten: 481 Datensätze, 10.6 M Frames, von denselben günstigen Armen, die Sie verwenden. Das einzige VLA hier, das auf eine 24 GB Karte passt, und der einzige 30 Episode Floor. Siehe die SmolVLA-Seite.

ACT

Kein Grundmodell. Der Action Chunking Transformer von ALOHA wird mit etwa 80 Millionen Parametern trainiert von Grund auf pro Aufgabe, basierend auf 50 Demonstrationen bei 50 Hz. Das Paper berichtet über sechs reale bimanuelle Aufgaben aus jeweils etwa zehn Minuten an Demonstrationen, mit 80 bis 90 Prozent Erfolg bei den hervorgehobenen Beispielen. Seine Idee, Aktions-Chunking, ist in jedem Modell auf dieser Seite enthalten, und seine Ablation misst immer noch den Effekt am besten: Bei zwei simulierten Aufgaben mit ausgeschaltetem Temporal Ensembling steigt der Erfolg von 1 Prozent bei k=1 auf 44 Prozent bei k=100. Die ACT-Seite enthält den Rest.

Was die Benchmarks tatsächlich aussagen

LIBERO ist der eine Benchmark, über den drei dieser fünf berichten: sprachgesteuerte Aufgaben auf einem simulierten Franka Panda, aufgeteilt in die vier unten genannten Suiten mit jeweils zehn Aufgaben. NVIDIA führte 200 Versuche pro Suite.

SimplerEnv zeigt die Streuung, was LIBERO nicht tut. NVIDIA vergleicht N1.7 mit N1.6, dem nächstgelegenen öffentlichen Äquivalent zu einem generationsbedingten Delta.

Die Bridge-Reihe ist die nützliche: 5.7 Punkte wurden im Durchschnitt gewonnen, während put_eggplant_in_basket 36 verlor und put_eggplant_in_sink von 33 auf 2 fiel. Eine neue Generation verschiebt die Verteilung, anstatt sie zu anzuheben, wenn Ihre Aufgabe also dort liegt, wo N1.7 zurückgegangen ist, sagt der Durchschnitt nichts aus.

Von den fünf berichtet nur das SmolVLA-Paper über einen Arm der SO-100-Klasse: 78.3 Prozent für SmolVLA und 61.7 für Pi0 über drei Aufgaben, beide Multi-Task, gegenüber 48.3 für ACT, das Single-Task trainiert wurde, was nicht vergleichbar ist. Die saubere Paarung ist beides Single-Task bei SO-101 Pick-and-Place: 90 gegenüber 70 in der Verteilung, 50 gegenüber 40 außerhalb davon. Vergleichen Sie auf ACT gegen SmolVLA und Pi0.5 gegen SmolVLA, oder durchsuchen Sie die Arena.

Latenz und Kosten entscheiden über den Einsatz

Inferenzlatenz ist die Einschränkung, die man zuletzt entdeckt und zuerst bereut. Eine Richtlinie, die auf einem Benchmark fünf Punkte besser ist, aber eine halbe Sekunde pro Aktionsschritt benötigt, sieht auf Ihrem Schreibtisch schlechter aus: Kontaktdynamik wartet nicht.

Ein Vorbehalt: Die GR00T-Angabe stimmt nicht mit der NVIDIA-Karte überein, die 4 Entrauschungsschritte und eine Kamera mit 85.8 ms auf einer H100 im Eager-Modus, 48.6 ms mit torch.compile, 27.9 ms durch volles TensorRT misst. Die hier angegebenen 152 ms sind ein Wert für den gesamten Stack mit Serving-Overhead und mehr als einer Kamera, nicht nur ein Forward-Pass.

Eine Möglichkeit, Zeit zu gewinnen, ohne das Modell zu ändern: Das SmolVLA-Paper misst die synchrone Ausführung, bei der die Richtlinie einen Block beendet, bevor sie den nächsten vorhersagt, im Vergleich zur asynchronen Ausführung, bei der die Vorhersage die Ausführung überlappt. Der Erfolg ist ähnlich, 78.3 gegenüber 73.3, aber dasselbe Pick-and-Place dauert 9.7 Sekunden statt 13.75, und in einem festen Zeitfenster schafft der Roboter 19 Zyklen statt 9.

Lizenzen, geprüft weil niemand sie prüft

Die Pi0.5-Zeile erfordert Aufmerksamkeit. Die LeRobot pi05-Dokumentation gibt Apache 2.0 an, konsistent mit openpi, während die Hub-Karte für lerobot/pi05_base enthält license: gemma. Beide sind aktiv. GR00T N1.7 hat eine mildere Version: Das Isaac-GR00T README erwähnt beiläufig, dass N1.7 vollständig kommerziell unter Apache 2.0 lizenzierbar ist, während der eigene Lizenzabschnitt und die Modellkarte nur den Code unter Apache 2.0 und die Gewichte unter die NVIDIA Open Model License.

Die Standardeinstellungen, die Sie tatsächlich ausführen werden

Jede Trainerform liefert eine Standardeinstellung, und diese sind nicht willkürlich. Die von ACT sind LeRobots eigene: Batch 8, lr 1e-5, 100000 Trainingsschritte, Chunk-Größe 100, passend zu ACTConfig upstream und k=100 aus dem ACT-Paper. Eine Spalte unten ist eine Falle.

Der Parameter, der wichtiger ist als die Modellwahl

Es ist der Aktions-Chunk. Längere Chunks führen zu flüssigeren Bewegungen und weniger kumulativen Fehlern, aber die Policy ist festgelegt, während der Block ausgeführt wird, sodass sie spät auf alles reagiert, was sich bewegt: zuversichtlich bei einem statischen Würfel, hoffnungslos bei einem rollenden. Wenn es überschießt, ist das Verkürzen des ausgeführten Teils besser als ein erneutes Training und kostenlos. Ein Gelenk, das zu früh stoppt, ist ein anderes Problem; siehe .

• ACT: ACTConfig defaults to chunk_size 100 and n_action_steps 100. Temporales Ensembling ist deaktiviert und erfordert n_action_steps 1.
• GR00T N1.7: der interne Horizont ging von 16 auf 40, doch LeRobots SO-101 Beispiel läuft immer noch mit --policy.chunk_size=16 --policy.n_action_steps=16. Das Rollout-Flag wurde umbenannt in --execution-horizon.
• Pi0.5: ein 50-Schritte-Chunk, von dem LeRobots LIBERO-Rezept 10 über --policy.n_action_steps=10 ausführt; mit --policy.pretrained_path fällt es auf 50 zurück, wenn Sie das Flag weglassen.
• SmolVLA: 50-Aktions-Chunks, beide Parameter zugänglich.

Wie man alle fünf an einem Nachmittag überprüft

Die günstigste Antwort ist nicht mehr Lesen. Geben Sie etwa 15 USD aus und lassen Sie den Arm es Ihnen sagen: einmal aufzeichnen, trainieren Sie zuerst das günstige Modell, eskalieren Sie, sobald es die Daten als valide erwiesen hat. Struktur schlägt Volumen, der Sinn von und dem .

1. 1
   50 Episoden einmal aufzeichnen

   Fünfzig macht den Weg frei für GR00T, Pi0.5 und ACT, und SmolVLAs 30. Wiederholen Sie jede Variation, anstatt sich zu verzetteln: 50 Episoden über 5 Würfelpositionen trainiert, wo 25 nicht trainiert wurden. Siehe Ihr erstes Dataset aufzeichnen.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Trainieren Sie ACT zuerst, denn es kann Sie nicht anlügen

   Keine vortrainierten Gewichte, wenn es die Aufgabe überhaupt erledigt, enthält Ihr Dataset die Aufgabe. Wenn ACT stagniert, korrigieren Sie die Daten. 1 bis 3 USD, 2 bis 5 Stunden auf einer 24 GB Karte.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   SmolVLA auf demselben Dataset ausführen, unverändert

   Gleiche Daten, gleicher Arm, 450 M Parameter statt 80 M, plus Sprachkonditionierung. LeRobot schätzt einen 20K-Schritt-Lauf auf etwa 4 Stunden auf einer A100. Dies sagt Ihnen, ob Vortraining etwas bringt.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Vor GR00T auf v2.1 konvertieren

   GR00T liest eine Variante des LeRobot v2-Formats plus eine zusätzliche meta/modality.json, die abbildet, wie verkettete Zustands- und Aktionsarrays in benannte Felder aufgeteilt werden. Ein v3.0-Dataset lässt diesen Loader abstürzen, da v3.0 viele Episoden in gemeinsame Dateien packt, wo v2 eine pro Episode schrieb. Isaac-GR00T liefert den Downgrade-Helfer als scripts/lerobot_conversion/convert_v3_to_v2.py; die v3-Ablehnungsseite ist der schnelle Weg.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Nur auf GR00T N1.7 eskalieren, wenn die ersten beiden etwas ungenutzt ließen

   Über NVIDIAs CLI, hier gezeigt, oder LeRobots groot Policy-Typ. NVIDIA empfiehlt 40 GB oder mehr VRAM für Fine-Tuning, 16 GB für Inferenz. Bei einem OOM, siehe die OOM-Seite.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Zwei Wege, diesen Screening-Durchlauf auszuführen

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Grundlagenmodell oder von Grund auf neu

Die eigentliche Frage ist nicht, welches 3B-Modell man wählen soll. Es ist vielmehr, ob man überhaupt ein vortrainiertes VLA verwenden sollte, angesichts dass ACT sechs echte bimanuelle Aufgaben aus jeweils etwa zehn Minuten Demonstrationen gelernt hat, mit 80 M Parametern und nichts Vortrainiertem.

Der Fall der Reproduktion eines alten Laufs

Das Verfolgen eines 2025-Checkpoints trifft die Modellwahl für Sie und verwandelt das Problem in Versions-Pinning: aktuelles LeRobot lehnt N1.5 ab, also pinnen Sie lerobot==0.5.1. Ohne Seed-Feld und mit 5 bis 6 Prozent Varianz zwischen den Läufen ist die Reproduktion konstruktionsbedingt nur annähernd. und haben die Plattformseite.

Bleiben zwei übrig? ACT gegen GR00T N1.7 und GR00T N1.7 gegen SmolVLA. Rohdaten finden Sie in den Arena-Einträgen: GR00T N1.7, Pi0.5, SmolVLA und ACT.

Wo diese Plattform Ihnen nicht hilft

• Sie kann die Remote-Inferenz nicht beschleunigen. Die Schleife von 20 bis 485 ms gehört zum Modell; Internet-Roundtrips kommen hinzu.
• Sie kann GR00T oder Pi0.5 nicht auf Ihrer eigenen Hardware feinabstimmen. Beide sind hier nur in der Cloud verfügbar; nur SmolVLA und ACT laufen lokal.
• Sie kann einen Datensatz nicht reparieren. Der Verlust sinkt, aber die Policy tut nichts ist ein Datenproblem, eine Policy, die nur in einem Setup funktioniert ist ein Abdeckungsproblem.
• Sie kann GR00T-Läufe nicht reproduzierbar machen: Die Upstream-Konfiguration hat kein Seed-Feld.

Eine auswählen und fortfahren

Eine Standardeinstellung: 50 Episoden aufzeichnen, ACT für 1 bis 3 USD trainieren, um den Datensatz zu validieren, dann SmolVLA auf den gleichen Daten. Zusammen unter 6 USD beantworten sie die entscheidende Frage: ob Vortraining hier hilft oder ob der Engpass die Daten sind. Für kontaktintensive Mehrschrittaufgaben auf GR00T N1.7 eskalieren, auf Pi0.5, wenn sich die Szene ändert.

Plattform-Walkthrough: trainieren Sie Ihre erste Policy, dann führen Sie Ihre erste Policy aus. Die Trainingsdokumentation und Datensatzdokumentation behandeln Form und Format; die SO-100-Seite und der vollständige SO-100-Leitfaden behandeln Aufbau und Kalibrierung. Hintergrund: die VLA-Übersicht und der Pi0 Flow-Matching-Artikel. Derjenige, der Ihre Erfolgsquote steigern wird, ist der Leitfaden zur Datenqualität.