Wie man GR00T N1.7 auf dem eigenen SO-100 Datensatz trainiert

NVIDIA liefert ein Fine-Tuning-Beispiel für genau den Arm, den Sie wahrscheinlich besitzen. Im Isaac-GR00T Repository gibt es einen Ordner namens demo_data/cube_to_bowl_5: fünf Episoden, 4.148 Frames bei 30 fps, bereits als LeRobot v2.1 geschrieben, mit einer passenden Modalitätskonfiguration unter examples/SO100/. Seine meta/info.json meldet robot_type: so101_follower, was in LeRobot dieselbe Konfigurationsklasse ist wie so100_follower. Das ist wirklich nützlich, denn es bedeutet, dass der Referenzpfad für GR00T N1.7 an einem sechs-Freiheitsgrad Hobbyarm von den Leuten gepflegt wird, die das Modell geschrieben haben. Es ist keine herunterskalierte humanoide Demo, es ist derselbe Arm.

Die schlechte Nachricht ist der Abstand zwischen I recorded 60 episodes und the arm does the task. Es gibt etwa sechs Stellen, an denen diese Pipeline eher still als lautlos fehlschlägt, und vier davon befinden sich in Dateien, die die meisten Leute nie öffnen: meta/modality.json, die Python-Datenkonfiguration, meta/relative_stats.json, und der eigenen Versionszeichenfolge des Datensatzes. Dieser Leitfaden beschreibt den manuellen Weg von Anfang bis Ende mit den echten Befehlen und zeigt dann dieselbe Aufgabe als Formular auf AY-Robots. Alles unten Genannte wurde am 20. August 2026 (der n1.7-Release-Linie) mit dem Isaac-GR00T-Hauptzweig und lerobot 0.6.1, veröffentlicht auf PyPI am 3. August 2026, abgeglichen. Upstream bewegt sich schnell, und wo ein Flag umbenannt wurde, wird dies in diesem Artikel erwähnt.

Was GR00T N1.7 tatsächlich ist

GR00T N1.7 ist ein Vision-Sprach-Aktionsmodell mit dem Dualsystem-Layout, das im ursprünglichen GR00T N1 Paper: einem Vision-Sprach-Modul, das die Kameras und die Anweisung liest, und einem Diffusionstransformer, der dies in einen Block kontinuierlicher Motorbefehle umwandelt. N1.7 ersetzte die erste Hälfte. Das Eagle-Backbone von N1.6 ist verschwunden und wurde ersetzt durch nvidia/Cosmos-Reason2-2B auf einer Qwen3-VL-Architektur, und das Modell wurde auf Basis von etwa 20.000 Stunden egozentrischem menschlichem Video zusätzlich zu den Robotikdaten vortrainiert. NVIDIAs eigene Beschreibung beziffert die Zahl auf 20.854 Stunden und berichtet, dass der Übergang von 1.000 auf 20.000 Stunden die durchschnittliche Aufgabenerfüllung mehr als verdoppelt.

Auch die zweite Hälfte änderte sich, und zwar auf Weisen, die für Ihren Lauf relevant sind. Der Aktionskopf reduzierte sich von 32 Diffusionsschichten auf 16, der vorhergesagte Aktions-Chunk wuchs von 16 Schritten auf 40, und die maximale Zustands- und Aktionsbreite stieg von 29 auf 132. Diese drei Zahlen stammen aus dem Changelog im Repository-README; NVIDIAs eigener Launch-Post beschreibt System 1 immer noch als 32-Schichten-DiT, daher sollten Sie, wo die beiden nicht übereinstimmen, dem Repository vertrauen, das Sie klonen werden. Aktionen werden standardmäßig in einem relativen Endeffektor Raum ausgedrückt, als Deltas von der aktuellen Pose statt als absolute Ziele, was überhaupt erst ermöglicht, dass aus menschlichen Videos gelernte Manipulations-Priors in die Robotersteuerung übertragen werden können. Der Kopf selbst ist ein Flow-Matching Diffusionstransformer, derselben Familie wie Pi0.5, aber mit einem anderen Backbone davor. Wenn Sie noch die vorherige Generation verwenden, N1.7 gegenüber N1.5 behandelt, ob das Upgrade eine Neugestaltung Ihrer Pipeline rechtfertigt.

Diese letzten drei Zeilen erklären den Großteil der Enttäuschung, die Menschen berichten. Die Schlagzeile von 27.9 ms bezieht sich auf eine TensorRT-Engine auf einer H100 mit einer Kamera und vier Denoising-Schritten. Reines PyTorch auf derselben Karte beträgt 85.8 ms, und die Modellkarte beziffert den Unterschied auf das 3.08-fache. Keine der Zahlen beinhaltet eine Serving-Schicht, eine zweite Kamera oder einen Netzwerk-Hop. Die 152 ms pro Aktionsschritt, die AY-Robots für sein bereitgestelltes GR00T N1.7 angibt, ist der Wert mit Serving im Loop, und eine Roundtrip-Zeit über das öffentliche Internet kommt noch hinzu. Mehr dazu am Ende. Für die Zahlen im Vergleich zu anderen Modellen, GR00T N1.7 gegenüber Pi0.5 und GR00T N1.7 gegenüber SmolVLA legen sie nebeneinander dar.

Was der Lauf benötigt, bevor Sie etwas eingeben

Schritt 0: Die Episoden selbst

Alles unten geht davon aus, dass Sie bereits Episoden aufgezeichnet haben. Falls nicht, ist das der eigentliche erste Schritt und derjenige, der entscheidet, wie gut das Ergebnis sein kann, denn Imitationslernen kann keine Informationen wiederherstellen, die nicht in den Daten enthalten sind. Kalibrieren Sie zuerst beide Arme und steuern Sie dann den Follower mit einem Leader-Arm während lerobot-record die Parquet-Dateien und die Kamerastreams schreibt. Wenn die Kalibrierung nicht stimmt, beschreiben die Gelenkwerte in Ihrem Datensatz einen leicht anderen Roboter als den, der später die Policy ausführen wird, und kein Training kann das beheben.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

LeRobots eigener Rat ist, mindestens 50 Episoden mit etwa 10 pro Objektposition aufzuzeichnen, die Kameras fixiert zu lassen und das Greifverhalten konsistent zu halten. Fügen Sie Variationen später hinzu, nicht am Anfang. Die Faustregel, die man sich merken sollte: Wenn Sie die Aufgabe nicht selbst nur anhand der Kamerabilder erledigen könnten, kann die Policy es auch nicht. Für die armspezifische Einrichtung decken SO-100 Erste Schritte und die SO-100 LeRobot Seite Ports, Kalibrierung und Kamera-Indizes ab. Auf AY-Robots können Sie dies auch über das Internet vom Browser aus mit Teleoperation tun und direkt aus der Sitzung aufzeichnen.

Schritt 1: Das Dataset muss LeRobot v2.1 sein

Dies ist die häufigste Hürde. Die aktuelle CODEBASE_VERSION von LeRobot auf main ist v3.0, sodass alles, was Sie heute mit einer aktuellen Toolchain aufzeichnen, als v3.0 ausgegeben wird. Der Loader von GR00T erwartet v2. Das Repository erklärt explizit den Grund: Viele Upstream-Datasets wie DROID, LIBERO und Bridge werden in v2 veröffentlicht, und die native Unterstützung für beide ist geplant, aber noch nicht implementiert. Die Konvertierung liegt also bei Ihnen, und sie läuft aus einem konkreten Grund in einer eigenen virtuellen Umgebung: scripts/lerobot_conversion enthält ein eigenes pyproject, das Python 3.10 oder 3.11 erfordert und lerobot an einen bestimmten Git-Commit bindet, während Isaac-GR00T selbst Python 3.12 benötigt. Installieren Sie den Konverter aus dem Repository-Root und Sie erhalten stattdessen das gr00t Paket, was der Fehler ist, vor dem die README warnt. Wenn Sie neu in diesem Format sind, erklärt der LeRobot-Dataset Glossareintrag, was sich tatsächlich darin befindet.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Die Struktur, die GR00T nach der Konvertierung erwartet, ist das klassische v2-Layout: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, Parquet-Dateien unter data/chunk-000/, MP4-Dateien unter videos/chunk-000/observation.images./, und eine zusätzliche Datei, die das Standard-LeRobot nicht hat. In dieser zusätzlichen Datei liegen die meisten der verbleibenden Fehler.

Schritt 2: modality.json, die sechs Zahlen, die alles entscheiden

In einem LeRobot-Datensatz werden der Roboterzustand und die Aktion als flache float32-Arrays gespeichert. Für einen SO-100 haben beide die Form [6]: fünf Armgelenke und ein Greifer. Der Demo-Datensatz benennt sie shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, aber diese Namen befinden sich in info.json und nichts in der Parquet-Datei gibt an, welcher Index welcher ist. meta/modality.json liefert diese Zuordnung, und GR00T wird ohne sie nicht trainieren. Hier ist die, die das Repository für den SO-100 liefert, wörtlich.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Kopieren Sie sie in Ihr konvertiertes Dataset unter meta/modality.json und benennen Sie die Video-Schlüssel um, wie Ihre Kameras tatsächlich heißen. Wenn Sie mit einer einzelnen Überkopfkamera namens top aufgenommen haben, dann ist original_key observation.images.top und der Anzeigename ist das, worauf Ihre Datenkonfiguration verweisen wird. Die beiden müssen übereinstimmen, und keiner von beiden überprüft den anderen für Sie. Die Sprachannotation ist schlimmer, da derselbe Schlüssel an drei Stellen erscheinen muss.

Schritt 3: die Datenkonfiguration, relativer Arm und absoluter Greifer

Die Modalitätskonfiguration ist eine Python-Datei und kein JSON, da sie auch entscheidet, wie jede Aktionsgruppe dargestellt wird. Dies ist der Teil des N1.7-Workflows, der in N1.5 in dieser Form nicht existierte, und der Teil, der es wert ist, zweimal gelesen zu werden. Die ausgelieferte SO-100-Konfiguration prognostiziert die fünf Armgelenke als RELATIVE Deltas vom aktuellen Zustand und den Greifer als eine ABSOLUTE Zielposition, da sich ein binäres Offen-oder-Geschlossen-Signal besser als Ziel denn als Delta verhält.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Zwei Details hier werden Sie einen Tag kosten, wenn Sie sie nicht kennen. Erstens, action_configs ist positionsabhängig: Die Dokumentation erfordert die gleiche Länge und die gleiche Reihenfolge wie modality_keys, und sie ist unmissverständlich bezüglich der Konsequenz eines Fehlers, nämlich dass die falsche Darstellung stillschweigend angewendet wird. Ihr Greifer wird als Delta und Ihr Arm als absolutes Ziel trainiert, und es gibt keine Fehlermeldung. Zweitens, register_modality_config stellt sicher, dass der Tag nicht bereits registriert ist, sodass eine zweite NEW_EMBODIMENT-Konfiguration im selben Python-Prozess mit Embodiment tag ... already registered stirbt. Sie können nicht zwei davon in ein Skript importieren. Eine dritte Regel wird später, bei der Bereitstellung, erzwungen: die Aktion delta_indices muss der zusammenhängende Bereich sein, der bei Null beginnt. Ein spärliches Fenster wie [0, 4, 8] wird abgelehnt, da alles nachgelagerte den vorhergesagten Block linear indiziert und sonst die falschen Zeilen ausführen würde.

Schritt 4: die Umgebung

N1.7 hat das Repository nach und Python 3.12 verschoben. Der alte Pfad mit conda plus pip install -e . existiert noch in einem ausgeklappten Abschnitt der README, warnt aber davor, dass GPU-Abhängigkeiten wie flash-attn und TensorRT möglicherweise manuell installiert werden müssen. Verwenden Sie uv, es sei denn, Sie haben einen bestimmten Grund, dies nicht zu tun. Was flash-attn betrifft, so erspart ein Detail Verwirrung: Sie werden bei jedem uv run die Meldung Installing flash-attn sehen. Es wird nicht neu gebaut. uv validiert ein URL-gebundenes Wheel neu, das bereits im Cache liegt, und das dauert zwei oder drei Sekunden.

1. 1
   git-lfs installieren, dann mit Submodulen klonen

   git-lfs ist erforderlich, nicht optional. Ohne es werden die Parquet-Dateien in demo_data/ als Zeiger-Stubs heruntergeladen, und der Demo-Lauf schlägt bei einem Datensatz fehl, der in der Dateiliste vorhanden zu sein scheint.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   uv installieren und die Umgebung synchronisieren

   Die Standardinstallation zieht die GPU-Abhängigkeiten einschließlich flash-attn und TensorRT. Auf einem frischen A100- oder H100-Image ist dies der längste einzelne Schritt, also erledigen Sie ihn, bevor Sie sich um etwas anderes kümmern.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Authentifizierung bei Hugging Face

   Tun Sie dies vor dem ersten Trainingsstart, nicht nachdem es nach acht Minuten fehlschlägt.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Funktionstest mit den mitgelieferten SO-100 Demo-Daten

   Bevor Sie Ihre eigene Aufnahme anfassen, führen Sie 2000 Schritte auf demo_data/cube_to_bowl_5 aus. Es sind fünf Episoden, es ist schnell erledigt und es beweist die Umgebung und nicht Ihre Daten. Wenn dieser Lauf fehlschlägt, wird nichts, was Sie mit Ihrem Datensatz tun, helfen.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Schritt 5: Der `fine-tune`-Befehl und seine tatsächlichen Standardwerte

Ersetzen Sie den Demo-Datensatz durch Ihren eigenen und fügen Sie die gewünschten Einstellungen hinzu. Unten ist die vollständige Form, die das Repository in seinem eigenen `new-embodiment`-Tutorial verwendet, einschließlich der Augmentierungs- und Checkpointing-Flags, die das kurze README-Beispiel weglässt. Dies ist im engeren Sinne: Der Sprach-Backbone und der visuelle Encoder bleiben eingefroren, und was trainiert wird, sind der Projektor und der Diffusions-Aktionskopf.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Die letzte Zeile ist kein Tippfehler. launch_finetune.py ist ein tyro CLI, das aus einer Dataclass generiert wird, und diese Dataclass hat kein Seed-Feld. Die README weist separat auf eine Varianz von 5 bis 6 Prozent zwischen den Läufen hin, die durch nicht-deterministische Bildaugmentation verursacht wird. Zwei Läufe mit identischen Flags werden keine identischen Checkpoints erzeugen, was sehr wichtig ist, wenn man entscheiden will, ob eine Hyperparameteränderung geholfen hat oder ob man Glück hatte. Zum Vergleich: Der eigene Trainer von lerobot verwendet standardmäßig seed 1000, und das LeRobot GR00T Rezept übergibt --seed=42 explizit.

Was ein 20000-Schritte-Lauf kostet

GR00T N1.7 benötigt eine 80-GB-Karte, daher ist die Kostenfrage eng beantwortet. Bei AY-Robots läuft der groot1.7 Trainer auf der A100 80 GB oder H100 80 GB Stufe, wo ein Lauf 3 bis 6 Stunden dauert und 1.20 bis 2.00 USD pro Stunde auf dem Spotmarkt kostet. Das sind ungefähr 4 bis 12 USD für den standardmäßigen 20000-Schritte-Job. Die gleiche Aufgabe auf SmolVLA oder ACT läuft auf einer 24-GB-Karte zu 0.30 bis 0.60 USD pro Stunde und 1 bis 3 USD pro Lauf. Das ist der eigentliche Kompromiss: GR00T kostet pro Versuch etwa viermal so viel, und man kann es nicht auf der 4090 unter dem Schreibtisch ausführen.

Das Minimum von 50 Episoden ist eine Untergrenze, kein Ziel. NVIDIAs eigene FAQ ist anspruchsvoller: etwa 100 Trajektorien für ein einfaches Pick-and-Place an einem festen Ort, 500 oder mehr für komplexe oder mehrstufige Szenen und 100 bis 500 für feine Manipulationen. Wenn Sie bei 20 Episoden sitzen, verbringen Sie den Nachmittag mit der Aufnahme statt den Abend mit dem Tuning. Der Leitfaden zur Datenerfassung behandelt, was eine nützliche Episode von einer verschwendeten unterscheidet, nehmen Sie Ihren ersten Datensatz auf ist die Kurzversion, und SO-100 Datenerfassung ist die armspezifische Version.

Schritt 6: Open-Loop-Evaluierung, bevor Sie den Arm berühren

Legen Sie kein frisches Checkpoint auf einen physischen Arm, um herauszufinden, ob das Training funktioniert hat. Führen Sie zuerst die Open-Loop-Evaluierung durch. Sie spielt eine aufgezeichnete Episode ab, fragt das Modell bei jedem Schritt nach Aktionen und plottet die Vorhersage gegen die Ground Truth mit MSE und MAE. Sie kostet nichts und fängt die Mapping-Fehler aus den Schritten 2 und 3 ab.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Das Repository weigert sich bewusst, ein Ziel-MSE für benutzerdefinierte Daten zu veröffentlichen, und das ist die richtige Entscheidung: Die Zahl hängt von Ihren Aktionseinheiten, Ihrer Aufgabe und Ihrer Dataset-Größe ab, daher bedeutet ein von einem anderen Arm kopierter Schwellenwert nichts. Was aussagekräftig ist, ist der Trend. Hier ist der Referenzlauf, den das Repository auf einer einzelnen H100 mit dem Fünf-Episoden-Demo-Dataset und 2000 Schritten dokumentiert.

Die Form ist das Signal, nicht die absoluten Werte. Der Fehler sollte stetig fallen, wenn akkumulieren. Im Durchschnitt über alle fünf Trainingsepisoden und nicht nur über Trajektorie 0 erzielte der finale Checkpoint des Repositories ungefähr 7.5 MSE und 1.5 MAE, sodass selbst der Referenzlauf je nachdem, welche Episoden Sie mitteln, unterschiedlich interpretiert wird. Erfassen Sie Ihre eigene Baseline mit dem unveränderten Demo-Befehl, bevor Sie Änderungen an Ihren eigenen Daten vornehmen: Wenn Sie einen bekanntermaßen guten Lauf nicht reproduzieren können, können Sie einen Einrichtungsfehler nicht von einem Datenproblem unterscheiden. Das Repository ordnet auch die häufigsten Symptome den Ursachen zu, und jedes davon ist operativ und kein Modellfehler.

Der andere Weg: lerobot-train statt Isaac-GR00T

Die aktuelle LeRobot-Version, 0.6.1 auf PyPI seit dem 3. August 2026, bietet eine zweite und ganz andere Möglichkeit, dieselben Basisgewichte zu feinabzustimmen. LeRobot stellt GR00T N1.7 als Richtlinientyp zur Verfügung und trainiert es über seinen eigenen lerobot-train Einstiegspunkt. Zwei Dinge sind hier wichtig. Die LeRobot CLI ist eine Sammlung von Konsolenskripten, daher ist alles, was Sie lesen und das sagt python lerobot/scripts/train.py ist veraltet und wird nicht ausgeführt. Und LeRobot hat die Unterstützung für GR00T N1.5 vollständig entfernt, indem es N1.5-Checkpoints und -Konfigurationen mit einem Migrationshinweis ablehnt. Wenn Sie also N1.5 über LeRobot benötigen, müssen Sie lerobot==0.5.1, die letzte Version, die es unterstützt, veröffentlicht am 7. April 2026, anpinnen.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Zwei Wege, um denselben Checkpoint zu erhalten

Den Checkpoint zurück auf den Arm bringen

Isaac-GR00T verwendet eine Server-Client-Aufteilung über ZMQ. Die Policy läuft auf der GPU, und ein Thin Client auf der Robotermaschine sendet Beobachtungen und empfängt Aktions-Chunks. Das SO-100 Beispiel ist vollständig genug zum Kopieren: Starten Sie run_gr00t_server.py mit Ihrem Checkpoint und --embodiment-tag NEW_EMBODIMENT, dann führen Sie eval_so100.py auf der Roboterseite mit dem seriellen Port, der Roboter-ID, den Kamera-Indizes und der Sprachanweisung aus. Die Kameranamen in diesem Befehl müssen mit den Anzeigenamen aus Ihrer modality.json übereinstimmen, nicht mit den OS-Gerätenummern.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Nun zum ehrlichen Teil, wo die Policy läuft, denn Training und Serving haben unterschiedliche Hardware-Anforderungen. Fine-Tuning benötigt 40 GB oder mehr. Inferenz nicht: Die README gibt 16 GB oder mehr an und nennt explizit die RTX 4090, sodass eine Karte, die Sie bereits besitzen, einen Checkpoint bereitstellen kann, den sie niemals hätte produzieren können. Was entscheidet, ob sich die Policy reaktionsschnell anfühlt, ist nicht der VRAM, sondern wo der Server steht. Bei AY-Robots ist GR00T N1.7 nur in der Cloud verfügbar, sodass der Regelkreis zusätzlich zu den 152 ms pro Aktionsschritt einen Roundtrip über das öffentliche Internet bezahlt, und nur SmolVLA und ACT laufen auch lokal. Für langsames Pick-and-Place ist ein Remote-Pod überlebensfähig. Für alles Reaktive ist er es nicht: Die Policy wird zögerlich auf eine Weise, die genau wie ein Trainingsfehler aussieht und keiner ist. ACT mit 20 ms pro Aktionsschritt ist das Modell, das die engste Schleife toleriert, SmolVLA liegt bei 245 ms, und keine Menge an Latenz-Optimierung macht einen bereits verbrauchten Roundtrip wett. Führen Sie Ihre erste Policy aus führt Sie Schritt für Schritt durch die Serving-Seite.

Was tatsächlich schiefgeht

• GatedRepoError beim ersten Lauf. Ihnen wurde kein Zugriff auf nvidia/Cosmos-Reason2-2B gewährt, oder Sie haben sich nicht authentifiziert. Dies geschieht, nachdem die GPU-Uhr bereits gestartet wurde.
• Datensatz beim Laden abgelehnt. Fast immer ein v3.0-Datensatz. Konvertieren Sie ihn herunter. Siehe Datensatz als v3 abgelehnt.
• IndexError wegen nicht übereinstimmender boolescher Dimensionen. Sie haben delta_indices geändert und die Statistiken nicht neu generiert.
• Speicherüberlauf bei Batch 32. Reduzieren Sie --global-batch-size und erhöhen Sie --gradient-accumulation-steps, oder reduzieren Sie --num-shards-per-epoch, was die Konfiguration explizit vorschlägt, wenn der VRAM begrenzt ist. Siehe Speicherüberlauf während des Trainings.
• Verlust fällt, Policy tut nichts. Standardmäßig gibt es keine Validierungsaufteilung, daher beweist eine saubere Trainingskurve sehr wenig. Diese Seite behandelt die Diagnose.
• Funktioniert in Ihrem Setup und nirgendwo sonst. Erwartet bei einem kleinen Datensatz, der unter einer einzigen Beleuchtungsbedingung gefilmt wurde. NVIDIA empfiehlt Farb-Jitter-Augmentierung plus 20 bis 50 Episoden unter verschiedenen Beleuchtungsbedingungen. Mehr dazu hier.
• Greifer schließt nie richtig. Überprüfen Sie, ob die Greiferaktion ABSOLUT und die Armgelenke RELATIV sind, in dieser Reihenfolge in action_configs. Greifer schließt nicht listet die anderen Ursachen auf.
• Eine Kamera fällt während der Aufnahme stillschweigend aus. Die Episode wird trotzdem gespeichert und der Videoschlüssel existiert weiterhin, weshalb dies besonders ärgerlich ist. Kamera nicht erkannt behandelt dies.

Der gesamte Index der Fehlermodi befindet sich unter . Wenn Sie zwischen Modellen wählen, anstatt eines zu debuggen, und enthalten Benchmark-Zahlen mit Quellenangaben, und ist der Vergleich, den die meisten Leute tatsächlich benötigen, da es die Wahl zwischen einem Modell ist, das Sie auf der Karte unter Ihrem Schreibtisch trainieren können, und einem, für das Sie einen 80-GB-Knoten mieten müssen, um es zu feinabzustimmen. Für Hintergrundinformationen, warum diese Modelle sich so verhalten, wie sie es tun, sind die und der zuerst lesenswert. Und wenn Sie noch keinen Arm besitzen, streamt einen physischen SO-100 ohne Anmeldung.