Synthetische Daten für Roboter-Policies: Wo Simulation hilft

Alle paar Monate stellt jemand fest, dass das Aufzeichnen von fünfzig Episoden von Hand langsam ist, und fragt, ob ein Simulator sie stattdessen produzieren könnte. Das ist eine berechtigte Frage. Die ehrliche Antwort hat drei Teile: generierte Daten helfen, sie ersetzen die realen Aufnahmen nicht, und das Verhältnis zwischen diesen beiden Tatsachen hängt vollständig davon ab, welche Art von synthetischen Daten Sie meinen.

Diese Seite erläutert, was die veröffentlichten Arbeiten tatsächlich gemessen haben, was Sie heute auf einem kostengünstigen Arm wie dem SO-100, und wo die Sim-to-Real-Lücke die Vorteile zunichtemacht. Die Kurzversion, bevor wir ins Detail gehen: Die Systeme, die die größten Multiplikatoren melden, vervielfachen eine kleine Menge realer menschlicher Demonstrationen. Sie beseitigen nicht die Notwendigkeit dafür.

Vier verschiedene Dinge werden als synthetische Daten bezeichnet

Bevor man Zahlen vergleicht, lohnt es sich, die Familien zu trennen, denn ein Paper, das einen 100-fachen Multiplikator meldet, und ein Paper, das einen 5-Punkte-Erfolgsgewinn meldet, beschreiben oft dieselbe Pipeline von verschiedenen Enden aus. Der gemeinsame Nenner ist, dass etwas im LeRobot-Datensatz von einer Maschine produziert wurde, anstatt von einem physischen Arm aufgezeichnet zu werden. Was sich unterscheidet, ist welcher Teil.

Nur die ersten drei sind synthetische Daten in dem Sinne, wie dieser Artikel es meint. Die vierte ist erwähnenswert, weil sie in dieselbe Diskussion einbezogen wird und bei weitem das günstigste auf der Liste ist. Wenn Sie die Augmentierungen, die Ihr Trainer mitliefert, noch nicht aktiviert haben, tun Sie dies, bevor Sie einen Simulator installieren.

Was die veröffentlichten Zahlen tatsächlich aussagen

Hier ist die Evidenzbasis, mit den Zahlen, wie die Quellen sie angeben, und nicht, wie die Pressemitteilungen sie zusammenfassen. Jede Zeile unten stammt aus einem Paper oder einer Projektseite, die am 23. August 2026 gelesen wurde.

Das Muster bei jeder ehrlichen Ablation ist dasselbe. Synthetische Daten erweitern die Abdeckung kostengünstig. Sie erzeugen keine Informationen über Ihren Greifer, Ihr Servo-Durchhängen, Ihre Beleuchtung oder Ihre Tischhöhe, die nicht bereits irgendwo in den realen Demonstrationen vorhanden waren. Wenn Ihre Policy fehlschlägt, weil der Endeffektor eine halbe Sekunde zu spät schließt, behebt keine Menge an simulierter Variation das Problem. Das ist ein Greifer-Timing-Problem in den realen Aufzeichnungen.

Eine Erkenntnis von MimicGen ist es wert, in Ihre eigenen Aufnahmesitzungen übernommen zu werden, da sie dem üblichen Ratschlag widerspricht. Das Projekt generierte zwei Datensätze auf Square D2, einer mit 10 Demos von einem menschlichen Bediener besserer Qualität und einer mit 10 Demos von einem Bediener schlechterer Qualität, beide aus dem robomimic Multi-Human Square Datensatz. Auf jedem trainierte Policies erzielten vergleichbare Ergebnisse, was die Autoren als Zeichen dafür interpretierten, dass im Regime großer Datenmengen die Datenqualität möglicherweise nicht so wichtig ist. Genau gelesen ist das eine Aussage über die zehn Seed-Demonstrationen, nicht über Ihre fünfzig realen Episoden. Es bedeutet, dass ein leicht unordentlicher Seed-Satz nicht das ist, was zwischen Ihnen und einem nutzbaren generierten Datensatz steht. Es bedeutet nicht, dass die realen Episoden, auf denen Sie mittrainieren, unordentlich sein können, denn diese tragen die Informationen, die der Simulator nicht hat.

Die Sim-to-Real-Lücke, konkret

Die Lücke wird üblicherweise als eine einzige Größe diskutiert, was wenig hilfreich ist. Es handelt sich um mindestens fünf separate Diskrepanzen, und diese haben bei einem 110 bis 150 EUR Hobbyarm andere Ausmaße als bei einem Franka.

• Kontakt und Reibung. Isaac Lab stellt klar fest, dass bei gleicher Hardware und gleicher Isaac Sim- und PhysX-Version die Simulation reproduzierbar ist, die Ergebnisse jedoch aufgrund von Gleitkomma-Genauigkeit und Rundungsfehlern über verschiedene Hardwarekonfigurationen hinweg variieren, und dass PhysX keine Determinismus für Szenen mit nicht-starren Körpern wie Stoff oder weichen Körpern garantiert.
• Aktorik. Ein Feetech STS3215 Bus-Servo, der mit 7.4 V betrieben wird, gibt unter Last nach, hat Spiel und ändert sein Verhalten beim Erwärmen. Das MJCF-Modell für den SO-101 übernimmt seine Motorparameter von einem unabhängigen Projekt, anstatt sie an Ihrem Arm zu identifizieren.
• Rendering. Kamerarauschen, Rolling Shutter, automatische Belichtung und der genaue Farbton Ihres Tisches sind nicht im Render enthalten. Dies ist die Hälfte der Lücke, die Cosmos-Transfer1 schließen sollte: Sein Robotik-Augmentierungs-Workflow bildet ein synthetisches Robotik-Beispiel auf mehrere realistische Beispiele aus Segmentierung, Tiefe oder Kantenkonditionierung ab.
• Timing. Ein Simulator läuft mit einer festen Rate. Eine reale Regelschleife tut dies nicht, und das Modell selbst kostet je nach Wahl 20 bis 485 ms pro Aktionsschritt. Siehe inference latency.
• Objektstatistiken. Simulierte Szenen werden aus einer Verteilung abgetastet, die jemand aufgeschrieben hat. Ihr Küchentisch nicht.

Was ein simulierter SO-100 tatsächlich über Ihren Arm weiß

Dies ist der Teil, der entscheidet, ob sich das Obige für Ihr Wochenende lohnt, und die erste Überraschung ist, dass der SO-100 und der SO-101 nicht gleichermaßen bedient werden. TheRobotStudio's SO-ARM100 repository keeps its simulation assets under Simulation/. Der SO100-Ordner enthält eine einzelne URDF-Datei und sonst nichts. Der SO101-Ordner enthält sowohl URDF- als auch MuJoCo-Dateien: scene.xml, so101_new_calib.xml, so101_old_calib.xml, die passenden URDFs und eine joints_properties.xml. Wenn Sie ein Physikmodell anstelle einer kinematischen Kette wünschen, benötigen Sie die SO-101-Dateien.

Sie wurden mit dem onshape-to-robot Plugin aus einem in Onshape entworfenen CAD-Modell generiert, was bedeutet, dass die Kinematik und die visuellen Meshes so gut sind wie das CAD. Die Dynamik ist eine andere Geschichte, und die README des Repositories ist offen bezüglich dreier Punkte. Basis-Kollisions-Meshes wurden aufgrund problematischen Kollisionsverhaltens während der Simulation und Planung entfernt. Die STS3215-Motoreigenschaften sind vom Open Duck Mini-Projekt adaptiert und nicht an einem SO-101 gemessen. Und die LeRobot-Greiferkonvention, bei der 0 vollständig geschlossen und 100 vollständig geöffnet ist, ist explizit noch nicht in den URDF- und MuJoCo-Dateien widergespiegelt. Jeder dieser Punkte ist ein Bereich, in dem eine rein in diesem Modell trainierte Policy auf Ihrem Schreibtisch anders reagieren wird.

Domänenrandomisierung und was sie nicht behebt

Die Standardantwort auf die Lücke ist, nicht mehr zu versuchen, die Realität abzugleichen, sondern stattdessen über eine ausreichend breite Verteilung zu trainieren, sodass die Realität darin enthalten ist. Tobin und Kollegen zeigten 2017 die starke Version davon: Ein Objektdetektor, der nur auf simulierten Bildern mit unrealistischen Zufallstexturen trainiert wurde, ohne jegliches Vortraining auf realen Bildern, lokalisierte reale Objekte mit einer Genauigkeit von 1,5 cm und blieb robust gegenüber Ablenkungen und teilweisen Verdeckungen.

Isaac Lab bietet die gleiche Idee wie Ereignisbegriffe, die Sie an eine Umgebungskonfiguration anhängen. Dies sind die Stellschrauben, benannt nach ihren tatsächlichen Funktionsnamen in isaaclab.envs.mdp, damit Sie sie nachlesen können, anstatt zu raten.

Hier ist die Grenze, und es ist die, über die Leute stolpern. Randomisierung erweitert die Verteilung, die die Policy innerhalb des von Ihnen erstellten Modells gesehen hat. Sie kann keinen physikalischen Effekt einführen, den der Simulator nicht darstellt. Wenn PhysX das Spiel und die thermische Absenkung Ihrer STS3215-Servos nicht modelliert, lehrt die Randomisierung ihrer Steifigkeit die Policy nichts über Spiel. Deshalb ist ein Arm, der unter einer im Simulator trainierten Policy kein Problem des Randomisierungsbudgets ist. Es ist ein Modellierungsproblem.

Der manuelle Pfad: Daten in Isaac Lab generieren

Isaac Gym ist veraltete Software. NVIDIAs eigene Seite trägt die Überschrift „Isaac Gym – Jetzt veraltet“ und besagt, dass Entwickler es herunterladen und weiterhin verwenden dürfen, es aber nicht mehr unterstützt wird, und verweist stattdessen auf Isaac Lab. Wenn Sie die Geschichte wissen möchten, haben wir beides behandelt: und . Für neue Arbeiten im Jahr 2026 beginnen Sie mit Isaac Lab.

1. 1
   Isaac Sim und Isaac Lab installieren

   Die pip-Installationsseite besagt, dass die Anweisungen für Isaac Sim 5.X gelten, welches Python 3.11 erfordert. Der Quell-Klon liefert die Skripte, die für die nächsten Schritte benötigt werden.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Etwa zehn menschliche Demonstrationen aufzeichnen

   Die Isaac Lab-Dokumentation ist spezifisch: Etwa 10 erfolgreiche Demonstrationen sind erforderlich, damit die folgenden Schritte gelingen. Die Tipps sind ebenso spezifisch. Halten Sie Demonstrationen kurz, wählen Sie einen direkten Pfad, anstatt sich entlang beliebiger Achsen zu bewegen, und pausieren Sie nicht, da es für eine Policy nicht offensichtlich ist, warum und wann pausiert werden sollte.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Die Unteraufgaben-Grenzen annotieren

   Mimic teilt die Eingabedemonstrationen in Unteraufgaben auf, damit es die Segmente neu timen und neu ausrichten kann. Das --auto-Flag erledigt dies ohne menschliches Eingreifen für Aufgaben, die eine automatische Annotation definieren; ohne es pausieren Sie mit B, fahren mit N fort und markieren eine Grenze mit S. Beachten Sie, dass die Aufgaben-ID ein -Mimic-Suffix erhält.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Den multiplizierten Datensatz generieren

   Dies ist der Schritt, der 10 zu 1000 macht. Mimic wendet ein boolesches Erfolgskriterium auf jeden Kandidaten an und behält nur diejenigen, die die Aufgabe abgeschlossen haben, sodass die Ausgabezahl niedriger ist als die Anzahl der Versuche. Die Dokumentation gibt an, dass die Erfolgsrate der Kandidaten in einfachen Fällen bis zu 70 Prozent und bei schwierigen Aufgaben und komplexen Robotern unter 1 Prozent liegt: etwa 50 Prozent für den Franka-Würfelstapel und 65 bis 80 Prozent für das GR1T2 Pick-and-Place, wobei 1000 Demos 18 bis 40 Minuten dauern (19 Minuten auf einer RTX ADA 6000 bei 80 Prozent).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5 in einen LeRobot-Datensatz konvertieren

   Alles oben Genannte erzeugt robomimic-flavoured HDF5, und Isaac Lab Core liefert keinen eigenen LeRobot-Konverter: Die Dokumentation besagt lediglich, dass Sie den generierten Datensatz in das LeRobot-Format konvertieren können. Zwei Projekte liefern den eigentlichen Konverter. IsaacLab-Arena liefert einen GR00T-spezifischen, der vollständig von einer YAML-Konfiguration gesteuert wird, und LeIsaac liefert sein eigenes Paar für den SO-101-Weg (siehe unten).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Warum Generierungsversuche fehlschlagen und was zu ändern ist

Eine Kandidaten-Erfolgsrate, die zwischen 70 Prozent und unter 1 Prozent schwankt, ist kein Geheimnis, und Isaac Lab dokumentiert die häufigsten Fallstricke, anstatt Sie raten zu lassen. Jeder einzelne davon ist etwas, das Sie zum Zeitpunkt der Aufzeichnung kontrollieren, weshalb es sich lohnt, diese Liste zu lesen, bevor Sie die zehn Seed-Demonstrationen aufzeichnen, anstatt nach dem ersten enttäuschenden Generierungslauf.

• Demonstrationen sind zu lang. Ein längerer Zeithorizont ist für eine Policy schwieriger zu lernen. Beginnen Sie nah am ersten Objekt und minimieren Sie die Bewegung.
• Demonstrationen sind nicht flüssig. Unregelmäßige Bewegungen sind für eine Policy schwer zu entschlüsseln, und bessere Teleoperations-Hardware liefert bessere Daten: Die Dokumentation besagt klar, dass eine SpaceMouse einer Tastatur überlegen ist.
• Pausen. Pausen sind schwer zu lernen, da es für eine Policy nicht offensichtlich ist, warum und wann pausiert werden soll. Halten Sie die Bewegung flüssig.
• Zu viele Unteraufgaben. Mehr Unteraufgaben bedeuten mehr Verknüpfungen zwischen Trajektoriensegmenten, was zu weniger flüssiger Bewegung und einer geringeren Generierungs-Erfolgsrate führt. Annotieren Sie Grenzen, an denen der Arm unwahrscheinlich mit etwas kollidiert.
• Kein Aktionsrauschen. Aktionsrauschen macht die resultierenden Policies robuster.
• Aufnahme zu knapp beschnitten. Wenn die Aufnahme genau in dem Frame stoppt, in dem der Erfolgsterm ausgelöst wird, wird er bei der Wiedergabe möglicherweise nicht erneut ausgelöst. Lassen Sie am Ende einen Puffer.
• Nicht-deterministische Wiedergabe. Die Physik in Isaac Lab ist über env.reset hinweg nicht deterministisch reproduzierbar, daher schlagen einige menschliche Demos bei der Wiedergabe fehl. Sammeln Sie mehr, als Sie benötigen, und behalten Sie diejenigen, die die Annotation überleben. Alles, was in einer von Mimic generierten HDF5-Datei landet, ist eine erfolgreiche Demo und kann zum Training verwendet werden, selbst wenn die Wiedergabe später fehlschlägt.

Der Interpolationsschritt zwischen verknüpften Unteraufgaben-Segmenten hat seinen eigenen Einstellknopf, und die Anzahl der benötigten Interpolationsschritte skaliert mit der Geschwindigkeit, mit der sich der Roboter bewegt, und der Breite der Objekt-Reset-Verteilung. Eine komplexe Aufgabe mit einer großen Reset-Verteilung hinterlässt größere Lücken zwischen den Segmenten, was mehr Interpolationsschritte erfordert, um eine kontinuierliche Bewegung zu erzielen. Wenn Ihre generierten Videos zeigen, wie der Arm zwischen den Phasen ruckelt, ist dies der Parameter, den Sie überprüfen sollten, bevor Sie die Seed-Demos verantwortlich machen.

Die gleiche Pipeline auf einem SO-101, mit dem echten Leader-Arm

Dies ist der interessante Punkt für jeden, der diese Seite liest, denn es ist die einzige offene Pipeline, die einen in Isaac Lab integriert und es Ihnen ermöglicht, ihn mit dem physischen Leader-Arm zu steuern, den Sie bereits besitzen. LeIsaac, Version 0.4.0 zum Zeitpunkt des Schreibens, ist der offizielle Simulationsspielplatz für Imitationslernen, der in LeRobots EnvHub integriert ist. Seine Kompatibilitätstabelle listet drei funktionierende Kombinationen auf; die neueste kombiniert Isaac Sim 5.1 mit Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 und Python 3.11, und die Dokumentation empfiehlt Isaac Sim 5.0 oder neuer für 50er-Serienkarten.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Sobald dies eingerichtet ist, steuert der Leader-Arm an /dev/ttyACM0 den simulierten Follower und zeichnet direkt in HDF5 auf. Die Schleife ist dieselbe, die Sie bereits von der realen Aufzeichnung kennen, nur dass der Follower ein starrer Körper in PhysX ist.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Die meisten dieser IDs existieren auch als -Direct-v0-Variante, und python scripts/environments/list_envs.py gibt die aktuelle Liste aus. Sie können den HDF5-Umweg auch ganz überspringen und das LeRobot-Format während der Teleoperation schreiben, indem Sie drei Flags hinzufügen. Zwei Vorbehalte ergeben sich aus der Dokumentation selbst: Der Recorder überspringt automatisch die ersten 5 Frames jeder Episode, um Instabilität durch Anfangszustände zu vermeiden, und er kann leichte Verzögerungen bei der Teleoperation verursachen, was genau die Art von Sache ist, die den Charakter Ihrer Demonstrationen leise verändert. Er speichert auch nur Episoden, die die Aufgabe als erfolgreich markiert hat.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Der Multiplikationsschritt läuft dann auf diesen Aufzeichnungen. LeIsaac kapselt Isaac Lab Mimic in vier Befehle, da Mimic Trajektorien aus Endeffektor- und Objektposen verallgemeinert: Konvertieren der Gelenkraum-Aktionen in IK-basierte Aktionen, Annotieren, Generieren und dann Zurückkonvertieren in den Gelenkraum.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Konvertieren Sie dann zu LeRobot. Dies ist der Schritt, bei dem die Formatregel der Plattform zum Tragen kommt, und LeIsaac liefert zufällig genau die beiden Konverter, die Sie benötigen: isaaclab2lerobot.py schreibt LeRobot v2, was von den GR00T-Ladern verwendet wird, und isaaclab2lerobotv3.py schreibt v3 für Pi0.5, SmolVLA und ACT. Die beiden Skripte akzeptieren identische Argumente, verwenden aber unterschiedliche LeRobot-Versionen, und nur erfolgreiche Episoden werden konvertiert.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Zwei Wege zu einer trainierten Policy

Video-Weltmodelle: die neueste Schicht und die am wenigsten gemessene

Die Idee hinter DreamGen ist, dass ein generatives Videomodell, angepasst an die Zielroboter-Embodiment, plausible Episoden in Szenen imaginieren kann, die Sie nie besucht haben. Die Pipeline hat vier Stufen: Feinabstimmung des Video-Weltmodells, Generierung fotorealistischer synthetischer Robotervideos, Wiederherstellung von Pseudo-Aktionssequenzen mit einem latenten Aktionsmodell oder einem inversen Dynamikmodell, und dann Training der Roboter-Policy auf dem Ergebnis. NVIDIAs GR00T-dreams Repository implementiert genau das.

Das Hauptergebnis ist real und ernst zu nehmen: Teleoperationsdaten aus nur einer Pick-and-Place-Aufgabe in einer Umgebung führten zu 22 neuen Verhaltensweisen bei einem Humanoiden, sowohl in bekannten als auch in unbekannten Umgebungen. Der Vorbehalt ist ebenso real und liegt in der dritten Phase.

Co-Training ist das Rezept, das tatsächlich Gewinne zeigt

Wenn Sie eine operative Lektion aus der Literatur mitnehmen, dann diese. Die Sim-und-Real-Co-Training-Studie (Maddukuri und Kollegen, 2025) hatte zum Ziel, ein einfaches Rezept für die Verwendung von Simulationsdaten zur Lösung von bildbasierten Roboter-Manipulationsaufgaben in zwei Domänen – einem Roboterarm und einem Humanoiden – zu finden, und ihre Schlussfolgerung ist, dass man mit einer Mischung trainiert. Simulationsdaten verbesserten die reale Aufgabenleistung um durchschnittlich 38 Prozent, und das Papier macht deutlich, dass dies auch bei bemerkenswerten Unterschieden zwischen den Simulations- und den realen Daten galt.

Dieser letzte Satz ist wichtiger als die 38 Prozent. Er bedeutet, dass die Simulation kein perfekter digitaler Zwilling sein muss, um nützlich zu sein, vorausgesetzt, die realen Daten sind in der Mischung enthalten, um sie zu verankern. Der reine Sim-Transfer ist der teure Weg: Dasselbe Papier besagt, dass das Training einer Policy ausschließlich in der Simulation und deren Übertragung in die reale Welt oft erheblichen menschlichen Aufwand erfordert, um die Realitätslücke zu überbrücken. Co-Training überspringt den größten Teil dieses Aufwands, indem es die Policy nie auffordert, die Lücke eigenständig zu schließen.

Praktisch bedeutet Co-Training auf dieser Plattform eines: Legen Sie beide Sätze von Episoden in denselben LeRobot Datensatz mit konsistenten Kamerakeys, konsistenter Gelenkreihenfolge und konsistenten Einheiten, und führen Sie dann ein normales Fine-Tuning. Es gibt keinen Mischgewichtsregler im Trainingsformular. Wenn Sie ein Sim-zu-Real-Verhältnis von 3:1 wünschen, drücken Sie dies durch die Anzahl der Episoden aus, die Sie von jeder Art in den Datensatz aufnehmen.

Der günstigste Gewinn aus der Simulation sind nicht Trainingsdaten

Es ist die Evaluierung. Dutzende von realen Versuchen pro Aufgabe durchzuführen, um zwei bedeutet einen Tag Armzeit, und der Arm driftet zwischen den Versuchen. SIMPLER (Li und Kollegen, 2024) entwickelte simulierte Umgebungen, deren Zweck es ist, reale Policies zu bewerten, anstatt sie zu trainieren, und maß dann, wie gut das Sim-Ranking das reale vorhersagt. Eine einzelne SIMPLER-Umgebung rendert mit 3.500 Simulationsschritten pro Sekunde auf einer Consumer RTX 4090 bei einer Auflösung von 640 mal 512, was bei einer Simulationsfrequenz von 500 Hz eine 7-fache Beschleunigung gegenüber der realen Evaluierung darstellt.

Dies sind Durchschnittswerte über drei Google Robot Aufgabengruppen für sechs gängige Open-Source-Checkpoints: drei RT-1 Checkpoints in verschiedenen Trainingsphasen, RT-1-X, RT-2-X und Octo-Base. Die reale Seite hat keine einheitliche Versuchszahl, was man wissen sollte, bevor man sie zitiert: 75 Versuche für das Aufheben einer Coladose, 60 für das Bewegen in die Nähe, 54 für die Aufgaben zum Öffnen und Schließen von Schubladen und 27 für die längere Schubladen-und-Apfel-Aufgabe. Der Vergleich mit dem Validierungs-MSE ist der nützliche Teil. Die Modellauswahl durch Validierungsverlust bewertet diese Checkpoints schlecht, und ein Pearson r von 0,924 unter visueller Übereinstimmung bedeutet, dass, wenn ein Checkpoint in SIMPLER besser abschneidet, er sehr wahrscheinlich auch auf dem Prüfstand besser abschneidet. Das ist eine wiederholbare Übernacht-Anzeigetafel, und es erfordert nicht, dass Sie an irgendetwas bezüglich des Sim-to-Real-Trainingstransfers glauben.

Wenn Sie den breiteren Kontext darüber erfahren möchten, was diese Benchmark-Zahlen Ihnen über ein , haben wir das separat in .

Wo diese Plattform Ihnen nicht hilft

Klarheit über die Grenzen spart allen Zeit. AY-Robots ist eine Plattform zum Aufzeichnen, Trainieren und Bereitstellen. Sie enthält keinen Simulator.

• Kein Isaac Lab, kein MimicGen, kein Weltmodell, keine Szenenerstellung. Wenn Sie generierte Daten wünschen, generieren Sie diese an anderer Stelle und bringen das Ergebnis mit.
• Die Trainer verbrauchen ausschließlich LeRobot-Datensätze. Ein Simulator-Export muss konvertiert werden, bevor er als Eingabe dient, und er muss die richtige Version haben: v2.0 oder v2.1 für GR00T N1.5 und N1.7, v3.0 für Pi0.5, SmolVLA und ACT.
• Der Fine-Tuning-Einstiegspunkt von GR00T ist eine tyro CLI, die keinen Seed offenlegt, sodass GR00T-Läufe nicht bit-für-bit reproduzierbar sind. Wenn Sie eine sorgfältige Sim-versus-Real-Ablation durchführen, ist dies eine echte Einschränkung. Der Standard-Seed von lerobot selbst ist 1000, und die ACT-, SmolVLA- und Pi0.5-Formen legen ein Seed-Feld offen.
• Gradientenakkumulation wird tatsächlich nur für die beiden GR00T-Trainer angewendet. Für Pi0.5 und SmolVLA existiert das Feld im Formular, aber lerobot 0.5.1 hat kein solches Flag, daher bewirkt es nichts.
• Inferenz muss für schnelle Aufgaben neben den Servos sitzen. Die Regelschleife beträgt je nach Modell 20 bis 485 ms pro Aktionsschritt, und das Hinzufügen von Roundtrips über das öffentliche Internet verwandelt eine funktionierende Richtlinie in eine zögerliche. Remote-Inferenz ist für langsames Pick-and-Place praktikabel, nicht für schnelle reaktive Bewegungen.

Ein Budget, das Sie verteidigen können

Stellen Sie die beiden Pfade nebeneinander mit den Zahlen, die jeder tatsächlich veröffentlicht, und die Entscheidung trifft sich in der Regel von selbst für ein Einzelaufgabenprojekt an einem kostengünstigen Arm.

Für eine erste Policy auf einem SO-100, aufnehmen. Die und der bringen Sie zu einem bereitgestellten Checkpoint zum Preis eines Kaffees, und Sie werden die reale Hälfte jeder zukünftigen Co-Trainingsmischung haben. Greifen Sie zum Simulator, wenn Sie eine funktionierende Basislinie und einen spezifischen Generalisierungsfehler benennen können, wie z.B. eine Policy, die .

Ein Rezept, das die Beweise respektiert

1. 1
   Zuerst die reale Baseline aufzeichnen

   30 Episoden für SmolVLA, 50 für ACT, GR00T N1.7 und Pi0.5. Einmal trainieren. Woran diese Policy scheitert, ist Ihre Spezifikation für die synthetischen Daten.

2. 2
   Benennen Sie den Generalisierungsfehler

   Objektpose? Beleuchtung? Tischhöhe? Ablenkungen? Eine andere Formulierung der Anweisung? Synthetische Daten sind jeweils nur in genau einem dieser Punkte gut und nutzlos, wenn Sie nicht sagen können, in welchem.

3. 3
   Wählen Sie die günstigste Familie, die es abdeckt

   Variationen von Pose und Layout: Trajektorienmultiplikation. Beleuchtung und Textur: zuerst Bildaugmentation, dann Weltmodell. Ganz neue Szenen: Physik-Rollouts, und die Modellierungskosten akzeptieren.

4. 4
   Generieren, dann aggressiv verwerfen

   Generierungsversuche schlagen fehl, und die eigene Kandidaten-Erfolgsrate von Isaac Lab reicht je nach Aufgabe von 70 Prozent bis unter 1 Prozent. Behalten Sie nur erfolgreiche, aufgabenabschließende Trajektorien und prüfen Sie eine Stichprobe als Video, bevor Sie dem Batch vertrauen.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Co-trainieren, nicht ersetzen

   Führen Sie die generierten Episoden mit den realen zu einem einzigen LeRobot-Datensatz mit identischen Kamerakeys und Gelenkreihenfolge zusammen. Die 38-Prozent-Angabe ist eine Co-Training-Zahl.

6. 6
   Auf dem realen Arm evaluieren, und nur dort

   Simulierte Evaluation ist ein gutes Ranking-Signal (Pearson r 0.924 in SIMPLERs visueller Matching-Konfiguration), aber kein Akzeptanztest. Führen Sie den Checkpoint auf dem Prüfstand aus, bevor Sie ihm vertrauen.

Wenn Sie lieber mit einer Checkliste für die realen Aufnahmen selbst beginnen möchten, deckt der Leitfaden zur Datenerfassung die Kameraplatzierung, die Auswirkungen von Action Chunking und die Fehlermodi ab, die einen Imitationslern-Datensatz unbrauchbar machen. Details zum Format selbst finden Sie in den Datensatz-Dokumenten, und die Hyperparameter-Seite in den Trainings-Dokumenten.