Nehmen Sie Ihren ersten LeRobot-Datensatz mit einem SO-100 auf

Ein SO-100 Follower, ein Leader-Arm desselben Designs und zwei USB-Kameras können eine Policy an einem Nachmittag feinabstimmen. Derselbe Prüfstand kann ebenso leicht sechzig Episoden erzeugen, die in einem Dateibrowser gesund aussehen und einen sechsstündigen GPU-Lauf verschwenden. Der Unterschied liegt selten am Modell; er liegt daran, was zwischen den Servos und der Parquet-Datei geschah.

Hier ist der manuelle Weg, dann der kürzere. Jeder Befehl stammt von lerobot 0.6.1, veröffentlicht am 3. August 2026 und aktuell auf PyPI. Es wurde auf Konsolen-Einstiegspunkte umgestellt, daher beschreiben Tutorials, die python lerobot/scripts/control_robot.py ausführen, eine Datei, die nicht mehr existiert.

Was eine Aufnahmesitzung erfasst

Ein LeRobot-Datensatz ist kein Ordner von Videos, sondern eine zeitlich indizierte Tabelle mit angehängtem Video: Jeder Steuerzyklus-Tick schreibt eine Zeile, die die befohlene Aktion, den vom Follower erreichten Zustand, einen Frame pro Kamera, einen Zeitstempel und Indizes enthält. Die Policy sieht nur diese Spalten. Das Schema von lerobot/svla_so100_pickplace, gelesen aus seiner meta/info.json.

Die Gelenke sind main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll und main_gripper: die sechs Freiheitsgrade des SO-100. Aktion und Zustand teilen sich eine Form, da die Leader-Follower-Teleoperation ein Ziel und die einen Schritt später erreichte Position aufzeichnet. Diese Lücke ist Information: wo der Arm gegen die Schwerkraft oder ein festsitzendes Objekt gekämpft hat. Diese Zeichenketten gehören zu diesem Datensatz. Eine heute mit 0.6.1 aufgezeichnete Sitzung schreibt shoulder_pan.pos bis gripper.pos, IDs 1 bis 6 auf dem Bus: dieselben sechs Gelenke, unterschiedliche Schlüssel, was wichtig wird, sobald eine Konfiguration ein Merkmal namentlich anspricht.

Was Sie auf dem Prüfstand benötigen

Wenn der Arm noch nicht gebaut ist, ist das ein separater Abend: Beginnen Sie bei SO-100 Erste Schritte und dem vollständigen SO-100 Einrichtungsleitfaden. Wenn Sie noch nichts gekauft haben, lesen Sie zuerst den SO-100 vs. SO-101 Vergleich zuerst: Der SO-101 ist die neuere Revision mit verbesserter Verkabelung und ohne Schritt zur Zahnradentfernung, und der Aufnahmeworkflow ist identisch.

lerobot 0.6.1 installieren

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Extras verwirren die meisten Leute. pip install lerobot installiert nur die Kern-ML-Abhängigkeiten, nichts, was mit einem Roboter kommuniziert. Koch-Arme benötigen dynamixel anstelle von feetech. Wenn Ihre Shell noch nie von lerobot-record gehört hat, ist dies der Grund.

Ports, Motor-IDs und Kalibrierung

Drei einmalige Schritte trennen die Komponenten von einer funktionierenden Teleoperationsschleife. ermöglicht es, eine an Ihrem Arm trainierte Policy auf einem anderen Arm auszuführen, indem Roh-Encoder-Werte auf eine gemeinsame Gelenkkonvention abgebildet werden.

1. 1
   USB-Port jedes Arms finden

   Führen Sie es mit beiden angeschlossenen Armen aus, ziehen Sie den Arm, den Sie identifizieren möchten, auf Aufforderung ab und notieren Sie, welcher Port verschwindet. Unter Linux benötigen Sie möglicherweise sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Motor-IDs und Baudraten schreiben

   IDs werden einzeln für jeden Motor geschrieben, und die Dokumentation ist streng bezüglich der Vorgehensweise: Schließen Sie genau einen Motor an die Steuerplatine an, noch nicht in Reihe mit anderen. Das Skript geht die Kette rückwärts durch, fordert zuerst den Greifer auf und gibt ihm die ID 6, dann wrist_roll als 5, bis hin zu shoulder_pan als 1. Führen Sie dies vor der Montage durch.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Beide Arme kalibrieren

   Bewegen Sie jedes Gelenk in die Mitte seines Bereichs, drücken Sie Enter und bewegen Sie dann jedes Gelenk durch seinen gesamten Bereich. Die id wird zum Profil-Dateinamen.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperation vor der Aufzeichnung

   Der Akzeptanztest für alles oben Genannte. Wenn die Teleoperation ruckelig, spiegelverkehrt ist oder ein Gelenk nicht folgt, wird dies in 50 Episoden aufgezeichnet.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameras entscheiden, was die Policy sieht

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Zwei Ansichten, und ihre Position ist wichtig: eine feste Szenenkamera, die den Arbeitsbereich abdeckt, und eine Handgelenkskamera in der Nähe des Endeffektors, die zeigt, was der Greifer gleich berühren wird. Die LeRobot Community-Datasets-Checkliste fordert vorzugsweise zwei Ansichten mit 480x640 / 720p oder besser, einen statischen Hintergrund, neutrale, stabile Beleuchtung und dass der Führungsarm sowie menschliche Gliedmaßen außerhalb des Bildes sind. Der Aufnahmeleitfaden fügt die Faustregel hinzu: Sie sollten die Aufgabe selbst erledigen können, indem Sie nur die Kamerabilder betrachten.

Der Record-Befehl und alle Flags

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Die untenstehenden Standardwerte stammen aus src/lerobot/configs/dataset.py im Main-Branch, nicht aus einem Tutorial. Einige davon sind nicht das, was man annimmt.

Tastatursteuerung während einer Sitzung

• Rechtspfeil oder n: Beendet die Episode oder setzt die Phase frühzeitig zurück. Dies ist die Taste, die Sie am häufigsten verwenden werden, da ein sauberer Griff selten 25 Sekunden benötigt.
• Linkspfeil oder r: Verwirft die Episode und wiederholt sie. Eine schlechte Aufnahme kostet jetzt nichts und später viel.
• Escape oder q: Beendet die Sitzung, schließt die Kodierung ab, lädt hoch.
• Diese funktionieren unter X11, Wayland und headless SSH: Ohne globales Tastatur-Backend liest lerobot-record dieselben Tasten vom steuernden Terminal. Die Buchstaben überleben verzögerte SSH-Verbindungen, bei denen Pfeilsequenzen geteilt werden.
• Tastatur-Teleoperation ist anders und benötigt ein globales Backend: X11, Windows oder macOS mit Accessibility.

Wie viele Episoden, und wie eine gute aussieht

Der Aufnahmeleitfaden empfiehlt mindestens 50 Episoden für eine erste Aufgabe, etwa 10 pro Objektposition. Die Richtlinienseiten listen ein Minimum pro Modell auf, unterhalb dessen ein Durchlauf die GPU-Zeit nicht wert ist.

Die bessere Frage ist, wie viele von was. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) sammelten über 40.000 Demonstrationen und führten mehr als 15.000 reale Rollouts durch. Die Generalisierung folgte einer annähernd potenzgesetzlichen Beziehung mit der Anzahl der Umgebungen und Objekte, und jenseits eines Schwellenwerts pro Umgebung oder Objekt hatten zusätzliche Demonstrationen minimale Auswirkungen. Auf einer Testbank: Bewegen Sie das Objekt, ändern Sie die Beleuchtung, tauschen Sie den Würfel aus, anstatt eine Aufnahme zu wiederholen.

Eine gute Episode ist langweilig: wiederholbare Ausgangsposition, eine Sache erledigt, beendet sobald das Objekt im Behälter ist, Aufgabenstring in den 25 bis 50 Zeichen, die die Checkliste empfiehlt. Nimm den roten Würfel und lege ihn in die Box ist ein Aufgabenstring; task1 ist das Anti-Muster, das die Checkliste explizit nennt. Vage Anmerkungen stehen ganz oben auf der Problemliste, und sie sind am wichtigsten für , wo der String eine Modelleingabe ist, nicht ein Dateiname.

Fehler, die einen Datensatz stillschweigend ruinieren

Keiner wirft eine Ausnahme. Alle überleben das Training und zeigen sich als Verlustkurve, die gut aussieht, und ein Roboter, der nichts tut. Überprüfen Sie, während die Szene eingerichtet ist.

Ein Vorbehalt: Die Tabelle des Streaming-Encoding-Leitfadens listet den Standardwert als True, während die Dataclass auf main liest streaming_encoding: bool = False. Dokumentation und Code stimmen nicht überein, daher explizit setzen; lerobot protokolliert einen Hinweis, der dies empfiehlt, wann immer es mit ausgeschaltetem Flag startet.

Überprüfen Sie den Datensatz, bevor Sie eine GPU mieten

Der Akzeptanztest aus der Dokumentation: Vergleichen Sie die Videodauer mit der von der CLI gemeldeten Episodendauer und bestätigen Sie, dass die Zeilenanzahl der fps mal Dauer entspricht. Pro Episode, nicht in der Summe.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Dann sehen Sie es sich an. lerobot-dataset-viz spielt eine Episode Bild für Bild mit Gelenkspuren neben den Kameraansichten in Rerun oder Foxglove ab. Vertauschte Kameras und eingefrorene Bilder werden in zehn Sekunden sichtbar. Die Leute überspringen diesen Schritt.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 oder v3.0: entscheiden Sie vor der Aufnahme

v2.1 schrieb ein Parquet und eine MP4 pro Episode. v3.0 verkettet viele Episoden zu gemeinsamen Shards und rekonstruiert Grenzen aus Metadaten, sodass info.json Pfadvorlagen wie data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet anstelle einer Episodennummer enthält. Die übergeordnete Begründung sind weniger, größere Dateien: schnellere Initialisierung und geringerer Dateisystemdruck im großen Maßstab.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Zwei Wege zum selben Datensatz

Vom Datensatz zur Policy

Fünfzig saubere Episoden speisen jeden Lauf hier. trainiert von Grund auf nur für Ihre Aufgabe, etwa 80 Millionen Parameter bei ungefähr 20 ms pro Aktionsschritt, die einzige der fünf, die mit schnellen Bewegungen zurechtkommt. hat etwa 450 Millionen Parameter auf einer 24-GB-Karte. ist ein etwa 3 Milliarden Parameter umfassendes Basismodell, bei dem etwa 40 Millionen Parameter berührt, eine A100 oder H100 benötigt und den v2.1-Datensatz will.

Als Nächstes die Anleitung für Ihre Kombination: , oder ; für einen ersten Lauf ist kürzer. Wenn die Policy auf dem Prüfstand funktioniert, aber zusammenbricht, sobald Sie den Tisch bewegen, ist das ein Datenproblem: und gehen tiefer auf Diversität ein.