Mit Datensätzen arbeiten

Das LeRobot-Dataset-Format

AY-Robots speichert alle Demonstrationsdaten im LeRobot-Dataset-Format, das von Hugging Face gepflegt wird. Der praktische Vorteil ist Portabilität: Ein hier aufgezeichneter Datensatz lädt direkt in LeRobot-basierten Trainingscode, und anderswo im selben Format aufgezeichnete Datensätze lassen sich ohne Konvertierung hochladen und auf der Plattform nutzen.

Ein Datensatz ist eine Sammlung von Episoden. Eine Episode ist ein vollständiger Versuch einer Aufgabe, von einem definierten Startzustand bis zu dem Punkt, an dem Sie die Aufnahme gestoppt haben. Auf der Festplatte verteilt sich eine Episode auf drei Arten von Dateien: eine Parquet-Datei mit den numerischen Streams, eine Videodatei pro Kamera und Metadaten, die alles zusammenhalten.

Das Feature-Schema in info.json ist das, was Trainingscode liest, um Ihre Daten zu verstehen: welche Beobachtungs-Keys existieren, ihre Shapes und die Aufnahmerate. Zwei Datensätze sind nur kompatibel, wenn ihre Schemata übereinstimmen, und genau das prüft die Merge-Validierung.

Gelenkwerte sind Prozente, keine Grad

Alle Gelenkwerte in AY-Robots-Datensätzen sind LeRobot-normalisiert: Jeder Wert liegt zwischen -100 und 100 und beschreibt einen Prozentsatz des kalibrierten Bereichs des jeweiligen Gelenks, keinen Winkel in Grad. Ein Wert von 0 ist die Mitte des kalibrierten Bereichs, -100 und 100 sind seine Grenzen.

Cloud-Datensätze im Dashboard

Dashboard > Datasets listet Ihre Cloud-Datensätze mit Episodenzahl, Dateigrößen und Sammelstatus. Datensätze entstehen automatisch, wenn eine Teleoperations-Session Daten aufzeichnet; Sie können auch explizit einen anlegen und ihn mit Uploads aus dem Desktop-Client füllen.

• Anlegen: Neue Datensätze entstehen automatisch aus Sessions, oder Sie legen einen leeren an und laden hinein.
• Umbenennen: Der Anzeigename lässt sich jederzeit ändern; die Daten selbst bleiben unberührt.
• Löschen: Entfernt den Datensatz mit allen Episoden und Dateien. Das Löschen ist endgültig, laden Sie also vorher ein Archiv herunter, falls Sie die Daten noch brauchen könnten.

Der Episoden-Browser

Das Öffnen eines Datensatzes führt in den Episoden-Browser. Jede Episode hat einen Videoplayer für ihre Kamerastreams und synchronisierte Gelenk-Charts, die die normalisierten Gelenkwerte über die Episode zeichnen. Beim Scrubben im Video wandert der Chart-Cursor mit; Probleme fallen so schnell auf: Eine ruckartige Annäherung zeigt sich als Spitzen in den Charts, ein misslungener Griff ist im Greiferkanal sichtbar, noch bevor Sie das Video anschauen.

Episoden-Labels: Success, Recovery, Failure

Jede Episode kann eines von drei Labels tragen. Success markiert eine saubere Demonstration der Aufgabe. Recovery markiert eine Episode, in der mitten im Versuch etwas schiefging und Sie es korrigiert haben; solche Episoden sind wertvoll, weil sie einer Policy beibringen, wie man zurück in die Spur kommt. Failure markiert Episoden, die das Ziel nicht erreicht haben und meist aus dem Training herausbleiben sollten. Beim Sichten zu labeln ist deutlich billiger, als eine Policy zu debuggen, die still von schlechten Demonstrationen gelernt hat.

Datensätze mergen

Das Mergen kombiniert mehrere Aufnahmen zu einem größeren Datensatz, etwa eine Woche Sessions zur selben Aufgabe oder Aufnahmen von zwei kalibrierten Armen. Der Merge nimmt mehrere tar.gz-Archive entgegen, jedes mit einem LeRobot-Datensatz, und erzeugt einen einzelnen Datensatz mit neu indizierten Episoden.

1. 1
   Archive vorbereiten

   Jede Eingabe muss ein vollständiger LeRobot-Datensatz als tar.gz-Archiv sein, einschließlich des meta-Verzeichnisses. Unvollständige Archive ohne info.json lassen sich nicht validieren und werden abgelehnt.

2. 2
   Mehrere Archive hochladen

   Starten Sie unter Dashboard > Datasets einen Merge und wählen Sie alle tar.gz-Archive, die Sie kombinieren wollen, in einem Schritt aus.

3. 3
   Validierung

   Die Plattform prüft, ob fps, das Feature-Schema und robot_type über alle Eingaben übereinstimmen. Weicht eines der drei ab, wird der Merge mit Nennung der Abweichung abgelehnt, denn ein kombinierter Datensatz mit inkonsistenten Streams würde das Training still korrumpieren.

4. 4
   Ergebnis prüfen

   Der zusammengeführte Datensatz erscheint mit der kombinierten Episodenzahl in Ihrer Liste. Öffnen Sie den Episoden-Browser und prüfen Sie stichprobenartig ein paar Episoden aus jeder Quelle, bevor Sie darauf trainieren.

Die drei Kompatibilitätsregeln sind mit Absicht streng. Abweichende Frameraten ändern die Bedeutung jedes Zeitschritts, Schema-Abweichungen lassen Loader schlicht scheitern, und gemischte Robotertypen ergeben einen Datensatz, auf dem keine einzelne Policy agieren kann. Daten verschiedener Arme desselben Modells zu kombinieren ist dagegen in Ordnung: robot_type meint das Modell, nicht das physische Exemplar.

Der Datensatz-Marktplatz

Auf dem Marktplatz können Sie Datensätze anderer kaufen und eigene verkaufen. Gekaufte Datensätze landen im selben LeRobot-Layout in Ihrem Dashboard wie Ihre eigenen Aufnahmen und funktionieren damit ohne Zwischenschritte mit dem Episoden-Browser, dem Mergen und dem Training.

Wenn Sie verkaufen, kuratieren Sie vor dem Einstellen. Sichten Sie die Episoden, labeln Sie ehrlich und stellen Sie sicher, dass die Task-Strings beschreiben, was in den Aufnahmen tatsächlich passiert. Ein Käufer, der Ihren Datensatz bewertet, sieht denselben Episoden-Browser wie Sie, und Datensätze mit sauberen Labels und konsistenten Demonstrationen sind mehr wert als Rohhalden von allem, was Sie je aufgenommen haben.

Häufige Fragen