Καταγράψτε το Πρώτο σας LeRobot Σύνολο Δεδομένων με ένα SO-100

Ένας SO-100 ακολουθητής, ένας βραχίονας οδηγός του ίδιου σχεδιασμού και δύο κάμερες USB μπορούν να ρυθμίσουν λεπτομερώς μια πολιτική μέσα σε ένα απόγευμα. Ο ίδιος πάγκος μπορεί εξίσου εύκολα να παράγει εξήντα επεισόδια που φαίνονται υγιή σε ένα πρόγραμμα περιήγησης αρχείων και να σπαταλήσει μια εξάωρη εκτέλεση GPU. Η διαφορά σπάνια είναι το μοντέλο· είναι αυτό που συνέβη μεταξύ των σερβομηχανισμών και του αρχείου parquet.

Εδώ είναι η χειροκίνητη διαδρομή, και μετά η συντομότερη. Κάθε εντολή προέρχεται από το lerobot 0.6.1, που κυκλοφόρησε στις 3 Αυγούστου 2026 και είναι τρέχον στο PyPI. Μετακινήθηκε σε σημεία εισόδου κονσόλας, οπότε τα tutorials που εκτελούν python lerobot/scripts/control_robot.py περιγράφουν ένα αρχείο που δεν υπάρχει πλέον.

Τι καταγράφει μια περίοδος καταγραφής

Ένα σύνολο δεδομένων LeRobot δεν είναι ένας φάκελος βίντεο αλλά ένας χρονο-ευρετηριασμένος πίνακας με συνημμένο βίντεο: κάθε κύκλος ελέγχου γράφει μία γραμμή που περιέχει την εντολή δράσης, την κατάσταση που έφτασε ο ακόλουθος, ένα καρέ ανά κάμερα, μια χρονική σήμανση και δείκτες. Η πολιτική βλέπει μόνο αυτές τις στήλες. Το σχήμα του lerobot/svla_so100_pickplace, όπως διαβάζεται από το meta/info.json του.

Οι αρθρώσεις είναι main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll και main_gripper: οι έξι βαθμοί ελευθερίας του SO-100. Η δράση και η κατάσταση μοιράζονται ένα σχήμα επειδή τηλελειτουργία ηγέτη-ακόλουθου καταγράφει έναν στόχο και τη θέση που επιτεύχθηκε ένα βήμα αργότερα. Αυτό το κενό είναι πληροφορία: πού ο βραχίονας πάλεψε τη βαρύτητα ή ένα κολλημένο αντικείμενο. Αυτές οι συμβολοσειρές ανήκουν σε αυτό το σύνολο δεδομένων. Μια συνεδρία που καταγράφηκε με 0.6.1 σήμερα γράφει shoulder_pan.pos έως gripper.pos, αναγνωριστικά 1 έως 6 στον δίαυλο: οι ίδιες έξι αρθρώσεις, διαφορετικά κλειδιά, κάτι που έχει σημασία τη στιγμή που μια διαμόρφωση αναφέρεται σε ένα χαρακτηριστικό με το όνομά του.

Τι χρειάζεστε στον πάγκο εργασίας

Εάν ο βραχίονας δεν έχει κατασκευαστεί ακόμα, αυτό είναι ένα ξεχωριστό βράδυ: ξεκινήστε από Ξεκινώντας με το SO-100 και τον πλήρη οδηγό εγκατάστασης του SO-100. Εάν δεν έχετε αγοράσει τίποτα, διαβάστε την σύγκριση SO-100 έναντι SO-101 πρώτα: το SO-101 είναι η νεότερη αναθεώρηση με βελτιωμένη καλωδίωση και χωρίς βήμα αφαίρεσης γραναζιών, και η ροή εργασίας καταγραφής είναι πανομοιότυπη.

Εγκατάσταση lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Τα πρόσθετα μπερδεύουν τους περισσότερους. pip install lerobot εγκαθιστά μόνο βασικές εξαρτήσεις ML, τίποτα που να επικοινωνεί με ένα ρομπότ. Οι βραχίονες Koch χρειάζονται dynamixel αντί για feetech. Εάν το κέλυφός σας δεν έχει ακούσει ποτέ για το lerobot-record, αυτός είναι ο λόγος.

Θύρες, αναγνωριστικά κινητήρων και βαθμονόμηση

Τρία εφάπαξ βήματα χωρίζουν τα εξαρτήματα από έναν λειτουργικό βρόχο τηλελειτουργίας. επιτρέπει σε μια πολιτική εκπαιδευμένη στον δικό σας βραχίονα να λειτουργεί σε κάποιον άλλον, αντιστοιχίζοντας τις ακατέργαστες μετρήσεις κωδικοποιητή σε μια κοινή σύμβαση άρθρωσης.

1. 1
   Βρείτε τη θύρα USB κάθε βραχίονα

   Εκτελέστε το με τους δύο βραχίονες συνδεδεμένους, αποσυνδέστε αυτόν που αναγνωρίζετε όταν σας ζητηθεί και σημειώστε ποια θύρα εξαφανίζεται. Σε Linux ενδέχεται να χρειαστείτε sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Γράψτε τα αναγνωριστικά κινητήρων και τις ταχύτητες baud

   Τα αναγνωριστικά γράφονται ένας κινητήρας τη φορά, και οι οδηγίες είναι αυστηρές ως προς τον τρόπο: συνδέστε ακριβώς έναν κινητήρα στην πλακέτα ελέγχου, όχι ακόμα σε σειρά με κανέναν άλλο. Το σενάριο διασχίζει την αλυσίδα προς τα πίσω, ζητώντας πρώτα την αρπάγη και δίνοντάς της το αναγνωριστικό 6, μετά τον καρπό (wrist_roll) ως 5, μέχρι τον ώμο (shoulder_pan) ως 1. Κάντε το πριν τη συναρμολόγηση.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Βαθμονόμηση και των δύο βραχιόνων

   Μετακινήστε κάθε άρθρωση στη μέση του εύρους της, πατήστε Enter και, στη συνέχεια, σαρώστε την πλήρη της εμβέλεια. Το id γίνεται το όνομα αρχείου του προφίλ.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Τηλελειτουργία πριν από οποιαδήποτε καταγραφή

   Η δοκιμή αποδοχής για όλα τα παραπάνω. Εάν η τηλελειτουργία είναι ασταθής, αντικατοπτρισμένη ή μια άρθρωση δεν ακολουθεί, η καταγραφή το διατηρεί σε 50 επεισόδια.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Οι κάμερες αποφασίζουν τι βλέπει η πολιτική

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Δύο όψεις, και η θέση τους έχει σημασία: μια σταθερή κάμερα σκηνής που καλύπτει τον χώρο εργασίας, και μια κάμερα καρπού κοντά στο τελικό εκτελεστικό όργανο που δείχνει τι πρόκειται να αγγίξει η αρπάγη. Η λίστα ελέγχου των συνόλων δεδομένων της κοινότητας LeRobot ζητά κατά προτίμηση δύο όψεις στα 480x640 / 720p ή καλύτερα, ένα στατικό φόντο, ουδέτερο σταθερό φωτισμό, και το κύριο χέρι και τα ανθρώπινα άκρα εκτός κάδρου. Ο οδηγός καταγραφής προσθέτει τον εμπειρικό κανόνα: θα πρέπει να μπορείτε να εκτελέσετε την εργασία μόνοι σας κοιτάζοντας μόνο τις εικόνες της κάμερας.

Η εντολή record και κάθε σημαία

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Οι προεπιλογές παρακάτω προέρχονται από src/lerobot/configs/dataset.py στο main, όχι από ένα σεμινάριο. Αρκετές δεν είναι αυτές που υποθέτουν οι άνθρωποι.

Έλεγχος πληκτρολογίου κατά τη διάρκεια μιας συνεδρίας

• Δεξί βέλος ή n: τερματίστε το επεισόδιο ή επαναφέρετε τη φάση νωρίτερα. Το πλήκτρο που χρησιμοποιείτε περισσότερο, επειδή μια καθαρή σύλληψη σπάνια χρειάζεται 25 δευτερόλεπτα.
• Αριστερό βέλος ή r: απορρίψτε το επεισόδιο και επαναλάβετε το. Μια κακή λήψη δεν κοστίζει τίποτα τώρα και πολλά αργότερα.
• Escape ή q: σταματήστε τη συνεδρία, ολοκληρώστε την κωδικοποίηση, ανεβάστε.
• Αυτά λειτουργούν σε X11, Wayland και headless SSH: χωρίς καθολικό backend πλήκτρων, το lerobot-record διαβάζει τα ίδια πλήκτρα από το τερματικό ελέγχου. Τα γράμματα επιβιώνουν σε αργές συνδέσεις SSH, όπου οι ακολουθίες βελών διαχωρίζονται.
• Η τηλελειτουργία πληκτρολογίου είναι διαφορετική και χρειάζεται ένα καθολικό backend: X11, Windows, ή macOS με Προσβασιμότητα.

Πόσα επεισόδια, και πώς μοιάζει ένα καλό

Ο οδηγός καταγραφής προτείνει τουλάχιστον 50 επεισόδια για μια πρώτη εργασία, περίπου 10 ανά θέση αντικειμένου. Οι σελίδες πολιτικής αναφέρουν ένα ελάχιστο ανά μοντέλο, κάτω από το οποίο μια εκτέλεση δεν αξίζει τον χρόνο της GPU.

Η καλύτερη ερώτηση είναι πόσα από τι. Νόμοι Κλιμάκωσης Δεδομένων στην Εκμάθηση Μίμησης για Ρομποτική Χειραγώγηση (Lin et al., 2024) συνέλεξε πάνω από 40.000 επιδείξεις και πραγματοποίησε περισσότερες από 15.000 πραγματικές εκτελέσεις. Η γενίκευση ακολούθησε μια σχέση περίπου νόμου δύναμης με τον αριθμό των περιβαλλόντων και αντικειμένων, και πέρα από ένα όριο ανά περιβάλλον ή αντικείμενο, οι επιπλέον επιδείξεις είχαν ελάχιστη επίδραση. Σε ένα πάγκο: μετακινήστε το αντικείμενο, αλλάξτε τον φωτισμό, ανταλλάξτε τον κύβο, αντί να επαναλάβετε μία λήψη.

Ένα καλό επεισόδιο είναι βαρετό: επαναλαμβανόμενη αρχική πόζα, ένα πράγμα γίνεται, τελειώνει μόλις το αντικείμενο μπει στον κάδο, συμβολοσειρά εργασίας στους 25 έως 50 χαρακτήρες που συνιστά η λίστα ελέγχου. Pick the red cube and drop it in the box είναι μια συμβολοσειρά εργασίας· task1 είναι το αντι-μοτίβο που αναφέρει ρητά η λίστα ελέγχου. Οι ασαφείς σημειώσεις βρίσκονται στην κορυφή της λίστας προβλημάτων της, και έχουν τη μεγαλύτερη σημασία για μοντέλα όρασης-γλώσσας-δράσης, όπου η συμβολοσειρά είναι είσοδος μοντέλου, όχι όνομα αρχείου.

Ελαττώματα που καταστρέφουν αθόρυβα ένα σύνολο δεδομένων

Κανένα δεν προκαλεί εξαίρεση. Όλα επιβιώνουν στην εκπαίδευση, εμφανιζόμενα ως μια καμπύλη απώλειας που φαίνεται εντάξει και ένα ρομπότ που δεν κάνει τίποτα. Ελέγξτε ενώ η σκηνή είναι στημένη.

Μια προειδοποίηση: ο πίνακας του οδηγού streaming-encoding αναφέρει την προεπιλογή ως True, ενώ η dataclass στο main αναφέρει streaming_encoding: bool = False. Η τεκμηρίωση και ο κώδικας διαφωνούν, οπότε ορίστε το ρητά· το lerobot καταγράφει μια υπόδειξη που το συνιστά κάθε φορά που ξεκινά με την σημαία απενεργοποιημένη.

Ελέγξτε το σύνολο δεδομένων πριν νοικιάσετε μια GPU

Η δοκιμή αποδοχής από την τεκμηρίωση: συγκρίνετε τη διάρκεια του βίντεο με τη διάρκεια του επεισοδίου που ανέφερε το CLI, και επιβεβαιώστε ότι ο αριθμός των γραμμών ισούται με fps επί διάρκεια. Ανά επεισόδιο, όχι στο σύνολο.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Στη συνέχεια, δείτε το. lerobot-dataset-viz αναπαράγει ένα επεισόδιο καρέ-καρέ με ίχνη αρθρώσεων δίπλα στις προβολές της κάμερας, στο Rerun ή στο Foxglove. Οι εναλλαγμένες κάμερες και τα παγωμένα καρέ εμφανίζονται σε δέκα δευτερόλεπτα. Οι άνθρωποι παραλείπουν αυτό το βήμα.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 ή v3.0: αποφασίστε πριν την καταγραφή

Το v2.1 έγραφε ένα parquet και ένα MP4 ανά επεισόδιο. Το v3.0 συνενώνει πολλά επεισόδια σε κοινά shards και αναδομεί τα όρια από τα μεταδεδομένα, οπότε το info.json περιέχει πρότυπα διαδρομών όπως data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet αντί για έναν αριθμό επεισοδίου. Η αιτιολόγηση από την πηγή είναι λιγότερα, μεγαλύτερα αρχεία: ταχύτερη αρχικοποίηση και λιγότερη πίεση στο σύστημα αρχείων σε κλίμακα.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Δύο διαδρομές προς το ίδιο σύνολο δεδομένων

Από το σύνολο δεδομένων στην πολιτική

Πενήντα καθαρά επεισόδια τροφοδοτούν κάθε εκτέλεση εδώ. εκπαιδεύεται από την αρχή μόνο στην εργασία σας, περίπου 80 εκατομμύρια παραμέτρους με περίπου 20 ms ανά βήμα ενέργειας, το μόνο από τα πέντε που είναι άνετο με γρήγορη κίνηση. είναι περίπου 450 εκατομμύρια παράμετροι σε μια κάρτα 24 GB. είναι ένα μοντέλο βάσης περίπου 3 δισεκατομμυρίων παραμέτρων όπου αγγίζει περίπου 40 εκατομμύρια παραμέτρους, χρειάζεται μια A100 ή H100 και θέλει αυτό το σύνολο δεδομένων v2.1.

Στη συνέχεια, ο οδηγός για τον συνδυασμό σας: , ή · για μια πρώτη εκτέλεση, είναι συντομότερος. Όταν η πολιτική λειτουργεί στον πάγκο αλλά καταρρέει τη στιγμή που μετακινείτε το τραπέζι, αυτό είναι ένα πρόβλημα δεδομένων: και εμβαθύνουν στην ποικιλομορφία.