Neem je eerste LeRobot-dataset op met een SO-100

Een SO-100 volger, een leiderarm van hetzelfde ontwerp en twee USB-camera's kunnen een beleid in een middag verfijnen. Dezelfde opstelling kan even gemakkelijk zestig afleveringen produceren die er gezond uitzien in een bestandsbrowser en een GPU-run van zes uur verspillen. Het verschil zit zelden in het model; het is wat er gebeurde tussen de servo's en het parquet-bestand.

Hier is de handmatige route, dan de kortere. Elke opdracht is van lerobot 0.6.1, uitgebracht op 3 augustus 2026 en actueel op PyPI. Het is verplaatst naar console entry points, dus tutorials die python lerobot/scripts/control_robot.py uitvoeren, beschrijven een bestand dat niet langer bestaat.

Wat een opnamesessie vastlegt

Een LeRobot dataset is geen map met video's, maar een tijdgeïndexeerde tabel met bijbehorende video: elke control-loop tick schrijft één rij met de gecommandeerde actie, de toestand die de volger bereikte, één frame per camera, een tijdstempel en indexen. Het beleid ziet alleen die kolommen. Het schema van lerobot/svla_so100_pickplace, gelezen uit zijn meta/info.json.

De gewrichten zijn main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll en main_gripper: de zes vrijheidsgraden van de SO-100. Actie en toestand delen een vorm omdat leider-volger teleoperatie een doel en de één stap later bereikte positie registreert. Die kloof is informatie: waar de arm vocht tegen de zwaartekracht of een vastzittend object. Die strings zijn van die dataset. Een sessie opgenomen met 0.6.1 vandaag schrijft shoulder_pan.pos tot en met gripper.pos, ids 1 tot 6 op de bus: dezelfde zes gewrichten, verschillende sleutels, wat van belang is zodra een configuratie een feature bij naam aanspreekt.

Wat je nodig hebt op de werkbank

Als de arm nog niet is gebouwd, is dat een aparte avond: begin bij SO-100 aan de slag en de complete SO-100 installatiegids. Als je nog niets hebt gekocht, lees dan eerst de SO-100 versus SO-101 vergelijking eerst: de SO-101 is de nieuwere revisie met verbeterde bedrading en zonder de stap van het verwijderen van tandwielen, en de opnameworkflow is identiek.

Installeer lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Extra's zijn voor de meeste mensen het lastigst. pip install lerobot installeert alleen de kern ML-afhankelijkheden, niets dat met een robot communiceert. Koch-armen hebben dynamixel in plaats van feetech. Als je shell nog nooit van lerobot-record heeft gehoord, is dit de reden.

Poorten, motor-ID's en kalibratie

Drie eenmalige stappen staan tussen onderdelen en een werkende teleop-lus. zorgt ervoor dat een beleid dat op jouw arm is getraind, op die van iemand anders kan draaien, door ruwe encoderwaarden te koppelen aan een gedeelde gewrichtsconventie.

1. 1
   Vind de USB-poort van elke arm

   Voer het uit met beide armen aangesloten, koppel de arm die je identificeert los wanneer daarom wordt gevraagd, en noteer welke poort verdwijnt. Op Linux heb je mogelijk sudo chmod 666 /dev/ttyACM0 nodig.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Schrijf motor-ID's en baudrates

   ID's worden één motor tegelijk geschreven, en de documentatie is strikt over hoe: sluit precies één motor aan op de controllerkaart, nog niet doorgelust naar een andere. Het script loopt de keten achterwaarts af, vraagt eerst naar de grijper en geeft deze ID 6, dan wrist_roll als 5, tot aan shoulder_pan als 1. Doe dit vóór de montage.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibreer beide armen

   Beweeg elk gewricht naar het midden van zijn bereik, druk op Enter en beweeg vervolgens elk gewricht door zijn volledige bereik. De id wordt de profielbestandsnaam.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleopereer vóór het opnemen van iets

   De acceptatietest voor al het bovenstaande. Als teleoperatie schokkerig is, gespiegeld, of als één gewricht niet volgt, wordt dat vastgelegd in 50 episodes.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Camera's bepalen wat het beleid waarneemt

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Twee weergaven, en hun positie is belangrijk: een vaste scènecamera die de werkruimte bestrijkt, en een polscamera dicht bij de eindeffector die laat zien wat de grijper gaat aanraken. De LeRobot community-datasets checklist vraagt om bij voorkeur twee weergaven van 480x640 / 720p of beter, een statische achtergrond, neutrale stabiele verlichting, en de leiderarm en menselijke ledematen buiten beeld. De opnamegids voegt de vuistregel toe: je moet de taak zelf kunnen uitvoeren door alleen naar de camerabeelden te kijken.

Het record-commando en elke vlag

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

De onderstaande standaardwaarden komen uit src/lerobot/configs/dataset.py op main, niet uit een tutorial. Verschillende zijn niet wat mensen aannemen.

Toetsenbordbediening tijdens een sessie

• Pijl naar rechts of n: beëindig de aflevering of reset de fase vroegtijdig. De toets die u het meest gebruikt, omdat een schone greep zelden 25 seconden nodig heeft.
• Pijl naar links of r: verwijder de aflevering en doe het opnieuw. Een slechte opname kost nu niets en later veel.
• Escape of q: stop de sessie, voltooi de codering, upload.
• Deze werken op X11, Wayland en headless SSH: zonder globale toetsenbackend leest lerobot-record dezelfde toetsen van de controlerende terminal. De letters overleven trage SSH-verbindingen, waar pijlenreeksen splitsen.
• Toetsenbord teleoperatie is anders en heeft wel een globale backend nodig: X11, Windows, of macOS met Toegankelijkheid.

Hoeveel afleveringen, en hoe een goede eruitziet

De opnamegids stelt minstens 50 afleveringen voor voor een eerste taak, ongeveer 10 per objectlocatie. De beleidspagina's vermelden een minimum per model, waaronder een run de GPU-tijd niet waard is.

De betere vraag is hoeveel van wat. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) verzamelden meer dan 40.000 demonstraties en voerden meer dan 15.000 real-world rollouts uit. Generalisatie volgde een ruwweg machtswetrelatie met het aantal environments and objects, en voorbij een drempel per omgeving of object hadden extra demonstraties een minimaal effect. Op één testbank: verplaats het object, verander de belichting, verwissel de kubus, in plaats van één opname te herhalen.

Een goede episode is saai: herhaalbare thuispositie, één ding gedaan, beëindigd zodra het object in de bak ligt, taakstring van 25 tot 50 tekens zoals de checklist aanbeveelt. Pak de rode kubus en leg deze in de doos is een taakstring; task1 is het anti-patroon dat de checklist expliciet noemt. Vage annotaties staan bovenaan de lijst met problemen, en ze zijn het belangrijkst voor visie-taal-actiemodellen, waarbij de string een modelinvoer is, niet een bestandsnaam.

Defecten die stilletjes een dataset ruïneren

Geen enkele werpt een uitzondering op. Ze overleven allemaal de training en manifesteren zich als een verliescurve die er goed uitziet en een robot die niets doet. Controleer terwijl de scène is opgezet.

Eén kanttekening: de tabel van de streaming-encoding gids vermeldt de standaardwaarde als True, terwijl de dataclass op main leest streaming_encoding: bool = False. Documentatie en code komen niet overeen, dus stel het expliciet in; lerobot logt een hint die dit aanbeveelt wanneer het start met de vlag uitgeschakeld.

Controleer de dataset voordat je een GPU huurt

De acceptatietest uit de documentatie: vergelijk de videoduur met de episode-duur die de CLI rapporteerde, en bevestig dat het aantal rijen gelijk is aan fps maal duur. Per episode, niet op het totaal.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Bekijk het dan. lerobot-dataset-viz speelt een aflevering frame voor frame af met gewrichtstraceringen naast de camerabeelden, in Rerun of Foxglove. Verwisselde camera's en bevroren frames verschijnen binnen tien seconden. Mensen slaan deze stap over.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 of v3.0: beslis voordat u opneemt

v2.1 schreef één parquet en één MP4 per aflevering. v3.0 voegt veel afleveringen samen in gedeelde shards en herbouwt grenzen vanuit metadata, dus info.json bevat padtemplates zoals data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet in plaats van een afleveringsnummer. De onderliggende rechtvaardiging is minder, grotere bestanden: snellere initialisatie en minder druk op het bestandssysteem op schaal.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Twee routes naar dezelfde dataset

Van dataset naar beleid

Vijftig schone episodes voeden elke uitvoering hier. traint vanaf nul aan uw taak alleen, ongeveer 80 M parameters met ruwweg 20 ms per actiestap, de enige van de vijf die comfortabel is met snelle beweging. is ongeveer 450 M parameters op een 24 GB kaart. is een ruwweg 3 B parameter fundamenteel model waar ongeveer 40 M parameters aanraakt, een A100 of H100 nodig heeft, en die v2.1 dataset wil.

Vervolgens, de gids voor uw combinatie: , of ; voor een eerste uitvoering, is korter. Wanneer het beleid op de testbank werkt maar instort zodra u de tafel beweegt, is dat een dataprobbleem: en gaan dieper in op diversiteit.