Spela in ditt första LeRobot-dataset med en SO-100

En SO-100-följare, en ledararm av samma design och två USB-kameror kan finjustera en policy på en eftermiddag. Samma testbänk kan lika enkelt producera sextio episoder som ser bra ut i en filbläddrare och slösa bort en sex timmars GPU-körning. Skillnaden är sällan modellen; det är vad som hände mellan servona och parquet-filen.

Här är den manuella vägen, sedan den kortare. Varje kommando är från lerobot 0.6.1, släppt 3 augusti 2026 och aktuell på PyPI. Den flyttades till konsolens ingångspunkter, så handledningar som kör python lerobot/scripts/control_robot.py beskriver en fil som inte längre existerar.

Vad en inspelningssession fångar

En LeRobot-dataset är inte en mapp med videor utan en tidsindexerad tabell med bifogad video: varje kontroll-loop-tick skriver en rad som innehåller den beordrade åtgärden, tillståndet som följaren nådde, en bildruta per kamera, en tidsstämpel och index. Policyn ser endast dessa kolumner. Schemat för lerobot/svla_so100_pickplace, läst från dess meta/info.json.

Lederna är main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll och main_gripper: SO-100:s sex frihetsgrader. Åtgärd och tillstånd delar en form eftersom ledar-följar-teleoperation registrerar ett mål och positionen som nåddes ett steg senare. Denna lucka är information: var armen kämpade mot gravitationen eller ett fastnat föremål. Dessa strängar tillhör det datasetet. En session inspelad med 0.6.1 idag skriver shoulder_pan.pos till gripper.pos, id 1 till 6 på bussen: samma sex leder, olika nycklar, vilket spelar roll i det ögonblick en konfiguration adresserar en funktion med namn.

Vad du behöver på arbetsbänken

Om armen inte är byggd än, är det en separat kväll: börja på Komma igång med SO-100 och den kompletta installationsguiden för SO-100. Om du inte har köpt något, läs jämförelsen mellan SO-100 och SO-101 först: SO-101 är den nyare revisionen med förbättrad kabeldragning och inget steg för att ta bort växlar, och inspelningsflödet är identiskt.

Installera lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Tillägg är det som oftast ställer till det. pip install lerobot installerar endast kärn-ML-beroenden, inget som kommunicerar med en robot. Koch-armar behöver dynamixel istället för feetech. Om din shell aldrig har hört talas om lerobot-record, är det därför.

Portar, motor-ID:n och kalibrering

Tre engångssteg skiljer delarna från en fungerande teleop-loop. gör att en policy tränad på din arm kan köras på någon annans, genom att mappa råa pulsgivarvärden till en gemensam ledkonvention.

1. 1
   Hitta USB-porten för varje arm

   Kör det med båda armarna inkopplade, koppla ur den du identifierar när du uppmanas, och notera vilken port som försvinner. På Linux kan du behöva sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Skriv motor-ID:n och baudrates

   ID:n skrivs en motor i taget, och dokumentationen är strikt om hur: anslut exakt en motor till styrkortet, ännu inte seriekopplad med någon annan. Skriptet går baklänges genom kedjan, frågar efter griparen först och ger den ID 6, sedan wrist_roll som 5, ner till shoulder_pan som 1. Gör detta före montering.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibrera båda armarna

   Flytta varje led till mitten av dess rörelseområde, tryck Enter, och svep sedan varje led genom dess fulla rörelseområde. id blir profilens filnamn.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperera före inspelning

   Acceptanstestet för allt ovan. Om teleoperationen är ryckig, spegelvänd, eller om en led inte följer, bevaras detta i 50 episoder vid inspelning.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameror avgör vad policyn ser

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Två vyer, och var de sitter spelar roll: en fast scenkamera som täcker arbetsytan, och en handledskamera nära gripdonet som visar vad griparen är på väg att röra. LeRobots checklista för community-dataset efterfrågar helst två vyer på 480x640 / 720p eller bättre, en statisk bakgrund, neutral stabil belysning, samt att ledararmen och mänskliga lemmar är utanför bild. Inspelningsguiden lägger till tumregeln: du ska kunna utföra uppgiften själv genom att bara titta på kamerabilderna.

Kommandot record och alla flaggor

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Standardvärdena nedan kommer från src/lerobot/configs/dataset.py på main, inte en handledning. Flera är inte vad folk antar.

Tangentbordskontroll under en session

• Högerpil eller n: avsluta episoden eller återställ fasen tidigt. Tangenten du använder mest, eftersom ett rent grepp sällan behöver 25 sekunder.
• Vänsterpil eller r: kasta episoden och gör om den. Ett dåligt försök kostar inget nu och mycket senare.
• Escape eller q: stoppa sessionen, slutför kodning, ladda upp.
• Dessa fungerar på X11, Wayland och headless SSH: utan en global tangentbordsbackend läser lerobot-record samma tangenter från den kontrollerande terminalen. Bokstäverna överlever fördröjda SSH-länkar, där pilsekvenser delas.
• Tangentbords-teleoperation är annorlunda och behöver en global backend: X11, Windows, eller macOS med Accessibility.

Hur många episoder, och hur en bra sådan ser ut

Inspelningsguiden föreslår minst 50 episoder för en första uppgift, cirka 10 per objektplats. policysidorna listar ett minimum per modell, under vilket en körning inte är värd GPU-tiden.

Den bättre frågan är hur många av vad. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) samlade in över 40 000 demonstrationer och körde mer än 15 000 verkliga rollouts. Generaliseringen följde ett ungefärligt potenslagförhållande med antalet miljöer och objekt, och efter en tröskel per miljö eller objekt hade ytterligare demonstrationer minimal effekt. På en testbänk: flytta objektet, ändra belysningen, byt kuben, snarare än att upprepa en tagning.

En bra episod är tråkig: repeterbar hemposition, en sak gjord, avslutad när objektet är i behållaren, uppgiftssträng på 25 till 50 tecken som checklistan rekommenderar. Plocka den röda kuben och släpp den i lådan är en uppgiftssträng; task1 är anti-mönstret som checklistan uttryckligen nämner. Vaga anteckningar toppar dess lista över problem, och de är viktigast för , där strängen är en modellinput, inte ett filnamn.

Defekter som tyst förstör ett dataset

Ingen kastar ett undantag. Alla överlever in i träningen och visar sig som en förlustkurva som ser bra ut och en robot som inte gör någonting. Kontrollera medan scenen är uppsatt.

En varning: tabellen i guiden för streaming-kodning listar standardvärdet som True, medan dataklassen på main läser streaming_encoding: bool = False. Dokumentation och kod skiljer sig åt, så ställ in det explicit; lerobot loggar en rekommendation närhelst det startar med flaggan avstängd.

Kontrollera datasetet innan du hyr en GPU

Acceptanstestet från dokumentationen: jämför videons längd med avsnittets längd som CLI rapporterade, och bekräfta att antalet rader är lika med fps gånger längden. Per avsnitt, inte på totalen.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Titta sedan på den. lerobot-dataset-viz spelar upp en episod bildruta för bildruta med ledspår bredvid kameravyerna, i Rerun eller Foxglove. Utbytta kameror och frysta bildrutor dyker upp inom tio sekunder. Folk hoppar över det här steget.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 eller v3.0: bestäm dig innan du spelar in

v2.1 skrev en parquet- och en MP4-fil per episod. v3.0 sammanfogar många episoder till delade shards och återskapar gränser från metadata, så info.json innehåller sökvägsmallar som data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet istället för ett episodnummer. Den bakomliggande motiveringen är färre, större filer: snabbare initialisering och mindre filsystemstryck i stor skala.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Två vägar till samma dataset

Från dataset till policy

Femtio rena episoder matar varje körning här. tränar från grunden på din uppgift ensam, cirka 80 M parametrar vid ungefär 20 ms per åtgärdssteg, den enda av de fem som är bekväm med snabb rörelse. är cirka 450 M parametrar på ett 24 GB-kort. är en ungefär 3 B parameter grundmodell där rör vid cirka 40 M parametrar, behöver en A100 eller H100, och vill ha det v2.1-datasetet.

Därefter, guiden för din kombination: , eller ; för en första körning, är kortare. När policyn fungerar på bänken men kollapsar i samma ögonblick som du flyttar bordet, då är det ett dataproblem: och går djupare in på mångfald.