Neem Jou Eerste LeRobot Datastel Op Met 'n SO-100

'n SO-100 volger, 'n leierarm van dieselfde ontwerp en twee USB-kameras kan 'n beleid in 'n middag fyninstel. Dieselfde bank kan net so maklik sestig episodes produseer wat gesond lyk in 'n lêerblaaier en 'n ses-uur GPU-lopie vermors. Die verskil is selde die model; dit is wat tussen die servos en die parquet-lêer gebeur het.

Hier is die handmatige roete, dan die korter een. Elke opdrag is van lerobot 0.6.1, vrygestel op 3 Augustus 2026 en tans op PyPI. Dit het na konsole-toegangspunte verskuif, so tutoriale wat loop python lerobot/scripts/control_robot.py beskryf 'n lêer wat nie meer bestaan nie.

Wat 'n opnamesessie vasvang

'n LeRobot-datastel is nie 'n vouer van video's nie, maar 'n tyd-geïndekseerde tabel met video aangeheg: elke beheerlus-tik skryf een ry wat die bevalde aksie, die toestand wat die volger bereik het, een raam per kamera, 'n tydstempel en indekse bevat. Die beleid sien slegs daardie kolomme. Die skema van lerobot/svla_so100_pickplace, gelees uit sy meta/info.json.

Die gewrigte is main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll en main_gripper: die SO-100 se ses vryheidsgrade. Aksie en toestand deel 'n vorm omdat leier-volger teleoperasie 'n teiken en die posisie wat een stap later bereik is, opneem. Daardie gaping is inligting: waar die arm teen swaartekrag of 'n vasgesteekte voorwerp geveg het. Daardie stringe is dié van daardie datastel. 'n Sessie wat vandag met 0.6.1 opgeneem is, skryf shoulder_pan.pos tot gripper.pos, ID's 1 tot 6 op die bus: dieselfde ses gewrigte, verskillende sleutels, wat saak maak sodra 'n konfigurasie 'n kenmerk by naam aanspreek.

Wat jy op die bank benodig

As die arm nog nie gebou is nie, is dit 'n aparte aand: begin by SO-100 begin en die volledige SO-100 opstelgids. As jy nog niks gekoop het nie, lees eers die SO-100 teen SO-101 vergelyking eerste: die SO-101 is die nuwer hersiening met verbeterde bedrading en geen ratverwyderingstap nie, en die opname-werkvloei is identies.

Installeer lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Ekstras veroorsaak die meeste probleme. pip install lerobot installeer slegs kern ML-afhanklikhede, niks wat met 'n robot praat nie. Koch-arms benodig dynamixel in plaas van feetech. As jou dop nog nooit van lerobot-record gehoor het nie, is dit hoekom.

Poorte, motor-ID's en kalibrasie

Drie eenmalige stappe staan tussen onderdele en 'n werkende teleop-lus. laat 'n beleid wat op jou arm opgelei is, op iemand anders s'n loop, deur rou enkodeerderwaardes na 'n gedeelde gewrigskonvensie te karteer.

1. 1
   Vind die USB-poort van elke arm

   Loop dit met albei arms ingeprop, ontkoppel die een wat jy identifiseer wanneer gevra word, en let op watter poort verdwyn. Op Linux mag jy sudo chmod 666 /dev/ttyACM0 benodig.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Skryf motor-ID's en baudrates

   ID's word een motor op 'n slag geskryf, en die dokumentasie is streng oor hoe: koppel presies een motor aan die beheerderbord, nog nie aan enige ander gekoppel nie. Die skrip loop die ketting agteruit, vra eers vir die gryper en gee dit ID 6, dan wrist_roll as 5, af na shoulder_pan as 1. Doen dit voor montering.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibreer albei arms

   Beweeg elke gewrig na die middel van sy omvang, druk Enter, en beweeg dan elkeen deur sy volle omvang. Die id word die profiellêernaam.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleopereer voor enige opname

   Die aanvaardingstoets vir alles hierbo. As teleoperasie rukkerig, gespieël is, of een gewrig nie sal volg nie, bewaar opname dit in 50 episodes.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameras besluit wat die beleid sien

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Twee aansigte, en waar hulle sit maak saak: 'n vaste toneelkamera wat die werkspasie dek, en 'n polskamera naby die eindeffektor wat wys wat die gryper gaan aanraak. Die LeRobot gemeenskapsdataskema-kontrolelys vra vir verkieslik twee aansigte teen 480x640 / 720p of beter, 'n statiese agtergrond, neutrale stabiele beligting, en die leierarm en menslike ledemate buite die raam. Die opnamegids voeg die duimreël by: jy moet die taak self kan doen deur slegs na die kamerabeelde te kyk.

Die opneem-opdrag en elke vlag

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Die verstekwaardes hieronder kom van src/lerobot/configs/dataset.py op hoof, nie 'n tutoriaal nie. Verskeie is nie wat mense aanneem nie.

Sleutelbordbeheer tydens 'n sessie

• Regspyltjie of n: beëindig die episode of herstel fase vroeg. Die sleutel wat jy die meeste gebruik, want 'n skoon greep benodig selde 25 sekondes.
• Linkspyltjie of r: verwerp die episode en doen dit oor. 'n Slegte opname kos nou niks en later baie.
• Escape of q: stop die sessie, voltooi kodering, laai op.
• Hierdie werk op X11, Wayland en koplose SSH: sonder 'n globale sleutel-backend, lees lerobot-record dieselfde sleutels vanaf die beheerterminal. Die letters oorleef trae SSH-skakels, waar pyltjie-reekse verdeel.
• Sleutelbord-teleoperasie is anders en benodig wel 'n globale backend: X11, Windows, of macOS met Toeganklikheid.

Hoeveel episodes, en hoe 'n goeie een lyk

Die opnamegids stel ten minste 50 episodes voor vir 'n eerste taak, ongeveer 10 per objekligging. Die beleidsbladsye lys 'n minimum per model, waaronder 'n uitvoering nie die GPU-tyd werd is nie.

Die beter vraag is hoeveel van wat. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) het meer as 40 000 demonstrasies versamel en meer as 15 000 werklike uitvoerings gedoen. Veralgemening het 'n rofweg magswet-verwantskap gevolg met die aantal environments and objects, en verby 'n drempel per omgewing of objek, het addisionele demonstrasies minimale effek gehad. Op een bank: skuif die objek, verander die beligting, ruil die kubus, eerder as om een opname te herhaal.

'n Goeie episode is vervelig: herhaalbare tuisposisie, een ding gedoen, geëindig sodra die voorwerp in die houer is, taakstring in die 25 tot 50 karakters wat die kontrolelys aanbeveel. Tel die rooi kubus op en los dit in die boks is 'n taakstring; task1 is die teenpatroon wat die kontrolelys eksplisiet noem. Vaag annotasies is boaan die lys van probleme, en dit is die belangrikste vir visie-taal-aksie modelle, waar die string 'n modelinvoer is, nie 'n lêernaam nie.

Defekte wat 'n datastel stilweg vernietig

Geen gooi 'n uitsondering nie. Almal oorleef tot in opleiding, en verskyn as 'n verlieskurwe wat goed lyk en 'n robot wat niks doen nie. Kontroleer terwyl die toneel opgestel word.

Een voorbehoud: die stroom-enkoderinggids se tabel lys die verstek as True, terwyl die dataklas op hoof lees streaming_encoding: bool = False. Dokumente en kode stem nie ooreen nie, stel dit dus eksplisiet; lerobot teken 'n wenk aan wat dit aanbeveel wanneer dit met die vlag af begin.

Kontroleer die datastel voordat 'n GPU gehuur word

Die aanvaardingstoets uit die dokumente: vergelyk video-duur met die episode-duur wat die CLI gerapporteer het, en bevestig dat die ry-telling gelyk is aan fps maal duur. Per episode, nie op die totaal nie.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Kyk dan daarna. lerobot-dataset-viz speel 'n episode raam vir raam af met gewrigspore langs die kamera-aansigte, in Rerun of Foxglove. Verwisselde kameras en bevrore rame verskyn binne tien sekondes. Mense slaan hierdie stap oor.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 of v3.0: besluit voordat jy opneem

v2.1 het een parquet en een MP4 per episode geskryf. v3.0 voeg baie episodes saam in gedeelde skerwe en herbou grense van metadata, so info.json dra padtemplates soos data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet in plaas van 'n episode-nommer. Die stroomop-regverdiging is minder, groter lêers: vinniger inisialisering en minder lêerstelseldruk op skaal.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Twee roetes na dieselfde datastel

Van datastel na beleid

Vyftig skoon episodes voed elke lopie hier. lei van nuuts af op jou taak alleen, ongeveer 80 M parameters teen ongeveer 20 ms per aksiestap, die enigste een van die vyf wat gemaklik is met vinnige beweging. is ongeveer 450 M parameters op 'n 24 GB kaart. is 'n ongeveer 3 B parameter grondslagmodel waar ongeveer 40 M parameters raak, 'n A100 of H100 benodig, en daardie v2.1 datastel wil hê.

Vervolgens, die gids vir jou kombinasie: , of ; vir 'n eerste lopie, is korter. Wanneer die beleid op die bank werk, maar ineenstort sodra jy die tafel skuif, is dit 'n dataprobbleem: en gaan dieper in op diversiteit.