Optag dit første LeRobot-datasæt med en SO-100

En SO-100 følger, en lederarm af samme design og to USB-kameraer kan finjustere en politik på en eftermiddag. Den samme testbænk kan lige så nemt producere tres episoder, der ser sunde ud i en filbrowser og spilde en seks-timers GPU-kørsel. Forskellen er sjældent modellen; det er, hvad der skete mellem servoerne og parquet-filen.

Her er den manuelle rute, derefter den kortere. Hver kommando er fra lerobot 0.6.1, udgivet 3. august 2026 og aktuel på PyPI. Den flyttede til konsolindgangspunkter, så tutorials, der kører python lerobot/scripts/control_robot.py beskriver en fil, der ikke længere eksisterer.

Hvad en optagelsessession fanger

Et LeRobot datasæt er ikke en mappe med videoer, men en tidsindekseret tabel med vedhæftet video: hvert kontrolsløjfe-tick skriver én række, der indeholder den kommanderende handling, den tilstand, følgeren nåede, én ramme per kamera, et tidsstempel og indekser. Politikken ser kun disse kolonner. Skemaet for lerobot/svla_so100_pickplace, læst fra dens meta/info.json.

Leddene er main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll og main_gripper: SO-100's seks frihedsgrader. Handling og tilstand deler en form, fordi leder-følger teleoperation registrerer et mål og den position, der blev nået et skridt senere. Dette mellemrum er information: hvor armen kæmpede mod tyngdekraften eller et fastsiddende objekt. Disse strenge er datasættets. En session optaget med 0.6.1 i dag skriver shoulder_pan.pos til gripper.pos, ID'er 1 til 6 på bussen: samme seks led, forskellige nøgler, hvilket er vigtigt i det øjeblik en konfiguration adresserer en funktion ved navn.

Hvad du skal bruge på arbejdsbordet

Hvis armen ikke er bygget endnu, er det en separat aften: start med SO-100 introduktion og den komplette SO-100 opsætningsguide. Hvis du ikke har købt noget, læs SO-100 mod SO-101 sammenligning først: SO-101 er den nyere revision med forbedret ledningsføring og intet trin med fjernelse af gear, og optagelsesworkflowet er identisk.

Installer lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Ekstraudstyr forvirrer de fleste. pip install lerobot installerer kun kerne ML-afhængigheder, intet der taler med en robot. Koch-arme kræver dynamixel i stedet for feetech. Hvis din shell aldrig har hørt om lerobot-record, er det derfor.

Porte, motor-ID'er og kalibrering

Tre engangstrin står mellem dele og en fungerende teleop-loop. får en politik trænet på din arm til at køre på en andens, idet rå encoder-tællinger mappes til en fælles ledkonvention.

1. 1
   Find USB-porten for hver arm

   Kør den med begge arme tilsluttet, træk stikket ud af den, du identificerer, når du bliver bedt om det, og bemærk hvilken port der forsvinder. På Linux skal du muligvis bruge sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Skriv motor-ID'er og baudrater

   ID'er skrives én motor ad gangen, og dokumentationen er streng med hensyn til hvordan: tilslut præcis én motor til controllerkortet, endnu ikke seriekoblet til nogen anden. Scriptet gennemgår kæden baglæns, beder først om griberen og giver den id 6, derefter wrist_roll som 5, ned til shoulder_pan som 1. Gør det før samling.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibrer begge arme

   Flyt hvert led til midten af dets bevægelsesområde, tryk Enter, og før derefter hvert led gennem dets fulde bevægelsesområde. id bliver profilfilnavnet.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperer før du optager noget

   Acceptancetesten for alt ovenstående. Hvis teleoperationen er hakkende, spejlvendt, eller et led ikke følger med, bevares dette i 50 episoder ved optagelse.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameraer bestemmer, hvad politikken ser

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

To visninger, og hvor de er placeret, er vigtigt: et fast scenekamera, der dækker arbejdsområdet, og et håndledskamera nær end-effektor der viser, hvad griberen er ved at røre. LeRobot-fællesskabsdatasæt-tjeklisten beder om helst to visninger ved 480x640 / 720p eller bedre, en statisk baggrund, neutral stabil belysning og lederarmen og menneskelige lemmer uden for billedet. Optageguiden tilføjer tommelfingerreglen: du skal selv kunne udføre opgaven ved kun at se på kamerabillederne.

Kommandoen `record` og alle flag

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Standardværdierne nedenfor kommer fra src/lerobot/configs/dataset.py på main, ikke en tutorial. Flere er ikke, hvad folk antager.

Tastaturkontrol under en session

• Højre pil eller n: afslut episoden eller nulstil fasen tidligt. Den tast du bruger mest, da et rent greb sjældent kræver 25 sekunder.
• Venstre pil eller r: forkast episoden og gentag den. En dårlig optagelse koster intet nu og meget senere.
• Escape eller q: stop sessionen, afslut kodning, upload.
• Disse virker på X11, Wayland og headless SSH: uden en global tastatur-backend læser lerobot-record de samme taster fra den kontrollerende terminal. Bogstaverne overlever langsomme SSH-forbindelser, hvor piletastsekvenser splittes.
• Tastatur-teleoperation er anderledes og kræver en global backend: X11, Windows eller macOS med Tilgængelighed.

Hvor mange episoder, og hvordan en god en ser ud

Optageguiden foreslår mindst 50 episoder til en første opgave, cirka 10 per objektplacering. De politik-siderne lister et minimum per model, under hvilket en kørsel ikke er GPU-tiden værd.

Det bedre spørgsmål er, hvor mange af hvad. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) indsamlede over 40.000 demonstrationer og udførte mere end 15.000 real-world rollouts. Generalisering fulgte en omtrentlig potenslovsrelation med antallet af miljøer og objekter, og efter en tærskel per miljø eller objekt havde yderligere demonstrationer minimal effekt. På én testbænk: flyt objektet, skift belysningen, byt terningen, snarere end at gentage én optagelse.

En god episode er kedelig: gentagelig hjemmeposition, én ting udført, afsluttet når objektet er i beholderen, opgavestreng på 25 til 50 tegn som tjeklisten anbefaler. Pick the red cube and drop it in the box er en opgavestreng; task1 er anti-mønsteret, som tjeklisten eksplicit nævner. Vage annotationer topper listen over problemer, og de er vigtigst for , hvor strengen er en modelinput, ikke et filnavn.

Fejl der stille og roligt ødelægger et datasæt

Ingen kaster en undtagelse. Alle overlever til træning og viser sig som en tabskurve, der ser fin ud, og en robot, der intet gør. Tjek mens scenen er sat op.

En advarsel: streaming-encoding-guidens tabel angiver standardværdien som True, mens dataclassen på main læser streaming_encoding: bool = False. Dokumentation og kode er uenige, så sæt den eksplicit; lerobot logger et tip, der anbefaler det, hver gang den starter med flaget slået fra.

Tjek datasættet, før du lejer en GPU

Acceptancetesten fra dokumentationen: sammenlign videoens varighed med den episodevarighed, CLI'en rapporterede, og bekræft, at rækkeantallet svarer til fps gange varighed. Per episode, ikke på totalen.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Se derefter på det. lerobot-dataset-viz afspiller en episode frame for frame med ledspor ved siden af kameravisningerne, i Rerun eller Foxglove. Ombyttede kameraer og frosne billeder dukker op på ti sekunder. Folk springer dette trin over.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 eller v3.0: beslut før du optager

v2.1 skrev én parquet og én MP4 per episode. v3.0 samler mange episoder i delte shards og genopbygger grænser fra metadata, så info.json indeholder stiskabeloner som data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet i stedet for et episodenummer. Den bagvedliggende begrundelse er færre, større filer: hurtigere initialisering og mindre filsystemtryk i stor skala.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

To veje til det samme datasæt

Fra datasæt til politik

Halvtreds rene episoder føder hver imitationslæring kørsel her. ACT træner fra bunden på din opgave alene, omkring 80 M parametre ved cirka 20 ms pr. handlingstrin, den eneste af de fem, der er komfortabel med hurtig bevægelse. SmolVLA er omkring 450 M parametre på et 24 GB kort. GR00T N1.7 er en grundmodel med cirka 3 B parametre, hvor finjustering berører omkring 40 M parametre, kræver en A100 eller H100 og ønsker det v2.1 datasæt.

Dernæst, guiden til din kombination: ACT på SO-100, SmolVLA på SO-100 eller GR00T N1.7 på SO-100; for en første kørsel, træn din første politik er kortere. Når politikken virker på testbænken, men kollapser i det øjeblik du flytter bordet, er det et dataproblem: politik virker kun i én opsætning og indsamling af VLA-træningsdata af høj kvalitet går dybere ind i diversitet.