Spill inn ditt første LeRobot datasett med en SO-100

En SO-100 følger, en lederarm av samme design og to USB-kameraer kan finjustere en policy på en ettermiddag. Samme testbenk kan like enkelt produsere seksti episoder som ser sunne ut i en filutforsker og kaste bort en seks-timers GPU-kjøring. Forskjellen er sjelden modellen; det er hva som skjedde mellom servoene og parquet-filen.

Her er den manuelle ruten, deretter den kortere. Hver kommando er fra lerobot 0.6.1, utgitt 3. august 2026 og gjeldende på PyPI. Den flyttet til konsoll-inngangspunkter, så veiledninger som kjører python lerobot/scripts/control_robot.py beskriver en fil som ikke lenger eksisterer.

Hva en opptaksøkt fanger

Et LeRobot datasett er ikke en mappe med videoer, men en tidsindeksert tabell med vedlagt video: hver kontrollsløyfe-tick skriver én rad som inneholder den kommanderte handlingen, tilstanden følgeren nådde, én ramme per kamera, et tidsstempel og indekser. Politikken ser bare disse kolonnene. Skjemaet for lerobot/svla_so100_pickplace, lest fra dens meta/info.json.

Leddene er main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll og main_gripper: SO-100s seks frihetsgrader. Handling og tilstand deler form fordi leder-følger teleoperasjon registrerer et mål og posisjonen nådd ett trinn senere. Dette gapet er informasjon: hvor armen kjempet mot tyngdekraften eller et fastkjørt objekt. Disse strengene tilhører det datasettet. En økt registrert med 0.6.1 i dag skriver shoulder_pan.pos til gripper.pos, ID-er 1 til 6 på bussen: samme seks ledd, forskjellige nøkler, noe som betyr noe i det øyeblikket en konfigurasjon adresserer en funksjon ved navn.

Hva du trenger på benken

Hvis armen ikke er bygget ennå, er det en egen kveld: start på og . Hvis du ikke har kjøpt noe, les først: SO-101 er den nyere revisjonen med forbedret kabling og ingen fjerning av gir, og opptaksarbeidsflyten er identisk.

Installer lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Ekstrautstyr forvirrer folk mest. pip install lerobot installerer kun kjerne ML-avhengigheter, ingenting som snakker med en robot. Koch-armer trenger dynamixel i stedet for feetech. Hvis skallet ditt aldri har hørt om lerobot-record, er dette grunnen.

Porter, motor-ID-er og kalibrering

Tre engangstrinn står mellom deler og en fungerende teleop-sløyfe. gjør at en policy trent på din arm kan kjøre på en annens, ved å mappe rå encoder-tellinger til en felles leddkonvensjon.

1. 1
   Finn USB-porten til hver arm

   Kjør den med begge armene tilkoblet, koble fra den du identifiserer når du blir bedt om det, og noter hvilken port som forsvinner. På Linux kan du trenge sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Skriv motor-ID-er og baudrater

   ID-er skrives én motor om gangen, og dokumentasjonen er streng på hvordan: koble nøyaktig én motor til kontrollerkortet, ikke enda seriekoblet til noen annen. Skriptet går bakover i kjeden, ber om griperen først og gir den ID 6, deretter wrist_roll som 5, ned til shoulder_pan som 1. Gjør det før montering.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibrer begge armene

   Flytt hvert ledd til midten av sitt bevegelsesområde, trykk Enter, og sveip deretter hvert ledd gjennom hele sitt bevegelsesområde. id blir profilfilnavnet.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperer før du tar opp noe

   Akseptansetesten for alt ovenfor. Hvis teleoperasjonen er rykkete, speilvendt, eller ett ledd ikke følger med, bevarer opptaket dette i 50 episoder.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameraer avgjør hva policyen ser

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

To visninger, og hvor de er plassert er viktig: et fast scenekamera som dekker arbeidsområdet, og et håndleddskamera nær endeeffektor som viser hva griperen er i ferd med å berøre. LeRobot-fellesskapets datasett-sjekkliste ber om fortrinnsvis to visninger på 480x640 / 720p eller bedre, en statisk bakgrunn, nøytral stabil belysning, og at lederarmen og menneskelige lemmer er utenfor bildet. Opptaksguiden legger til tommelfingerregelen: du skal kunne utføre oppgaven selv ved å kun se på kamerabildene.

Kommandoen `record` og alle flagg

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Standardverdiene nedenfor kommer fra src/lerobot/configs/dataset.py på main, ikke en veiledning. Flere er ikke det folk antar.

Tastaturkontroll under en økt

• Høyre pil eller n: avslutt episoden eller tilbakestill fasen tidlig. Tastaturet du bruker mest, fordi et rent grep sjelden trenger 25 sekunder.
• Venstre pil eller r: forkast episoden og gjør den på nytt. Et dårlig opptak koster ingenting nå og mye senere.
• Escape eller q: stopp økten, fullfør koding, last opp.
• Disse fungerer på X11, Wayland og hodeløs SSH: uten en global nøkkel-backend, leser lerobot-record de samme tastene fra den kontrollerende terminalen. Bokstavene overlever trege SSH-lenker, der pilsekvenser splittes.
• Tastatur-teleoperasjon er annerledes og krever en global backend: X11, Windows, eller macOS med Tilgjengelighet.

Hvor mange episoder, og hvordan en god en ser ut

Opptaksguiden foreslår minst 50 episoder for en første oppgave, omtrent 10 per objektplassering. retningslinjesidene lister opp et minimum per modell, under hvilket en kjøring ikke er verdt GPU-tiden.

Det bedre spørsmålet er hvor mange av hva. Dataskaleringslover i imitasjonslæring for robotmanipulasjon (Lin et al., 2024) samlet inn over 40 000 demonstrasjoner og kjørte mer enn 15 000 utrullinger i den virkelige verden. Generalisering fulgte et omtrentlig potenslovforhold med antallet miljøer og objekter, og forbi en terskel per miljø eller objekt hadde ytterligere demonstrasjoner minimal effekt. På én testbenk: flytt objektet, endre belysningen, bytt ut kuben, i stedet for å gjenta ett opptak.

En god episode er kjedelig: repeterbar hjemmeposisjon, én ting gjort, avsluttet når objektet er i beholderen, oppgavestreng på 25 til 50 tegn som sjekklisten anbefaler. Plukk den røde kuben og slipp den i boksen er en oppgavestreng; task1 er anti-mønsteret sjekklisten navngir eksplisitt. Vage annotasjoner topper listen over problemer, og de er viktigst for , der strengen er en modellinndata, ikke et filnavn.

Feil som stille ødelegger et datasett

Ingen kaster en unntak. Alle overlever inn i trening, og dukker opp som en taps-kurve som ser fin ut og en robot som ikke gjør noe. Sjekk mens scenen er satt opp.

En advarsel: tabellen i streaming-encoding-guiden lister standardverdien som True, mens dataklassen på main leser streaming_encoding: bool = False. Dokumentasjon og kode er uenige, så sett den eksplisitt; lerobot logger et hint som anbefaler det når den starter med flagget av.

Sjekk datasettet før du leier en GPU

Akseptansetesten fra dokumentasjonen: sammenlign videovarigheten med episodens varighet som CLI rapporterte, og bekreft at antall rader tilsvarer fps ganger varighet. Per episode, ikke på totalen.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Se så på det. lerobot-dataset-viz spiller av en episode bilde for bilde med leddspor ved siden av kameravisningene, i Rerun eller Foxglove. Byttede kameraer og frosne bilder dukker opp på ti sekunder. Folk hopper over dette trinnet.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 eller v3.0: bestem deg før du tar opp

v2.1 skrev én parquet og én MP4 per episode. v3.0 slår sammen mange episoder til delte shards og gjenoppbygger grenser fra metadata, så info.json inneholder stimaler som data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet i stedet for et episodenummer. Den bakenforliggende begrunnelsen er færre, større filer: raskere initialisering og mindre filsystemtrykk i stor skala.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

To veier til samme datasett

Fra datasett til policy

Femti rene episoder mater hver imitasjonslæring kjøring her. ACT trenes fra bunnen av på din oppgave alene, omtrent 80 M parametere ved rundt 20 ms per handlingssteg, den eneste av de fem som er komfortabel med rask bevegelse. SmolVLA er omtrent 450 M parametere på et 24 GB kort. GR00T N1.7 er en grunnmodell med omtrent 3 B parametere hvor finjustering påvirker omtrent 40 M parametere, krever en A100 eller H100, og ønsker det v2.1-datasettet.

Deretter, veiledningen for din kombinasjon: ACT on SO-100, SmolVLA on SO-100 eller GR00T N1.7 on SO-100; for en første kjøring er trene din første policy kortere. Når policyen fungerer på testbenken, men kollapser i det øyeblikket du flytter bordet, er det et dataproblem: policy fungerer bare i ett oppsett og innsamling av høykvalitets VLA-treningsdata går dypere inn i mangfold.