Snimite svoj prvi LeRobot skup podataka s SO-100

Sljedbenik SO-100 sljedbenik, vodeća ruka istog dizajna i dvije USB kamere mogu fino podesiti politiku u jednom popodnevu. Ista radna stanica može jednako lako proizvesti šezdeset epizoda koje izgledaju zdravo u pregledniku datoteka i potrošiti šestosatno GPU izvođenje. Razlika je rijetko u modelu; ona je u onome što se dogodilo između serva i parquet datoteke.

Ovo je ručna ruta, zatim kraća. Svaka naredba je iz lerobot 0.6.1, objavljenog 3. kolovoza 2026. i aktualnog na PyPI-ju. Prešao je na ulazne točke konzole, tako da tutorijali koji pokreću python lerobot/scripts/control_robot.py opisuju datoteku koja više ne postoji.

Što sesija snimanja bilježi

LeRobot skup podataka nije mapa videozapisa već vremenski indeksirana tablica s priloženim videozapisom: svaki takt upravljačke petlje zapisuje jedan redak koji sadrži zadanu akciju, stanje koje je pratitelj dosegao, jedan kadar po kameri, vremensku oznaku i indekse. Politika vidi samo te stupce. Shema lerobot/svla_so100_pickplace, pročitana iz meta/info.json.

Zglobovi su main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll i main_gripper: šest stupnjeva slobode SO-100. Akcija i stanje dijele oblik jer teleoperacija vođa-pratitelj bilježi cilj i položaj dosegnut jedan korak kasnije. Taj jaz je informacija: gdje se ruka borila protiv gravitacije ili zaglavljenog objekta. Ti su nizovi znakova iz tog skupa podataka. Sesija snimljena s 0.6.1 danas zapisuje shoulder_pan.pos do gripper.pos, ID-ove 1 do 6 na sabirnici: istih šest zglobova, različiti ključevi, što je važno u trenutku kada konfiguracija adresira značajku po imenu.

Što vam je potrebno na stolu

Ako ruka još nije sastavljena, to je zasebna večernja aktivnost: počnite s SO-100 početak rada i potpunim vodičem za postavljanje SO-100. Ako još niste ništa kupili, prvo pročitajte usporedbu SO-100 i SO-101: SO-101 je novija revizija s poboljšanim ožičenjem i bez koraka uklanjanja zupčanika, a tijek rada snimanja je identičan.

Instalirajte lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Dodaci najviše zbunjuju ljude. pip install lerobot instalira samo osnovne ML ovisnosti, ništa što komunicira s robotom. Koch ruke trebaju dynamixel umjesto feetech. Ako vaša ljuska nikada nije čula za lerobot-record, to je razlog.

Priključci, ID-ovi motora i kalibracija

Tri jednokratna koraka stoje između dijelova i funkcionalne teleop petlje. omogućuje da se politika trenirana na vašoj ruci pokreće na tuđoj, mapirajući sirove brojače enkodera na zajedničku konvenciju zglobova.

1. 1
   Pronađite USB priključak svake ruke

   Pokrenite ga s obje ruke priključene, isključite onu koju identificirate kada se to zatraži i zabilježite koji priključak nestaje. Na Linuxu ćete možda trebati sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Zapišite ID-ove motora i brzine prijenosa

   ID-ovi se pišu jedan po jedan motor, a dokumentacija je stroga o tome kako: spojite točno jedan motor na kontrolnu ploču, još ne serijski spojen na bilo koji drugi. Skripta prolazi lanac unatrag, prvo tražeći hvataljku i dajući joj ID 6, zatim zglob_zgloba kao 5, sve do ramena_pan kao 1. Učinite to prije sastavljanja.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibrirajte obje ruke

   Pomaknite svaki zglob u sredinu njegovog raspona, pritisnite Enter, a zatim svaki provucite kroz cijeli raspon. id postaje naziv datoteke profila.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperirajte prije snimanja bilo čega

   Prihvatni test za sve navedeno. Ako je teleoperacija trzava, zrcaljena ili jedan zglob neće slijediti, snimanje to bilježi u 50 epizoda.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kamere odlučuju što politika vidi

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Dva pogleda, i njihov položaj je važan: fiksna kamera scene koja pokriva radni prostor, i kamera na zglobu blizu krajnjeg efektora koja pokazuje što će hvataljka dodirnuti. Popis za provjeru LeRobot skupova podataka zajednice traži po mogućnosti dva pogleda na 480x640 / 720p ili bolje, statičnu pozadinu, neutralno stabilno osvjetljenje, te da ruka voditelja i ljudski udovi budu izvan kadra. Vodič za snimanje dodaje pravilo: trebali biste moći sami obaviti zadatak samo gledajući slike s kamere.

Naredba record i svaka zastavica

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Zadane vrijednosti u nastavku dolaze iz src/lerobot/configs/dataset.py na glavnoj grani, a ne iz tutoriala. Nekoliko njih nije ono što ljudi pretpostavljaju.

Upravljanje tipkovnicom tijekom sesije

• Desna strelica ili n: završite epizodu ili ranije resetirajte fazu. Tipka koju najviše koristite, jer čisto hvatanje rijetko treba 25 sekundi.
• Lijeva strelica ili r: odbacite epizodu i ponovite je. Loš pokušaj sada ne košta ništa, a kasnije puno.
• Escape ili q: zaustavite sesiju, završite kodiranje, prenesite.
• Ovo radi na X11, Waylandu i headless SSH-u: bez globalnog pozadinskog sustava za tipke, lerobot-record čita iste tipke s kontrolnog terminala. Slova preživljavaju spore SSH veze, gdje se sekvence strelica razdvajaju.
• Tipkovnička teleoperacija je drugačija i zahtijeva globalni pozadinski sustav: X11, Windows ili macOS s pristupačnošću.

Koliko epizoda, i kako izgleda dobra epizoda

Vodič za snimanje predlaže najmanje 50 epizoda za prvi zadatak, oko 10 po lokaciji objekta. stranice s pravilima navode minimum po modelu, ispod kojeg pokretanje nije vrijedno GPU vremena.

Bolje pitanje je koliko čega. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) prikupili su preko 40.000 demonstracija i izveli više od 15.000 stvarnih izvođenja. Generalizacija je slijedila približno odnos zakona snage s brojem okruženja i objekata, a nakon praga po okruženju ili objektu, dodatne demonstracije imale su minimalan učinak. Na jednoj klupi: pomaknite objekt, promijenite osvjetljenje, zamijenite kocku, umjesto da ponavljate jedan snimak.

Dobra epizoda je dosadna: ponovljiva početna poza, jedna stvar obavljena, završena kada je objekt u kanti, niz zadataka od 25 do 50 znakova kako preporučuje kontrolna lista. Uzmi crvenu kocku i spusti je u kutiju je niz zadataka; task1 je anti-uzorak koji kontrolna lista izričito navodi. Nejasne bilješke predvode popis problema, a najvažnije su za , gdje je niz ulaz za model, a ne naziv datoteke.

Greške koje tiho uništavaju skup podataka

Nijedna ne baca iznimku. Sve prežive do treninga, pojavljujući se kao krivulja gubitka koja izgleda dobro i robot koji ne radi ništa. Provjerite dok je scena postavljena.

Jedna napomena: tablica vodiča za streaming-kodiranje navodi zadanu vrijednost kao True, dok dataclass na glavnoj grani čita streaming_encoding: bool = False. Dokumentacija i kod se ne slažu, stoga postavite eksplicitno; lerobot bilježi savjet preporučujući to kad god se pokrene s isključenom zastavicom.

Provjerite skup podataka prije najma GPU-a

Test prihvaćanja iz dokumentacije: usporedite trajanje videa s trajanjem epizode koje je prijavio CLI i potvrdite da je broj redaka jednak fps puta trajanje. Po epizodi, ne ukupno.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Zatim je pogledajte. lerobot-dataset-viz reproducira epizodu kadar po kadar s tragovima zglobova pored prikaza kamere, u Rerunu ili Foxgloveu. Zamijenjene kamere i zamrznuti kadrovi pojavljuju se za deset sekundi. Ljudi preskaču ovaj korak.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 ili v3.0: odlučite prije snimanja

v2.1 je pisao jedan parquet i jedan MP4 po epizodi. v3.0 spaja mnoge epizode u zajedničke dijelove (shards) i ponovno gradi granice iz metapodataka, tako da info.json sadrži predloške putanja poput data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet umjesto broja epizode. Opravdanje je manje, veće datoteke: brža inicijalizacija i manji pritisak na datotečni sustav u velikim razmjerima.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Dva puta do istog skupa podataka

Od skupa podataka do politike

Pedeset čistih epizoda napaja svako pokretanje ovdje. trenira od nule samo na vašem zadatku, oko 80 M parametara pri otprilike 20 ms po koraku akcije, jedini od pet koji je udoban s brzim pokretima. ima oko 450 M parametara na 24 GB kartici. je temeljni model s otprilike 3 B parametara gdje dotiče oko 40 M parametara, treba A100 ili H100, i želi taj v2.1 skup podataka.

Zatim, vodič za vašu kombinaciju: , ili ; za prvo pokretanje, je kraći. Kada politika radi na stolu, ali se sruši u trenutku kada pomaknete stol, to je problem s podacima: i idu dublje u raznolikost.