Snimite svoj prvi LeRobot skup podataka sa SO-100

SO-100 pratilac, SO-100 pratilac, vodeća ruka istog dizajna i dvije USB kamere mogu fino podesiti politiku za jedno popodne. Ista radna stanica može jednako lako proizvesti šezdeset epizoda koje izgledaju zdravo u pregledniku datoteka i protraćiti šestosatno GPU pokretanje. Razlika je rijetko u modelu; ona je u onome što se dogodilo između servoa i parquet datoteke.

Evo ručne rute, a zatim kraće. Svaka komanda je iz lerobot 0.6.1, objavljenog 3. avgusta 2026. i aktuelnog na PyPI-ju. Prešao je na konzolne ulazne tačke, tako da tutorijali koji pokreću python lerobot/scripts/control_robot.py opisuju datoteku koja više ne postoji.

Šta sesija snimanja bilježi

LeRobot skup podataka LeRobot skup podataka nije fascikla video zapisa, već vremenski indeksirana tabela sa priloženim videom: svaki takt kontrolne petlje piše jedan red koji sadrži komandovanu akciju, stanje koje je pratilac dostigao, jedan kadar po kameri, vremensku oznaku i indekse. Politika vidi samo te kolone. Šema lerobot/svla_so100_pickplace, pročitana iz meta/info.json.

Zglobovi su main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll i main_gripper: šest stepeni slobode SO-100. Akcija i stanje dele oblik jer teleoperacija vođa-pratilac beleži cilj i poziciju dostignutu jedan korak kasnije. Taj jaz je informacija: gde se ruka borila protiv gravitacije ili zaglavljenog objekta. Ti stringovi pripadaju tom skupu podataka. Sesija snimljena sa 0.6.1 danas piše shoulder_pan.pos do gripper.pos, ID-jevi 1 do 6 na magistrali: istih šest zglobova, različiti ključevi, što je važno u trenutku kada konfiguracija adresira funkciju po imenu.

Šta vam je potrebno na radnom stolu

Ako ruka još nije sastavljena, to je zasebna večer: počnite sa SO-100 početak rada i kompletan vodič za postavljanje SO-100. Ako još ništa niste kupili, prvo pročitajte poređenje SO-100 i SO-101 prvo: SO-101 je novija revizija sa poboljšanim ožičenjem i bez koraka uklanjanja zupčanika, a radni tok snimanja je identičan.

Instalirajte lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Dodaci najviše zbunjuju ljude. pip install lerobot instalira samo osnovne ML zavisnosti, ništa što komunicira sa robotom. Koch ruke trebaju dynamixel umjesto feetech. Ako vaša ljuska nikada nije čula za lerobot-record, to je razlog.

Portovi, ID-ovi motora i kalibracija

Tri jednokratna koraka stoje između dijelova i funkcionalne teleop petlje. omogućava da se politika obučena na vašoj ruci pokreće na tuđoj, mapirajući sirove brojeve enkodera na zajedničku konvenciju zglobova.

1. 1
   Pronađite USB port svake ruke

   Pokrenite ga sa obje ruke priključene, isključite onu koju identifikujete kada se to zatraži, i zabilježite koji port nestaje. Na Linuxu ćete možda trebati sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Napišite ID-ove motora i brzine prijenosa

   ID-ovi se pišu jedan po jedan motor, a dokumentacija je stroga o tome kako: povežite tačno jedan motor na kontrolnu ploču, još ne serijski povezan sa bilo kojim drugim. Skripta prolazi kroz lanac unazad, prvo tražeći hvataljku i dajući joj ID 6, zatim zglob zgloba (wrist_roll) kao 5, pa sve do zgloba ramena (shoulder_pan) kao 1. Uradite to prije montaže.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibrirajte obje ruke

   Pomjerite svaki zglob u sredinu njegovog opsega, pritisnite Enter, a zatim svaki provucite kroz cijeli opseg. id postaje naziv datoteke profila.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperirajte prije bilo kakvog snimanja

   Test prihvatanja za sve navedeno. Ako je teleoperacija trzava, zrcaljena, ili jedan zglob neće pratiti, snimanje to čuva u 50 epizoda.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kamere odlučuju šta politika vidi

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Dva pogleda, i gdje se nalaze je važno: fiksna kamera scene koja pokriva radni prostor, i kamera na zglobu blizu krajnjeg efektora pokazujući šta će hvataljka dodirnuti. Kontrolna lista LeRobot zajedničkih skupova podataka traži po mogućnosti dva pogleda na 480x640 / 720p ili bolje, statičnu pozadinu, neutralno stabilno osvjetljenje, te da su vodeća ruka i ljudski udovi izvan kadra. Vodič za snimanje dodaje pravilo: trebali biste biti u mogućnosti sami obaviti zadatak samo gledajući slike kamere.

Naredba za snimanje i svaka zastavica

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Podrazumijevane vrijednosti ispod dolaze iz src/lerobot/configs/dataset.py na glavnoj grani, a ne iz tutorijala. Nekoliko njih nije ono što ljudi pretpostavljaju.

Kontrola tastaturom tokom sesije

• Desna strelica ili n: završite epizodu ili resetujte fazu ranije. Ovo je taster koji najviše koristite, jer čisto hvatanje rijetko zahtijeva 25 sekundi.
• Lijeva strelica ili r: odbacite epizodu i ponovite je. Loš snimak sada ne košta ništa, a kasnije mnogo.
• Escape ili q: zaustavite sesiju, završite kodiranje, otpremite.
• Ovo radi na X11, Waylandu i SSH-u bez glave: bez globalnog pozadinskog sistema za tastere, lerobot-record čita iste tastere sa kontrolnog terminala. Slova preživljavaju spore SSH veze, gdje se sekvence strelica razdvajaju.
• Tastaturna teleoperacija je drugačija i zahtijeva globalni pozadinski sistem: X11, Windows ili macOS sa pristupačnošću.

Koliko epizoda, i kako izgleda dobra

Vodič za snimanje predlaže najmanje 50 epizoda za prvi zadatak, oko 10 po lokaciji objekta. stranice sa politikama navode minimum po modelu, ispod kojeg pokretanje nije vrijedno GPU vremena.

Bolje pitanje je koliko čega. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) prikupili su preko 40.000 demonstracija i izvršili više od 15.000 simulacija u stvarnom svijetu. Generalizacija je pratila približno odnos zakona snage sa brojem okruženja i objekata, a nakon praga po okruženju ili objektu, dodatne demonstracije imale su minimalan učinak. Na jednoj radnoj stanici: pomjerite objekat, promijenite osvjetljenje, zamijenite kocku, umjesto da ponavljate jedan snimak.

Dobra epizoda je dosadna: ponovljiva početna poza, jedna stvar urađena, završena kada je objekat u kanti, niz zadataka od 25 do 50 znakova koje preporučuje kontrolna lista. Uzmi crvenu kocku i spusti je u kutiju je niz zadataka; task1 je anti-uzorak koji kontrolna lista eksplicitno navodi. Nejasne anotacije su na vrhu liste problema, a najvažnije su za modele vida, jezika i akcije, gdje je niz ulaz za model, a ne naziv datoteke.

Defekti koji tiho uništavaju skup podataka

Nijedan ne baca izuzetak. Svi preživljavaju do treninga, pojavljujući se kao kriva gubitka koja izgleda dobro i robot koji ne radi ništa. Provjerite dok je scena postavljena.

Jedna napomena: tabela vodiča za striming-enkodiranje navodi podrazumevanu vrednost kao True, dok dataclass na glavnoj grani čita streaming_encoding: bool = False. Dokumentacija i kod se ne slažu, pa je postavite eksplicitno; lerobot beleži savet koji to preporučuje kad god se pokrene sa isključenom zastavicom.

Proverite skup podataka pre iznajmljivanja GPU-a

Test prihvatanja iz dokumentacije: uporedite trajanje videa sa trajanjem epizode koje je prijavio CLI, i potvrdite da je broj redova jednak fps puta trajanje. Po epizodi, ne ukupno.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Zatim ga pogledajte. lerobot-dataset-viz ponavlja epizodu kadar po kadar sa tragovima zglobova pored prikaza kamere, u Rerunu ili Foxgloveu. Zamijenjene kamere i zamrznuti kadrovi pojavljuju se za deset sekundi. Ljudi preskaču ovaj korak.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 ili v3.0: odlučite prije snimanja

v2.1 je pisao jedan parquet i jedan MP4 po epizodi. v3.0 spaja mnoge epizode u zajedničke šardove i obnavlja granice iz metapodataka, tako da info.json nosi šablone putanja kao što su data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet umjesto broja epizode. Opravdanje je manje, veće datoteke: brža inicijalizacija i manji pritisak na datotečni sistem u velikom obimu.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Dva puta do istog skupa podataka

Od skupa podataka do politike

Pedeset čistih epizoda napaja svako pokretanje ovdje. trenira od nule samo na vašem zadatku, oko 80 M parametara pri otprilike 20 ms po koraku akcije, jedini od pet koji je udoban s brzim kretanjem. ima oko 450 M parametara na 24 GB kartici. je temeljni model s otprilike 3 B parametara gdje dotiče oko 40 M parametara, treba A100 ili H100, i želi taj v2.1 skup podataka.

Zatim, vodič za vašu kombinaciju: , ili ; za prvo pokretanje, je kraći. Kada politika radi na stolu, ali se sruši u trenutku kada pomaknete stol, to je problem s podacima: i idu dublje u raznolikost.