Snimite svoj prvi LeRobot skup podataka sa SO-100

Prateći SO-100 pratilac, vodeća ruka istog dizajna i dve USB kamere mogu fino podesiti politiku za jedno popodne. Ista radna stanica može jednako lako proizvesti šezdeset epizoda koje izgledaju zdravo u pregledaču datoteka i potrošiti šestosatno GPU pokretanje. Razlika je retko u modelu; ona je u onome što se dogodilo između servoa i parquet datoteke.

Evo ručne rute, pa onda kraće. Svaka komanda je iz lerobot 0.6.1, objavljenog 3. avgusta 2026. i aktuelnog na PyPI-ju. Premešten je na ulazne tačke konzole, tako da tutorijali koji pokreću python lerobot/scripts/control_robot.py opisuju datoteku koja više ne postoji.

Šta sesija snimanja beleži

LeRobot skup podataka nije fascikla video zapisa, već tabela indeksirana vremenom sa priloženim videom: svaki takt kontrolne petlje upisuje jedan red koji sadrži komandovanu akciju, stanje koje je pratilac dostigao, jedan kadar po kameri, vremensku oznaku i indekse. Politika vidi samo te kolone. Šema lerobot/svla_so100_pickplace, pročitana iz meta/info.json.

Zglobovi su main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll i main_gripper: šest stepeni slobode. Akcija i stanje dele oblik jer teleoperacija vođa-pratilac beleži cilj i poziciju dostignutu jedan korak kasnije. Taj jaz je informacija: gde se ruka borila protiv gravitacije ili zaglavljenog objekta. Ti stringovi pripadaju tom skupu podataka. Sesija snimljena sa 0.6.1 danas upisuje shoulder_pan.pos do gripper.pos, ID-jeve 1 do 6 na magistrali: istih šest zglobova, različiti ključevi, što je važno u trenutku kada konfiguracija adresira funkciju po imenu.

Šta vam je potrebno na radnom stolu

Ako ruka još nije sastavljena, to je zasebno veče: počnite sa SO-100 početak rada i kompletnim SO-100 vodičem za podešavanje. Ako još niste ništa kupili, pročitajte poređenje SO-100 i SO-101 prvo: SO-101 je novija revizija sa poboljšanim ožičenjem i bez koraka uklanjanja zupčanika, a tok rada snimanja je identičan.

Instalirajte lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Dodaci najviše zbunjuju ljude. pip install lerobot instalira samo osnovne ML zavisnosti, ništa što komunicira sa robotom. Koch ruke trebaju dynamixel umesto feetech. Ako vaša ljuska nikada nije čula za lerobot-record, to je razlog.

Portovi, ID-ovi motora i kalibracija

Tri jednokratna koraka stoje između delova i funkcionalne teleop petlje. omogućava da se politika obučena na vašoj ruci pokreće na tuđoj, mapirajući sirove vrednosti enkodera na zajedničku konvenciju zglobova.

1. 1
   Pronađite USB port svake ruke

   Pokrenite ga sa obe ruke priključene, isključite onu koju identifikujete kada se to zatraži i zabeležite koji port nestaje. Na Linuxu će vam možda trebati sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Zapišite ID-ove motora i brzine prenosa

   ID-ovi se pišu jedan po jedan motor, a dokumentacija je stroga po pitanju načina: povežite tačno jedan motor na kontrolnu ploču, još uvek ne serijski povezan sa bilo kojim drugim. Skripta prolazi lanac unazad, prvo tražeći hvataljku i dajući joj ID 6, zatim zglob zgloba (wrist_roll) kao 5, pa sve do zgloba ramena (shoulder_pan) kao 1. Uradite to pre sklapanja.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibrirajte obe ruke

   Pomerite svaki zglob u sredinu njegovog opsega, pritisnite Enter, a zatim svaki provucite kroz ceo opseg. id postaje naziv datoteke profila.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperišite pre snimanja bilo čega

   Test prihvatanja za sve navedeno. Ako je teleoperacija trzava, ogledalna, ili jedan zglob neće pratiti, snimanje to beleži u 50 epizoda.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kamere odlučuju šta politika vidi

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Dva pogleda, i njihov položaj je važan: fiksna kamera scene koja pokriva radni prostor, i kamera na zglobu blizu krajnjeg efektora koja pokazuje šta hvataljka namerava da dodirne. LeRobot kontrolna lista za skupove podataka zajednice traži po mogućnosti dva pogleda na 480x640 / 720p ili bolje, statičnu pozadinu, neutralno stabilno osvetljenje, i da ruka vođe i ljudski udovi budu van kadra. Vodič za snimanje dodaje pravilo: trebalo bi da ste u mogućnosti da sami obavite zadatak samo gledajući slike sa kamere.

Komanda za snimanje i svaka zastavica

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Podrazumevane vrednosti ispod potiču iz src/lerobot/configs/dataset.py na glavnoj grani, a ne iz tutorijala. Nekoliko njih nije ono što ljudi pretpostavljaju.

Kontrola tastaturom tokom sesije

• Desna strelica ili n: završite epizodu ili resetujte fazu ranije. Taster koji najviše koristite, jer čisto hvatanje retko zahteva 25 sekundi.
• Leva strelica ili r: odbacite epizodu i ponovite je. Loš snimak sada ne košta ništa, a kasnije mnogo.
• Escape ili q: zaustavite sesiju, završite kodiranje, otpremite.
• Ovo radi na X11, Wayland i headless SSH: bez globalnog pozadinskog sistema za tastere, lerobot-record čita iste tastere sa kontrolnog terminala. Slova preživljavaju spore SSH veze, gde se sekvence strelica razdvajaju.
• Tastaturna teleoperacija je drugačija i zahteva globalni pozadinski sistem: X11, Windows, ili macOS sa Pristupačnošću.

Koliko epizoda, i kako izgleda dobra

Vodič za snimanje predlaže najmanje 50 epizoda za prvi zadatak, oko 10 po lokaciji objekta. stranice sa politikama navode minimum po modelu, ispod kojeg pokretanje nije vredno GPU vremena.

Bolje pitanje je koliko čega. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) su prikupili preko 40.000 demonstracija i izvršili više od 15.000 simulacija u stvarnom svetu. Generalizacija je pratila približno odnos zakona snage sa brojem okruženja i objekata, a nakon praga po okruženju ili objektu, dodatne demonstracije su imale minimalan efekat. Na jednoj klupi: pomerite objekat, promenite osvetljenje, zamenite kocku, umesto da ponavljate jedan snimak.

Dobra epizoda je dosadna: ponovljiva početna pozicija, jedna stvar urađena, završena kada je objekat u kanti, string zadatka od 25 do 50 karaktera koje preporučuje kontrolna lista. Uzmi crvenu kocku i spusti je u kutiju je string zadatka; task1 je anti-obrazac koji kontrolna lista eksplicitno navodi. Nejasne anotacije su na vrhu liste problema, i one su najvažnije za , gde je string ulaz za model, a ne naziv datoteke.

Defekti koji tiho uništavaju skup podataka

Nijedan ne izaziva izuzetak. Svi preživljavaju do treninga, pojavljujući se kao kriva gubitka koja izgleda dobro i robot koji ne radi ništa. Proverite dok je scena postavljena.

Jedna napomena: tabela u vodiču za striming-enkodiranje navodi podrazumevanu vrednost kao True, dok dataclass na glavnoj grani čita streaming_encoding: bool = False. Dokumentacija i kod se ne slažu, pa je postavite eksplicitno; lerobot beleži savet koji to preporučuje kad god se pokrene sa isključenim flagom.

Proverite skup podataka pre iznajmljivanja GPU-a

Test prihvatanja iz dokumentacije: uporedite trajanje videa sa trajanjem epizode koje je prijavio CLI, i potvrdite da je broj redova jednak fps puta trajanje. Po epizodi, ne ukupno.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Zatim je pogledajte. lerobot-dataset-viz ponavlja epizodu kadar po kadar sa tragovima zglobova pored prikaza kamere, u Rerunu ili Foxglove-u. Zamenjene kamere i zamrznuti kadrovi se pojavljuju za deset sekundi. Ljudi preskaču ovaj korak.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 ili v3.0: odlučite pre snimanja

v2.1 je pisao jedan parquet i jedan MP4 po epizodi. v3.0 spaja mnoge epizode u deljene šardove i ponovo gradi granice iz metapodataka, tako da info.json nosi šablone putanja kao što su data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet umesto broja epizode. Opravdanje je manje, veće datoteke: brža inicijalizacija i manji pritisak na sistem datoteka u velikom obimu.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Dva puta do istog skupa podataka

Od skupa podataka do politike

Pedeset čistih epizoda napaja svako učenje imitacijom pokretanje ovde. ACT se trenira od nule samo na vašem zadatku, sa oko 80 M parametara i otprilike 20 ms po koraku akcije, jedini od pet koji je udoban sa brzim pokretima. SmolVLA ima oko 450 M parametara na kartici od 24 GB. GR00T N1.7 je temeljni model sa otprilike 3 B parametara gde fino podešavanje dotiče oko 40 M parametara, zahteva A100 ili H100, i želi taj v2.1 skup podataka.

Zatim, vodič za vašu kombinaciju: ACT na SO-100, SmolVLA na SO-100 ili GR00T N1.7 na SO-100; za prvo pokretanje, trenirajte svoju prvu politiku je kraći. Kada politika radi na stolu, ali se sruši čim pomerite sto, to je problem sa podacima: politika radi samo u jednom podešavanju i prikupljanje visokokvalitetnih VLA podataka za obuku dublje ulaze u raznolikost.