Posnemite svoj prvi nabor podatkov LeRobot z SO-100

Neki SO-100 sledilnik, vodilna roka enake zasnove in dve USB kameri lahko v popoldnevu natančno nastavijo politiko. Ista delovna postaja lahko enostavno ustvari šestdeset epizod, ki so videti zdrave v brskalniku datotek in zapravijo šesturno delovanje GPU-ja. Razlika je redko v modelu; je v tem, kar se je zgodilo med servomotorji in datoteko parquet.

Tukaj je ročna pot, nato krajša. Vsak ukaz je iz lerobot 0.6.1, izdanega 3. avgusta 2026 in trenutno na PyPI. Premaknil se je na vstopne točke konzole, zato vadnice, ki izvajajo python lerobot/scripts/control_robot.py opisujejo datoteko, ki ne obstaja več.

Kaj zajame seja snemanja

Nabor podatkov LeRobot nabor podatkov ni mapa videoposnetkov, temveč časovno indeksirana tabela s priloženim videom: vsak takt krmilne zanke zapiše eno vrstico, ki vsebuje ukazano dejanje, stanje, ki ga je dosegel sledilec, eno sličico na kamero, časovni žig in indekse. Politika vidi samo te stolpce. Shema lerobot/svla_so100_pickplace, prebrana iz njegove meta/info.json.

Sklepi so main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll in main_gripper: šest stopinj svobode. Akcija in stanje si delita obliko, ker teleoperacija vodja-sledilec zabeleži cilj in položaj, dosežen en korak kasneje. Ta vrzel je informacija: kje se je roka borila proti gravitaciji ali zataknjenemu predmetu. Ti nizi so iz tega nabora podatkov. Seja, posneta z 0.6.1 danes, zapiše shoulder_pan.pos do gripper.pos, ID-je od 1 do 6 na vodilu: istih šest sklepov, različni ključi, kar je pomembno v trenutku, ko konfiguracija naslovi značilnost po imenu.

Kaj potrebujete na delovni mizi

Če roka še ni sestavljena, je to ločen večer: začnite pri Začetek z SO-100 in popoln vodnik za nastavitev SO-100. Če še niste ničesar kupili, najprej preberite primerjavo SO-100 proti SO-101: SO-101 je novejša revizija z izboljšano napeljavo in brez koraka odstranjevanja zobnikov, potek dela snemanja pa je enak.

Namestite lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Dodatki so tisto, kar večino ljudi zmede. pip install lerobot namesti samo osnovne odvisnosti ML, ničesar, kar bi komuniciralo z robotom. Roke Koch potrebujejo dynamixel namesto feetech. Če vaš shell še nikoli ni slišal za lerobot-record, je to razlog.

Vrata, ID-ji motorjev in kalibracija

Trije enkratni koraki ločijo dele od delujoče teleoperacijske zanke. omogoča, da se politika, usposobljena na vaši roki, izvaja na tuji, s preslikavo surovih vrednosti dajalnika na skupno konvencijo sklepov.

1. 1
   Poiščite USB vrata vsake roke

   Zaženite ga z obema priključenima rokama, odklopite tisto, ki jo identificirate, ko ste pozvani, in si zabeležite, katera vrata izginejo. Na Linuxu boste morda potrebovali sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Zapišite ID-je motorjev in hitrosti prenosa

   ID-ji se zapisujejo en motor naenkrat, in dokumentacija je stroga glede tega, kako: priključite točno en motor na krmilno ploščo, ki še ni zaporedno povezan z nobenim drugim. Skripta prehodi verigo nazaj, najprej pozove za prijemalo in mu dodeli ID 6, nato za zapestje (wrist_roll) ID 5, vse do ramena (shoulder_pan) ID 1. To storite pred sestavljanjem.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibrirajte obe roki

   Premaknite vsak sklep v sredino njegovega območja, pritisnite Enter, nato pa vsakega premaknite skozi celotno območje. id postane ime datoteke profila.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperirajte pred snemanjem česar koli

   Sprejemni test za vse zgoraj navedeno. Če je teleoperacija sunkovita, zrcaljena ali en sklep ne sledi, se to ohrani v 50 epizodah snemanja.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kamere določajo, kaj vidi politika delovanja

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Dva pogleda, in pomembno je, kje sta nameščena: fiksna scenska kamera, ki pokriva delovni prostor, in zapestna kamera blizu končnega efektorja ki prikazuje, česa se bo prijemalo dotaknilo. Kontrolni seznam skupnostnih podatkovnih zbirk LeRobot zahteva prednostno dva pogleda pri 480x640 / 720p ali bolje, statično ozadje, nevtralno stabilno osvetlitev ter vodilno roko in človeške ude izven kadra. Vodnik za snemanje dodaja splošno pravilo: nalogo bi morali biti sposobni opraviti sami, samo z gledanjem slik kamere.

Ukaz za snemanje in vsaka zastavica

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Spodnje privzete vrednosti izhajajo iz src/lerobot/configs/dataset.py na glavni veji, ne iz vadnice. Nekatere niso takšne, kot si ljudje predstavljajo.

Upravljanje s tipkovnico med sejo

• Desna puščica ali n: predčasno končajte epizodo ali fazo ponastavitve. To tipko boste uporabljali največ, saj čisto prijemanje redko potrebuje 25 sekund.
• Leva puščica ali r: zavrzite epizodo in jo ponovite. Slab poskus zdaj ne stane nič, kasneje pa veliko.
• Escape ali q: ustavite sejo, dokončajte kodiranje, naložite.
• To deluje na X11, Wayland in brezglavem SSH: brez globalnega zaledja za tipke, lerobot-record bere iste tipke iz nadzornega terminala. Črke preživijo počasne SSH povezave, kjer se zaporedja puščic razdelijo.
• Tipkovniška teleoperacija je drugačna in potrebuje globalno zaledje: X11, Windows ali macOS z dostopnostjo.

Koliko epizod in kako izgleda dobra

Priročnik za snemanje predlaga vsaj 50 epizod za prvo nalogo, približno 10 na lokacijo predmeta. Strani s politikami navajajo minimum na model, pod katerim se izvajanje ne splača glede na čas GPU-ja.

Boljše vprašanje je, koliko česa. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) so zbrali več kot 40.000 demonstracij in izvedli več kot 15.000 izvajanj v realnem svetu. Generalizacija je sledila približno razmerju potenčnega zakona s številom okolij in predmetov, in po preseganju praga na okolje ali predmet so imele dodatne demonstracije minimalen učinek. Na eni delovni mizi: premaknite predmet, spremenite osvetlitev, zamenjajte kocko, namesto da ponavljate en posnetek.

Dobra epizoda je dolgočasna: ponovljiv začetni položaj, ena stvar opravljena, končana, ko je predmet v košu, niz opravila v 25 do 50 znakih, kot priporoča kontrolni seznam. Pick the red cube and drop it in the box je niz opravila; task1 je antipattern, ki ga kontrolni seznam izrecno imenuje. Nejasne opombe so na vrhu seznama problemov in so najpomembnejše za vizualno-jezikovne-akcijske modele, kjer je niz vhod za model, ne ime datoteke.

Napake, ki tiho uničijo nabor podatkov

Nobena ne sproži izjeme. Vse preživijo v usposabljanje in se pojavijo kot krivulja izgube, ki izgleda v redu, in robot, ki ne dela ničesar. Preverite, medtem ko je scena postavljena.

Ena opozorilo: tabela v vodniku za pretakanje-kodiranje navaja privzeto vrednost kot True, medtem ko dataclass na main bere streaming_encoding: bool = False. Dokumentacija in koda se ne ujemata, zato jo nastavite eksplicitno; lerobot zabeleži namig, ki to priporoča, kadar koli se zažene z izklopljeno zastavico.

Preverite nabor podatkov pred najemom GPE

Sprejemni test iz dokumentacije: primerjajte trajanje videa s trajanjem epizode, ki ga je poročal CLI, in potrdite, da število vrstic ustreza fps krat trajanje. Na epizodo, ne na skupno.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Nato si jo oglejte. lerobot-dataset-viz predvaja epizodo sličico za sličico s sledmi sklepov poleg pogledov kamere, v Rerunu ali Foxglovu. Zamenjane kamere in zamrznjene sličice se prikažejo v desetih sekundah. Ljudje ta korak preskočijo.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 ali v3.0: odločite se pred snemanjem

v2.1 je zapisal eno parquet in eno MP4 datoteko na epizodo. v3.0 združuje veliko epizod v skupne delce (shards) in ponovno gradi meje iz metapodatkov, zato info.json vsebuje predloge poti, kot so data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet namesto številke epizode. Utemeljitev je manjše število večjih datotek: hitrejša inicializacija in manjši pritisk na datotečni sistem v obsegu.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Dve poti do istega nabora podatkov

Od nabora podatkov do politike

Petdeset čistih epizod napaja vsak zagon tukaj. se uči od začetka samo na vaši nalogi, približno 80 M parametrov pri približno 20 ms na korak dejanja, edini od petih, ki je udoben s hitrim gibanjem. ima približno 450 M parametrov na 24 GB kartici. je temeljni model s približno 3 B parametri, kjer se dotika približno 40 M parametrov, potrebuje A100 ali H100 in želi ta nabor podatkov v2.1.

Nato, vodnik za vašo kombinacijo: , ali ; za prvi zagon, je krajši. Ko politika deluje na mizi, vendar se zruši v trenutku, ko premaknete mizo, je to problem s podatki: in se poglobita v raznolikost.