Regjistroni Setin tuaj të Parë të Dhënave LeRobot Me një SO-100

Një ndjekës SO-100, një krah udhëheqës i të njëjtës dizajn dhe dy kamera USB mund të rregullojnë një politikë në një pasdite. I njëjti stol mund të prodhojë po aq lehtë gjashtëdhjetë episode që duken të shëndetshme në një shfletues skedarësh dhe të shpërdorojë një ekzekutim GPU gjashtë-orësh. Dallimi rrallë është modeli; është ajo që ndodhi midis servove dhe skedarit parquet.

Këtu është rruga manuale, pastaj ajo më e shkurtra. Çdo komandë është nga lerobot 0.6.1, lëshuar më 3 gusht 2026 dhe aktual në PyPI. Ajo u zhvendos në pika hyrjeje të konsolës, kështu që udhëzuesit që ekzekutojnë python lerobot/scripts/control_robot.py përshkruajnë një skedar që nuk ekziston më.

Çfarë kap një sesion regjistrimi

Një dataset i LeRobot nuk është një dosje me video, por një tabelë e indeksuar sipas kohës me video të bashkëngjitur: çdo cikël kontrolli shkruan një rresht që përmban veprimin e komanduar, gjendjen që arriti ndjekësi, një kornizë për kamerë, një vulë kohore dhe indekse. Politika sheh vetëm ato kolona. Skema e lerobot/svla_so100_pickplace, lexuar nga meta/info.json e saj.

Nyjet janë main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll dhe main_gripper: gjashtë shkallë lirie të SO-100. Veprimi dhe gjendja ndajnë një formë sepse teleoperacioni udhëheqës-ndjekës regjistron një objektiv dhe pozicionin e arritur një hap më vonë. Ky boshllëk është informacion: ku krahu luftoi gravitetin ose një objekt të ngecur. Këto vargje janë të atij dataseti. Një sesion i regjistruar me 0.6.1 sot shkruan shoulder_pan.pos deri te gripper.pos, ID 1 deri në 6 në autobus: të njëjtat gjashtë nyje, çelësa të ndryshëm, gjë që ka rëndësi në momentin kur një konfigurim i referohet një veçorie me emër.

Çfarë ju nevojitet në bankën e punës

Nëse krahu nuk është ndërtuar ende, kjo është një mbrëmje tjetër: filloni te fillimi me SO-100 dhe udhëzuesi i plotë i konfigurimit të SO-100. Nëse nuk keni blerë asgjë, lexoni krahasimi SO-100 kundrejt SO-101 fillimisht: SO-101 është rishikimi më i ri me instalime elektrike të përmirësuara dhe pa hapin e heqjes së ingranazheve, dhe rrjedha e punës së regjistrimit është identike.

Instaloni lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Ekstrat i ngatërrojnë më shumë njerëzit. pip install lerobot instalon vetëm varësitë thelbësore të ML, asgjë që komunikon me një robot. Krahët Koch kanë nevojë për dynamixel në vend të feetech. Nëse shell-i juaj nuk ka dëgjuar kurrë për lerobot-record, kjo është arsyeja.

Portet, ID-të e motorëve dhe kalibrimi

Tre hapa të veçantë qëndrojnë midis pjesëve dhe një cikli funksional teleoperimi. bën që një politikë e trajnuar në krahun tuaj të funksionojë në krahun e dikujt tjetër, duke hartuar numrat e papërpunuar të enkoderit në një konventë të përbashkët nyjesh.

1. 1
   Gjeni portën USB të çdo krahu

   Ekzekutojeni me të dy krahët të kyçur, shkëputni atë që po identifikoni kur të kërkohet, dhe vini re cili port zhduket. Në Linux mund t'ju duhet sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Shkruani ID-të e motorëve dhe shpejtësitë e transmetimit

   ID-të shkruhen një motor në një kohë, dhe dokumentacioni është i rreptë për mënyrën: lidhni saktësisht një motor në bordin e kontrolluesit, ende pa u lidhur në zinxhir me ndonjë tjetër. Skripti ecën zinxhirin mbrapsht, duke kërkuar fillimisht kapësen dhe duke i dhënë ID 6, pastaj rrotullimin e kyçit të dorës si 5, deri te rrotullimi i shpatullës si 1. Bëjeni këtë para montimit.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibroni të dy krahët

   Lëvizni çdo nyje në mes të diapazonit të saj, shtypni Enter, pastaj kaloni secilën nëpër diapazonin e saj të plotë. id bëhet emri i skedarit të profilit.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperoni para se të regjistroni diçka

   Testi i pranimit për gjithçka më sipër. Nëse teleoperimi është i çrregullt, i pasqyruar, ose një nyje nuk do të ndjekë, regjistrimi e ruan këtë në 50 episode.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kamerat vendosin se çfarë sheh politika

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Dy pamje, dhe vendndodhja e tyre ka rëndësi: një kamerë fikse e skenës që mbulon hapësirën e punës, dhe një kamerë dore pranë efektorit fundor që tregon se çfarë do të prekë kapësja. Lista e kontrollit të grupeve të të dhënave të komunitetit LeRobot kërkon preferohet dy pamje në 480x640 / 720p ose më mirë, një sfond statik, ndriçim neutral të qëndrueshëm, dhe krahu udhëheqës dhe gjymtyrët njerëzore jashtë kornizës. Udhëzuesi i regjistrimit shton rregullin e përgjithshëm: duhet të jeni në gjendje ta kryeni vetë detyrën duke parë vetëm imazhet e kamerës.

Komanda record dhe çdo flamur

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Vlerat e paracaktuara më poshtë vijnë nga src/lerobot/configs/dataset.py në main, jo nga një tutorial. Disa nuk janë ato që njerëzit supozojnë.

Kontrolli me tastierë gjatë një sesioni

• Shigjeta djathtas ose n: përfundoni episodin ose rivendosni fazën më herët. Çelësi që përdorni më shpesh, sepse një kapje e pastër rrallë ka nevojë për 25 sekonda.
• Shigjeta majtas ose r: hidhni episodin dhe rifillojeni. Një marrje e keqe nuk kushton asgjë tani dhe shumë më vonë.
• Escape ose q: ndaloni sesionin, përfundoni kodimin, ngarkoni.
• Këto funksionojnë në X11, Wayland dhe SSH pa kokë: pa një backend global të çelësave, lerobot-record lexon të njëjtat çelësa nga terminali kontrollues. Shkronjat mbijetojnë lidhjet SSH të ngadalta, ku sekuencat e shigjetave ndahen.
• Teleoperimi me tastierë është i ndryshëm dhe ka nevojë për një backend global: X11, Windows, ose macOS me Accessibility.

Sa episode, dhe si duket një i mirë

Udhëzuesi i regjistrimit sugjeron të paktën 50 episode për një detyrë të parë, rreth 10 për vendndodhje objekti. Faqet e politikave listojnë një minimum për model, nën të cilin një ekzekutim nuk ia vlen kohën e GPU-së.

Pyetja më e mirë është sa dhe çfarë. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) mblodhi mbi 40,000 demonstrime dhe ekzekutoi më shumë se 15,000 prova në botën reale. Përgjithësimi ndoqi një marrëdhënie afërsisht ligj-fuqi me numrin e environments and objects, dhe pas një pragu për mjedis ose objekt, demonstrimet shtesë kishin efekt minimal. Në një bankë prove: lëvizni objektin, ndryshoni ndriçimin, ndërroni kubin, në vend që të përsërisni një marrje.

Një episod i mirë është i mërzitshëm: pozë shtëpie e përsëritshme, një gjë e bërë, e përfunduar sapo objekti të jetë në kosh, vargu i detyrës në 25 deri në 50 karaktere që rekomandon lista kontrolluese. Pick the red cube and drop it in the box është një varg detyre; task1 është anti-modeli që lista kontrolluese e emërton shprehimisht. Shënimet e paqarta kryesojnë listën e problemeve të saj, dhe ato kanë më shumë rëndësi për , ku vargu është një hyrje modeli, jo një emër skedari.

Defekte që shkatërrojnë në heshtje një grup të dhënash

Asnjë nuk hedh një përjashtim. Të gjitha mbijetojnë në trajnim, duke u shfaqur si një kurbë humbjeje që duket mirë dhe një robot që nuk bën asgjë. Kontrolloni ndërsa skena është vendosur.

Një paralajmërim: tabela e udhëzuesit të transmetimit-kodimit liston parazgjedhjen si True, ndërsa dataclass në main lexon streaming_encoding: bool = False. Dokumentacioni dhe kodi nuk pajtohen, prandaj vendoseni në mënyrë eksplicite; lerobot regjistron një sugjerim duke e rekomanduar sa herë që fillon me flamurin e fikur.

Kontrolloni grupin e të dhënave para se të merrni me qira një GPU

Testi i pranimit nga dokumentacioni: krahasoni kohëzgjatjen e videos me kohëzgjatjen e episodit të raportuar nga CLI, dhe konfirmoni që numri i rreshtave është i barabartë me fps herë kohëzgjatjen. Për episod, jo në total.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Pastaj shikoje. lerobot-dataset-viz riprodhon një episod kornizë pas kornize me gjurmë nyjesh pranë pamjeve të kamerës, në Rerun ose Foxglove. Kamerat e shkëmbyera dhe kornizat e ngrira shfaqen brenda dhjetë sekondave. Njerëzit e anashkalojnë këtë hap.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 ose v3.0: vendosni para se të regjistroni

v2.1 shkruante një parquet dhe një MP4 për çdo episod. v3.0 bashkon shumë episode në sharda të përbashkëta dhe rindërton kufijtë nga metadatat, kështu që info.json përmban shabllone rrugësh si data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet në vend të një numri episodi. Justifikimi i sipërm është më pak skedarë, por më të mëdhenj: inicializim më i shpejtë dhe më pak presion në sistemin e skedarëve në shkallë të gjerë.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Dy rrugë drejt të njëjtit grup të dhënash

Nga grupi i të dhënave te politika

Pesëdhjetë episode të pastra ushqejnë çdo mësim imitues që ekzekutohet këtu. ACT trajnohet nga e para vetëm në detyrën tuaj, rreth 80 M parametra me afërsisht 20 ms për hap veprimi, i vetmi nga të pesë që është i përshtatshëm me lëvizje të shpejtë. SmolVLA ka rreth 450 M parametra në një kartë 24 GB. GR00T N1.7 është një model themelor me rreth 3 B parametra ku akordimi i imët prek rreth 40 M parametra, kërkon një A100 ose H100, dhe dëshiron atë grup të dhënash v2.1.

Më pas, udhëzuesi për kombinimin tuaj: ACT on SO-100, SmolVLA on SO-100 ose GR00T N1.7 on SO-100; për një ekzekutim të parë, trajnoni politikën tuaj të parë është më i shkurtër. Kur politika funksionon në bankë por kolapson në momentin që lëvizni tavolinën, ky është një problem me të dhënat: politika funksionon vetëm në një konfigurim dhe mbledhja e të dhënave trajnuese VLA me cilësi të lartë thellohen më shumë në diversitet.