I-record ang Iyong Unang LeRobot Dataset Gamit ang SO-100

Ang SO-100 follower, isang leader arm na may parehong disenyo at dalawang USB camera ay kayang i-fine-tune ang isang policy sa loob ng isang hapon. Ang parehong bench ay madaling makagawa ng animnapung episode na mukhang maayos sa isang file browser at mag-aksaya ng anim na oras na GPU run. Ang pagkakaiba ay bihirang ang modelo; ito ay kung ano ang nangyari sa pagitan ng mga servo at ng parquet file.

Narito ang manual na ruta, pagkatapos ay ang mas maikli. Ang bawat command ay mula sa lerobot 0.6.1, inilabas noong 3 Agosto 2026 at kasalukuyan sa PyPI. Lumipat ito sa console entry points, kaya ang mga tutorial na nagpapatakbo ng python lerobot/scripts/control_robot.py ay naglalarawan ng isang file na wala na.

Ano ang nakukuha ng isang recording session

Ang LeRobot dataset ay hindi isang folder ng mga video kundi isang time-indexed na talahanayan na may kalakip na video: bawat control-loop tick ay nagsusulat ng isang row na naglalaman ng iniutos na aksyon, ang estado na naabot ng follower, isang frame bawat camera, isang timestamp at mga index. Ang policy ay nakikita lamang ang mga column na iyon. Ang schema ng lerobot/svla_so100_pickplace, nabasa mula sa meta/info.json nito.

Ang mga joint ay main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll at main_gripper: ang anim na degrees of freedom ng SO-100. Ang aksyon at estado ay may parehong hugis dahil leader-follower teleoperation ay nagtatala ng isang target at ang posisyon na naabot pagkatapos ng isang hakbang. Ang agwat na iyon ay impormasyon: kung saan nilabanan ng braso ang gravity o isang nakasabit na bagay. Ang mga string na iyon ay sa dataset na iyon. Ang isang session na naitala gamit ang 0.6.1 ngayon ay nagsusulat ng shoulder_pan.pos hanggang gripper.pos, mga ID 1 hanggang 6 sa bus: parehong anim na joint, iba't ibang key, na mahalaga sa sandaling ang isang config ay tumutukoy sa isang feature sa pamamagitan ng pangalan.

Ano ang kailangan mo sa bench

Kung hindi pa nabubuo ang braso, iyon ay para sa ibang gabi: magsimula sa pagsisimula sa SO-100 at ang kumpletong gabay sa pag-setup ng SO-100. Kung wala ka pang nabibili, basahin muna ang paghahambing ng SO-100 laban sa SO-101 muna: ang SO-101 ay ang mas bagong rebisyon na may pinahusay na wiring at walang hakbang sa pagtanggal ng gear, at magkapareho ang daloy ng trabaho sa pagre-record.

I-install ang lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Ang mga extras ang kadalasang nagpapahirap sa mga tao. pip install lerobot ay nag-i-install lamang ng mga pangunahing dependency ng ML, walang anumang nakikipag-ugnayan sa isang robot. Ang mga braso ng Koch ay nangangailangan ng dynamixel sa halip na feetech. Kung ang iyong shell ay hindi pa nakarinig ng lerobot-record, ito ang dahilan.

Mga Port, Motor ID at Kalibrasyon

Tatlong beses lang na hakbang ang kailangan para maging gumagana ang teleop loop. ang nagpapagana ng patakarang sinanay sa iyong braso sa braso ng iba, na nagmamapa ng mga raw encoder count sa isang shared joint convention.

1. 1
   Hanapin ang USB port ng bawat braso

   Patakbuhin ito na nakasaksak ang parehong braso, tanggalin ang saksak ng braso na iyong kinikilala kapag sinenyasan, at tandaan kung aling port ang nawala. Sa Linux, maaaring kailanganin mo ang sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Isulat ang mga Motor ID at Baudrate

   Ang mga ID ay isinusulat nang paisa-isang motor, at mahigpit ang mga dokumento tungkol sa kung paano: ikonekta ang eksaktong isang motor sa controller board, hindi pa naka-daisy-chain sa iba. Ang script ay naglalakad paatras sa chain, nagtatanong muna para sa gripper at binibigyan ito ng id 6, pagkatapos ay wrist_roll bilang 5, pababa sa shoulder_pan bilang 1. Gawin ito bago ang pag-assemble.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   I-calibrate ang parehong braso

   Ilipat ang bawat joint sa gitna ng saklaw nito, pindutin ang Enter, pagkatapos ay i-sweep ang bawat isa sa buong saklaw nito. Ang id ang magiging filename ng profile.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Mag-teleoperate bago mag-record ng anuman

   Ang acceptance test para sa lahat ng nasa itaas. Kung ang teleoperation ay magalaw, mirrored, o hindi susunod ang isang joint, naitatala ito sa 50 episodes.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Ang mga camera ang nagpapasya kung ano ang nakikita ng patakaran

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Dalawang view, at mahalaga kung saan sila nakapuwesto: isang nakapirming scene camera na sumasaklaw sa workspace, at isang wrist camera malapit sa end-effector na nagpapakita kung ano ang malapit nang hawakan ng gripper. Ang checklist ng LeRobot community-datasets ay humihingi ng mas mainam na dalawang view sa 480x640 / 720p o mas mahusay, isang static na background, neutral na matatag na ilaw, at ang leader arm at mga bahagi ng katawan ng tao ay wala sa frame. Idinagdag ng recording guide ang panuntunan: dapat mong magawa ang gawain sa iyong sarili sa pamamagitan lamang ng pagtingin sa mga imahe ng camera.

Ang record command at bawat flag

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Ang mga default sa ibaba ay nagmula sa src/lerobot/configs/dataset.py sa main, hindi isang tutorial. Marami ang hindi inaakala ng mga tao.

Pagkontrol ng keyboard sa panahon ng isang session

• Right arrow o n: tapusin ang episode o i-reset ang phase nang maaga. Ito ang key na pinakamadalas mong gamitin, dahil ang isang malinis na paghawak ay bihirang mangailangan ng 25 segundo.
• Left arrow o r: itapon ang episode at ulitin ito. Ang isang masamang take ay walang gastos ngayon at malaki ang gastos sa huli.
• Escape o q: ihinto ang session, tapusin ang encoding, i-upload.
• Gumagana ang mga ito sa X11, Wayland at headless SSH: nang walang global key backend, binabasa ng lerobot-record ang parehong mga key mula sa controlling terminal. Ang mga letra ay nakakaligtas sa laggy na SSH links, kung saan nahahati ang mga arrow sequence.
• Iba ang Keyboard teleoperation at nangangailangan ng global backend: X11, Windows, o macOS na may Accessibility.

Ilang episode, at ano ang hitsura ng isang magandang episode

Ang gabay sa pagre-record ay nagmumungkahi ng hindi bababa sa 50 episode para sa unang gawain, humigit-kumulang 10 bawat lokasyon ng bagay. Ang mga pahina ng patakaran ay naglilista ng minimum bawat modelo, kung saan ang isang pagpapatakbo ay hindi sulit sa oras ng GPU.

Ang mas mahusay na tanong ay kung gaano karami ng ano. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) ay nakakolekta ng mahigit 40,000 demonstrasyon at nagpatakbo ng mahigit 15,000 real-world rollout. Ang paglalahat ay sumunod sa isang halos power-law na relasyon sa bilang ng environments and objects, at lampas sa isang threshold bawat kapaligiran o bagay, ang mga karagdagang demonstrasyon ay may kaunting epekto. Sa isang bench: ilipat ang bagay, baguhin ang ilaw, palitan ang cube, sa halip na ulitin ang isang take.

Ang isang magandang episode ay nakakainip: paulit-ulit na home pose, isang bagay lang ang ginawa, natapos kapag nasa basurahan na ang bagay, task string na nasa 25 hanggang 50 karakter na inirerekomenda ng checklist. Piliin ang pulang cube at ihulog ito sa kahon ay isang task string; task1 ay ang anti-pattern na tahasang binanggit ng checklist. Ang malabong anotasyon ang nangunguna sa listahan ng mga problema nito, at pinakamahalaga ang mga ito para sa mga modelo ng vision-language-action, kung saan ang string ay isang input ng modelo, hindi isang filename.

Mga Depekto na Tahimik na Sumisira sa Isang Dataset

Wala sa mga ito ang nagtatapon ng exception. Lahat ay nakakaligtas sa training, lumalabas bilang isang loss curve na mukhang maayos at isang robot na walang ginagawa. Suriin habang naka-set up ang eksena.

Isang babala: ang talahanayan ng gabay sa streaming-encoding ay naglilista ng default bilang True, habang ang dataclass sa main ay nagbabasa ng streaming_encoding: bool = False. Hindi magkatugma ang docs at code, kaya itakda ito nang tahasan; nagla-log ang lerobot ng pahiwatig na nagrerekomenda nito tuwing nagsisimula ito nang naka-off ang flag.

Suriin ang dataset bago umarkila ng GPU

Ang acceptance test mula sa docs: ihambing ang tagal ng video sa tagal ng episode na iniulat ng CLI, at kumpirmahin na ang bilang ng row ay katumbas ng fps times duration. Bawat episode, hindi sa kabuuan.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Pagkatapos tingnan ito. lerobot-dataset-viz inirereplay ang isang episode frame by frame na may joint traces sa tabi ng mga view ng camera, sa Rerun o Foxglove. Ang mga pinagpalit na camera at frozen frames ay lumalabas sa loob ng sampung segundo. Nilalaktawan ng mga tao ang hakbang na ito.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 o v3.0: magpasya bago ka mag-record

Ang v2.1 ay sumulat ng isang parquet at isang MP4 bawat episode. Pinagsasama ng v3.0 ang maraming episode sa mga shared shard at muling binubuo ang mga hangganan mula sa metadata, kaya ang info.json ay nagdadala ng mga template ng path tulad ng data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet sa halip na numero ng episode. Ang pangangatwiran sa upstream ay mas kaunti, mas malalaking file: mas mabilis na pagsisimula at mas kaunting pressure sa file-system sa scale.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Dalawang ruta patungo sa parehong dataset

Mula dataset patungo sa policy

Limampung malinis na episode ang nagpapakain sa bawat na tumatakbo dito. nagsasanay mula sa simula sa iyong gawain lamang, humigit-kumulang 80 M parameter sa halos 20 ms bawat hakbang ng aksyon, ang tanging isa sa lima na kumportable sa mabilis na paggalaw. ay humigit-kumulang 450 M parameter sa isang 24 GB card. ay isang humigit-kumulang 3 B parameter na foundation model kung saan humahawak ng humigit-kumulang 40 M parameter, nangangailangan ng A100 o H100, at gusto ang v2.1 dataset na iyon.

Susunod, ang gabay para sa iyong kombinasyon: , o ; para sa unang pagpapatakbo, ay mas maikli. Kapag gumagana ang policy sa bench ngunit bumagsak sa sandaling ilipat mo ang mesa, iyon ay problema sa data: at ay mas malalim sa pagkakaiba-iba.