Сними го твојот прв LeRobot збир на податоци со SO-100

Следач SO-100, водечка рака со ист дизајн и две USB камери можат да дотераат политика за едно попладне. Истата клупа може исто толку лесно да произведе шеесет епизоди кои изгледаат здрави во прелистувач на датотеки и да потроши шестчасовно GPU извршување. Разликата ретко е моделот; таа е во она што се случило помеѓу сервомоторите и parquet датотеката.

Еве го рачниот пат, а потоа пократкиот. Секоја команда е од lerobot 0.6.1, објавена на 3 август 2026 година и актуелна на PyPI. Се префрли на влезни точки на конзолата, така што упатствата што извршуваат python lerobot/scripts/control_robot.py опишуваат датотека која повеќе не постои.

Што снима една сесија за снимање

Еден LeRobot збир на податоци не е папка со видеа, туку временски индексирана табела со прикачено видео: секој такт на контролната јамка запишува еден ред што ја содржи наредбената акција, состојбата што ја достигнал следбеникот, една рамка по камера, временски печат и индекси. Политиката ги гледа само тие колони. Шемата на lerobot/svla_so100_pickplace, прочитана од нејзиниот meta/info.json.

Зглобовите се main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll и main_gripper: шесте степени на слобода. Акцијата и состојбата делат иста форма бидејќи телеоперација водач-следбеник снима цел и позицијата достигната еден чекор подоцна. Таа празнина е информација: каде раката се борела со гравитацијата или заглавен објект. Тие низи се од тој збир на податоци. Сесија снимена со 0.6.1 денес запишува shoulder_pan.pos преку gripper.pos, ID-а од 1 до 6 на магистралата: истите шест зглобови, различни клучеви, што е важно во моментот кога конфигурацијата адресира карактеристика по име.

Што ви е потребно на работната маса

Ако раката сè уште не е изградена, тоа е посебна вечер: започнете од SO-100 започнување и целосен водич за поставување на SO-100. Ако сè уште ништо не сте купиле, прочитајте ја споредбата SO-100 наспроти SO-101 прво: SO-101 е поновата ревизија со подобрено ожичување и без чекор за отстранување на запчаници, а работниот тек на снимање е идентичен.

Инсталирајте lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Додатоците најчесто ги збунуваат луѓето. pip install lerobot инсталира само основни ML зависности, ништо што комуницира со робот. Рацете на Koch бараат dynamixel наместо feetech. Ако вашата школка никогаш не слушнала за lerobot-record, ова е причината.

Порти, ID на мотори и калибрација

Три еднократни чекори стојат помеѓу деловите и функционална телеоп јамка. овозможува политика тренирана на вашата рака да работи на туѓа, мапирајќи ги суровите вредности на енкодерот на заедничка конвенција за зглобови.

1. 1
   Најдете ја USB портата на секоја рака

   Стартувајте го со двете раце приклучени, исклучете ја онаа што ја идентификувате кога ќе бидете прашани и забележете која порта исчезнува. На Linux можеби ќе ви треба sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Запишете ги ID на моторите и брзините на пренос

   Идентификаторите се запишуваат еден мотор по еден, а документацијата е строга за тоа како: поврзете точно еден мотор со контролната плоча, сè уште не поврзан со ниту еден друг. Скриптата ја поминува низата наназад, прво барајќи го гриперот и давајќи му ID 6, потоа wrist_roll како 5, па сè до shoulder_pan како 1. Направете го тоа пред склопување.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Калибрирајте ги двете раце

   Поместете го секој зглоб до средината на неговиот опсег, притиснете Enter, а потоа поминете го секој низ целиот негов опсег. id станува име на датотеката на профилот.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Телеоперирајте пред да снимите нешто

   Тестот за прифаќање за сè погоре. Ако телеоперацијата е нерамна, огледална, или еден зглоб не следи, снимањето го зачувува тоа во 50 епизоди.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Камерите одлучуваат што гледа политиката

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Два погледи, и нивната позиција е важна: фиксна камера за сцена која го покрива работниот простор, и камера на зглобот близу крајниот ефектор која покажува што ќе допре грабежот. Контролната листа за податочни множества на заедницата LeRobot бара по можност два погледи со 480x640 / 720p или подобро, статична позадина, неутрално стабилно осветлување, а водечката рака и човечките екстремитети да бидат надвор од кадарот. Водичот за снимање додава практично правило: треба да можете да ја извршите задачата сами, гледајќи ги само сликите од камерата.

Командата за запис и секој флаг

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Стандардните вредности подолу доаѓаат од src/lerobot/configs/dataset.py на главната гранка, а не од туторијал. Неколку од нив не се она што луѓето го претпоставуваат.

Контрола со тастатура за време на сесија

• Десна стрелка или n: завршете ја епизодата или ресетирајте ја фазата порано. Ова е копчето што најмногу го користите, бидејќи чистото фаќање ретко бара 25 секунди.
• Лева стрелка или r: отфрлете ја епизодата и повторете ја. Лошото снимање не чини ништо сега, а многу подоцна.
• Escape или q: запрете ја сесијата, завршете го кодирањето, поставете.
• Овие работат на X11, Wayland и headless SSH: без глобален позадински систем за клучеви, lerobot-record ги чита истите клучеви од контролниот терминал. Буквите преживуваат бавни SSH врски, каде што секвенците на стрелки се делат.
• Тастатурната телеоперација е различна и бара глобален позадински систем: X11, Windows или macOS со Accessibility.

Колку епизоди, и како изгледа добрата

Водичот за снимање предлага најмалку 50 епизоди за прва задача, околу 10 по локација на објект. Страниците со политики наведуваат минимум по модел, под кој извршувањето не вреди за времето на графичкиот процесор.

Подоброто прашање е колку од што. Закони за скалирање на податоци во учењето со имитација за роботска манипулација (Лин и сор., 2024) собраа над 40.000 демонстрации и извршија повеќе од 15.000 реални извршувања. Генерализацијата следеше приближно степенски законски однос со бројот на околини и објекти, а по надминување на прагот по околина или објект, дополнителните демонстрации имаа минимален ефект. На една клупа: поместете го објектот, променете го осветлувањето, заменете ја коцката, наместо да повторувате едно снимање.

Добра епизода е досадна: повторлива почетна поза, една работа завршена, завршена откако објектот е во корпата, низа на задача од 25 до 50 знаци како што препорачува контролната листа. Земи ја црвената коцка и стави ја во кутијата е низа на задача; task1 е анти-шаблонот што контролната листа експлицитно го именува. Нејасните анотации се на врвот на листата на проблеми, и тие се најважни за , каде што низата е влез за моделот, а не име на датотека.

Дефекти кои тивко уништуваат збир на податоци

Ниту еден не фрла исклучок. Сите преживуваат до обуката, појавувајќи се како крива на загуба која изгледа добро и робот кој не прави ништо. Проверете додека сцената е поставена.

Една забелешка: табелата во водичот за стриминг-енкодирање го наведува стандардното како True, додека класата за податоци на главната гранка чита streaming_encoding: bool = False. Документацијата и кодот не се согласуваат, затоа поставете го експлицитно; lerobot логира навестување препорачувајќи го секогаш кога ќе започне со исклучено знаменце.

Проверете го множеството податоци пред да изнајмите графичка картичка

Тестот за прифаќање од документацијата: споредете го времетраењето на видеото со времетраењето на епизодата што го пријави CLI, и потврдете дека бројот на редови е еднаков на fps пати времетраењето. По епизода, не на вкупниот збир.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Потоа погледнете го. lerobot-dataset-viz го репродуцира епизодата кадар по кадар со траги од зглобови покрај погледите од камерата, во Rerun или Foxglove. Заменети камери и замрзнати кадри се појавуваат за десет секунди. Луѓето го прескокнуваат овој чекор.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 или v3.0: одлучете пред да снимате

v2.1 запишуваше еден parquet и еден MP4 по епизода. v3.0 спојува многу епизоди во заеднички парчиња и ги обновува границите од метаподатоците, така што info.json содржи шаблони за патеки како data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet наместо број на епизода. Основната оправданост е помалку, поголеми датотеки: побрза иницијализација и помал притисок врз датотечниот систем при скалирање.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Два патишта до истиот сет на податоци

Од збир на податоци до политика

Педесет чисти епизоди се користат за секое извршување овде. се тренира од нула само на вашата задача, околу 80 милиони параметри со приближно 20 ms по чекор на акција, единствениот од петте кој е удобен со брзо движење. е околу 450 милиони параметри на картичка од 24 GB. е приближно 3 милијарди параметри основен модел каде допира околу 40 милиони параметри, бара A100 или H100 и го сака тој v2.1 збир на податоци.

Следно, водичот за вашата комбинација: , или ; за прво извршување, е пократок. Кога политиката работи на клупата, но се распаѓа во моментот кога ќе ја поместите масата, тоа е проблем со податоците: и одат подлабоко во разновидноста.