Запишіть свій перший набір даних LeRobot за допомогою SO-100

Ведений SO-100 ведений, ведучий маніпулятор тієї ж конструкції та дві USB-камери можуть налаштувати політику за один день. Той самий стенд може так само легко створити шістдесят епізодів, які виглядають здоровими у файловому браузері, і витратити шестигодинний запуск GPU. Різниця рідко полягає в моделі; вона полягає в тому, що відбувалося між сервоприводами та файлом parquet.

Ось ручний шлях, а потім коротший. Кожна команда походить з lerobot 0.6.1, випущеного 3 серпня 2026 року та актуального на PyPI. Він перейшов на точки входу консолі, тому навчальні посібники, які запускають python lerobot/scripts/control_robot.py описують файл, який більше не існує.

Що фіксує сесія запису

Набір даних LeRobot — це не папка з відео, а таблиця з часовим індексом та прикріпленим відео: кожен такт циклу керування записує один рядок, що містить задану дію, стан, якого досяг послідовник, один кадр з кожної камери, мітку часу та індекси. Політика бачить лише ці стовпці. Схема lerobot/svla_so100_pickplace, прочитана з її meta/info.json.

Суглоби: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll та main_gripper: шість ступенів свободи SO-100. Дія та стан мають однакову форму, оскільки телеоперація "лідер-послідовник" записує ціль та положення, досягнуте на один крок пізніше. Цей розрив є інформацією: де рука боролася з гравітацією або застряглим об'єктом. Ці рядки належать цьому набору даних. Сесія, записана сьогодні з 0.6.1, записує shoulder_pan.pos до gripper.pos, ідентифікатори від 1 до 6 на шині: ті самі шість суглобів, різні ключі, що має значення в момент, коли конфігурація звертається до функції за назвою.

Що вам знадобиться на стенді

Якщо маніпулятор ще не зібраний, це окремий вечір: почніть з Початок роботи з SO-100 та повного посібника з налаштування SO-100. Якщо ви ще нічого не придбали, спочатку прочитайте порівняння SO-100 та SO-101 спочатку: SO-101 — це новіша ревізія з покращеною проводкою та без етапу видалення шестерень, а робочий процес запису ідентичний.

Встановіть lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Додаткові компоненти найчастіше викликають труднощі. pip install lerobot встановлює лише основні залежності ML, нічого, що взаємодіє з роботом. Маніпулятори Koch потребують dynamixel замість feetech. Якщо ваша оболонка ніколи не чула про lerobot-record, то ось чому.

Порти, ідентифікатори двигунів та калібрування

Три одноразові кроки відділяють компоненти від робочого циклу телеоперації. дозволяє політиці, навченій на вашій руці, працювати на чужій, відображаючи необроблені значення енкодерів на спільну конвенцію суглобів.

1. 1
   Знайдіть USB-порт кожної руки

   Запустіть його з підключеними обома руками, відключіть ту, яку ви ідентифікуєте, коли буде запропоновано, і зверніть увагу, який порт зникає. У Linux вам може знадобитися sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Запишіть ідентифікатори двигунів та швидкості передачі даних

   Ідентифікатори записуються по одному двигуну, і документація суворо регламентує, як це робити: підключіть лише один двигун до плати контролера, ще не з'єднаний послідовно з іншими. Скрипт проходить ланцюг у зворотному порядку, спочатку запитуючи захват і присвоюючи йому ідентифікатор 6, потім wrist_roll як 5, аж до shoulder_pan як 1. Зробіть це до збирання.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Відкалібруйте обидві руки

   Перемістіть кожен суглоб у середину його діапазону, натисніть Enter, а потім проведіть кожен через весь його діапазон. id стає ім'ям файлу профілю.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Телекерування перед будь-яким записом

   Приймальний тест для всього вищезазначеного. Якщо телеоперація є ривковою, дзеркальною або один суглоб не слідує, запис зберігає це у 50 епізодах.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Камери визначають, що бачить політика

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Два ракурси, і їхнє розташування має значення: фіксована камера сцени, що охоплює робочий простір, і зап'ястна камера біля кінцевого захвата, що показує, до чого збирається доторкнутися захват. Контрольний список наборів даних спільноти LeRobot вимагає бажано два ракурси 480x640 / 720p або краще, статичний фон, нейтральне стабільне освітлення, а також щоб рука лідера та людські кінцівки були поза кадром. Посібник із запису додає емпіричне правило: ви повинні бути в змозі виконати завдання самостійно, дивлячись лише на зображення з камери.

Команда запису та кожен прапор

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Наведені нижче значення за замовчуванням походять з src/lerobot/configs/dataset.py у гілці main, а не з підручника. Деякі з них не відповідають припущенням людей.

Керування клавіатурою під час сесії

• Права стрілка або n: завершити епізод або скинути фазу раніше. Клавіша, яку ви використовуєте найчастіше, оскільки чисте захоплення рідко потребує 25 секунд.
• Ліва стрілка або r: відхилити епізод і переробити його. Невдалий дубль нічого не коштує зараз і багато пізніше.
• Escape або q: зупинити сесію, завершити кодування, завантажити.
• Це працює на X11, Wayland та безголовому SSH: без глобального бекенду клавіш, lerobot-record читає ті ж клавіші з керуючого терміналу. Літери витримують повільні SSH-з'єднання, де послідовності стрілок розбиваються.
• Клавіатурна телеоперація відрізняється і потребує глобального бекенду: X11, Windows або macOS з Accessibility.

Скільки епізодів і як виглядає хороший

Посібник із запису пропонує щонайменше 50 епізодів для першого завдання, близько 10 на кожне місце розташування об'єкта. сторінки політик перераховують мінімум для кожної моделі, нижче якого запуск не вартий часу GPU.

Краще питання: скільки чого. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) зібрали понад 40 000 демонстрацій та провели понад 15 000 реальних запусків. Узагальнення слідувало приблизно степеневому закону залежності від кількості середовищ та об'єктів, і після досягнення порогу для кожного середовища або об'єкта, додаткові демонстрації мали мінімальний ефект. На одному стенді: перемістіть об'єкт, змініть освітлення, поміняйте куб, замість того, щоб повторювати один дубль.

Хороший епізод нудний: повторювана домашня поза, одна виконана дія, завершення після того, як об'єкт опинився у кошику, рядок завдання від 25 до 50 символів, рекомендованих контрольним списком. Візьми червоний куб і кинь його в коробку є рядком завдання; task1 є антишаблоном, який контрольний список називає явно. Нечіткі анотації очолюють список проблем, і вони найбільш важливі для , де рядок є вхідними даними моделі, а не ім'ям файлу.

Дефекти, які непомітно руйнують набір даних

Жоден не викликає винятку. Всі вони виживають під час навчання, проявляючись як крива втрат, що виглядає нормально, і робот, який нічого не робить. Перевіряйте, поки сцена налаштована.

Одне застереження: таблиця посібника з потокового кодування вказує значення за замовчуванням як True, тоді як dataclass у main читається як streaming_encoding: bool = False. Документація та код розходяться, тому встановіть його явно; lerobot реєструє підказку, рекомендуючи це щоразу, коли він запускається з вимкненим прапорцем.

Перевірте набір даних перед орендою GPU

Приймальний тест з документації: порівняйте тривалість відео з тривалістю епізоду, яку повідомив CLI, і підтвердьте, що кількість рядків дорівнює fps, помноженому на тривалість. Для кожного епізоду, а не для загальної кількості.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Потім подивіться на нього. lerobot-dataset-viz відтворює епізод кадр за кадром з трасуванням суглобів поруч із зображеннями з камер, у Rerun або Foxglove. Замінені камери та заморожені кадри з'являються за десять секунд. Люди пропускають цей крок.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 або v3.0: вирішіть перед записом

v2.1 записував один parquet та один MP4 на епізод. v3.0 об'єднує багато епізодів у спільні сегменти та відновлює межі з метаданих, тому info.json містить шаблони шляхів, такі як data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet замість номера епізоду. Обґрунтування полягає в меншій кількості більших файлів: швидша ініціалізація та менше навантаження на файлову систему в масштабі.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Два шляхи до одного набору даних

Від набору даних до політики

П'ятдесят чистих епізодів живлять кожен запуск тут. навчається з нуля лише на вашому завданні, близько 80 мільйонів параметрів, приблизно 20 мс на крок дії, єдиний з п'яти, що комфортно працює зі швидким рухом. має близько 450 мільйонів параметрів на карті 24 ГБ. — це фундаментальна модель з приблизно 3 мільярдами параметрів, де зачіпає близько 40 мільйонів параметрів, потребує A100 або H100 і бажає набір даних v2.1.

Далі, посібник для вашої комбінації: , або ; для першого запуску буде коротшим. Якщо політика працює на стенді, але руйнується, щойно ви пересуваєте стіл, це проблема з даними: та глибше розглядають різноманітність.