Алғашқы LeRobot деректер жинағын SO-100 көмегімен жазыңыз

Бір SO-100 ізбасары, бірдей дизайнды жетекші қол және екі USB камера бір түстен кейін саясатты реттей алады. Дәл сол стенд файл шолғышында сау көрінетін алпыс эпизодты оңай шығара алады және алты сағаттық GPU жұмысын ысырап етеді. Айырмашылық сирек модельде болады; ол сервоприводтар мен parquet файлы арасында болған нәрседе.

Міне, қолмен орындалатын жол, содан кейін қысқасы. Әрбір пәрмен lerobot 0.6.1 нұсқасынан, 2026 жылдың 3 тамызында шығарылған және PyPI-дегі ағымдағы нұсқасы. Ол консольдік кіру нүктелеріне ауысты, сондықтан python lerobot/scripts/control_robot.py іске қосатын оқулықтар енді жоқ файлды сипаттайды.

Жазу сессиясы не түсіреді

A LeRobot дерекқоры бейнелер қалтасы емес, бейне қоса берілген уақыт бойынша индекстелген кесте: әрбір басқару циклінің тілімі басқарылатын әрекетті, ізбасар жеткен күйді, камераға бір кадрды, уақыт белгісін және индекстерді қамтитын бір жолды жазады. Саясат тек осы бағандарды көреді. lerobot/svla_so100_pickplace схемасы, оның meta/info.json файлынан оқылған.

Буындар main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll және main_gripper: SO-100-дің алты еркіндік дәрежесі. Әрекет пен күй бір пішінді бөліседі, себебі жетекші-ізбасар телеоперациясы нысананы және бір қадам кейін жеткен позицияны жазады. Бұл айырмашылық ақпарат болып табылады: қолдың тартылыс күшімен немесе кептеліп қалған нысанмен күрескен жері. Бұл жолдар сол дерекқорға тиесілі. Бүгін 0.6.1 нұсқасымен жазылған сессия shoulder_pan.pos-тан gripper.pos-қа дейін, шинадағы 1-ден 6-ға дейінгі идентификаторларды жазады: бірдей алты буын, әртүрлі кілттер, бұл конфигурация функцияны атауы бойынша адрестеген кезде маңызды.

Жұмыс үстелінде не қажет

Егер қол әлі құрастырылмаған болса, бұл бөлек кеш: бастаңыз SO-100 бастау және SO-100 орнату бойынша толық нұсқаулық. Егер сіз ештеңе сатып алмаған болсаңыз, алдымен оқыңыз SO-100 мен SO-101 салыстыруы алдымен: SO-101 – жақсартылған сымдары бар және берілісті алу қадамы жоқ жаңа нұсқа, ал жазу жұмыс процесі бірдей.

lerobot 0.6.1 орнату

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Қосымшалар адамдарды жиі шатастырады. pip install lerobot тек негізгі ML тәуелділіктерін орнатады, роботпен сөйлесетін ештеңе жоқ. Koch қолдарына dynamixel орнына feetech қажет. Егер сіздің қабықшаңыз lerobot-record туралы ешқашан естімеген болса, міне себебі осы.

Порттар, қозғалтқыш идентификаторлары және калибрлеу

Бөлшектер мен жұмыс істейтін телеоперация циклі арасында үш бір реттік қадам бар. сіздің қолыңызда үйретілген саясатты басқа біреудің қолында іске қосады, шикі энкодер сандарын ортақ буын конвенциясына сәйкестендіреді.

1. 1
   Әр қолдың USB портын табыңыз

   Екі қолды да қосып іске қосыңыз, сұралған кезде анықтап жатқан қолды ажыратыңыз және қай порттың жоғалып кеткенін ескеріңіз. Linux жүйесінде сізге sudo chmod 666 /dev/ttyACM0 қажет болуы мүмкін.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Қозғалтқыш идентификаторлары мен бод жылдамдықтарын жазыңыз

   Идентификаторлар бір қозғалтқыштан кейін жазылады, және құжаттама қалай жасау керектігі туралы қатаң: контроллер тақтасына дәл бір қозғалтқышты қосыңыз, әлі басқаларға тізбектелмеген. Скрипт тізбекті кері қарай жүріп, алдымен қысқышты сұрайды және оған 6 идентификаторын береді, содан кейін білек айналымын 5, иық панорамасын 1-ге дейін береді. Мұны құрастыру алдында жасаңыз.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Екі қолды да калибрлеңіз

   Әрбір буынды диапазонының ортасына жылжытыңыз, Enter пернесін басыңыз, содан кейін әрқайсысын толық диапазоны бойынша жылжытыңыз. id профиль файл атауы болады.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Ештеңе жазбас бұрын телеоперация жасаңыз

   Жоғарыда айтылғандардың барлығына арналған қабылдау сынағы. Егер телеоперация дірілдесе, айналанса немесе бір буын ілеспесе, жазу оны 50 эпизодта сақтайды.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Камералар саясаттың нені көретінін анықтайды

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Екі көрініс және олардың орналасуы маңызды: жұмыс кеңістігін қамтитын тұрақты көрініс камерасы және соңғы эффекті ұстағыштың неге тиетінін көрсететін білек камерасы. LeRobot қауымдастық деректер жинақтарының тізімі 480x640 / 720p немесе одан да жақсы екі көріністі, статикалық фонды, бейтарап тұрақты жарықтандыруды және жетекші қол мен адам аяқ-қолдарын кадрдан тыс қалдыруды сұрайды. Жазу нұсқаулығы мынадай ережені қосады: сіз камера кескіндеріне қарап қана тапсырманы өзіңіз орындай алуыңыз керек.

Жазу пәрмені және әрбір жалауша

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Төмендегі әдепкі мәндер src/lerobot/configs/dataset.py негізгі тармақтағы файлдан алынған, оқулықтан емес. Кейбіреулері адамдар болжағандай емес.

Сеанс кезіндегі пернетақтамен басқару

• Оң жақ бағыттау немесе n: эпизодты аяқтау немесе фазаны ерте қалпына келтіру. Сіз ең көп қолданатын перне, себебі таза ұстау сирек 25 секундты қажет етеді.
• Сол жақ бағыттау немесе r: эпизодты жою және қайта жасау. Сәтсіз әрекет қазір ештеңеге тұрмайды, бірақ кейін көп шығын әкелуі мүмкін.
• Escape немесе q: сеансты тоқтату, кодтауды аяқтау, жүктеу.
• Бұлар X11, Wayland және headless SSH жүйелерінде жұмыс істейді: жаһандық пернелік бэкэнд болмаған кезде, lerobot-record басқару терминалынан бірдей пернелерді оқиды. Әріптер баяу SSH байланыстарында да жұмыс істейді, мұнда бағыттау тізбектері бөлініп қалуы мүмкін.
• Пернетақтамен телеоперация басқаша және жаһандық бэкэндті қажет етеді: X11, Windows немесе Accessibility қосылған macOS.

Қанша эпизод және жақсы эпизод қандай болады

Жазу нұсқаулығы бірінші тапсырма үшін кем дегенде 50 эпизодты, әр нысан орналасқан жеріне шамамен 10 эпизодты ұсынады. саясат беттері әр модельге ең аз мөлшерді көрсетеді, одан төмен іске қосу GPU уақытына тұрмайды.

Жақсырақ сұрақ – ненің қаншасы. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) 40 000-нан астам демонстрация жинап, 15 000-нан астам нақты әлемдік іске қосуды жүргізді. Жалпылау санымен шамамен дәрежелік заңдылық байланысын көрсетті орталар мен нысандар, және әр орта немесе нысан үшін белгілі бір шектен асқанда, қосымша демонстрациялардың әсері өте аз болды. Бір стендте: нысанды жылжытыңыз, жарықтандыруды өзгертіңіз, текшені ауыстырыңыз, бір рет қайталаудың орнына.

Жақсы эпизод қызықсыз: қайталанатын бастапқы қалып, бір іс орындалған, нысан қоқыс жәшігінде болғаннан кейін аяқталған, тапсырма жолы тізімдеме ұсынған 25-тен 50-ге дейінгі таңбада. Қызыл текшені алып, қорапқа салыңыз - тапсырма жолы; task1 - тізімдеме нақты атаған анти-үлгі. Түсініксіз аннотациялар оның мәселелер тізімін бастайды және олар ең маңыздысы көру-тіл-әрекет модельдері, мұнда жол файл атауы емес, модель кірісі болып табылады.

Деректер жинағын білдірмей бұзатын ақаулар

Ешқайсысы ерекше жағдай тудырмайды. Барлығы оқытуға дейін сақталып, жақсы көрінетін шығын қисығы және ештеңе істемейтін робот ретінде көрінеді. Көрініс орнатылған кезде тексеріңіз.

Бір ескерту: ағындық-кодтау нұсқаулығының кестесі әдепкі мәнді True, ал негізгі деректер класы streaming_encoding: bool = False. Құжаттама мен код сәйкес келмейді, сондықтан оны нақты орнатыңыз; lerobot жалауша өшірулі күйде іске қосылған кезде оны ұсынатын кеңес береді.

GPU жалға алмас бұрын деректер жинағын тексеріңіз

Құжаттамадағы қабылдау сынағы: бейне ұзақтығын CLI хабарлаған эпизод ұзақтығымен салыстырыңыз және жолдар санының кадр жиілігі мен ұзақтығына тең екенін растаңыз. Жалпы емес, әр эпизод бойынша.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Содан кейін оған қараңыз. lerobot-dataset-viz Rerun немесе Foxglove бағдарламаларында камера көріністерінің жанындағы буын іздерімен эпизодты кадр бойынша ойнатады. Аударылған камералар мен қатып қалған кадрлар он секунд ішінде пайда болады. Адамдар бұл қадамды өткізіп жібереді.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 немесе v3.0: жазбас бұрын шешім қабылдаңыз

v2.1 әр эпизодқа бір parquet және бір MP4 жазды. v3.0 көптеген эпизодтарды ортақ бөліктерге біріктіреді және метадеректерден шекараларды қайта құрады, сондықтан info.json келесідей жол үлгілерін қамтиды: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet эпизод нөмірінің орнына. Жоғарыдағы негіздеме – аз, үлкенірек файлдар: жылдамырақ инициализация және ауқымды жүйеде файлдық жүйеге аз қысым.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Бір деректер жинағына екі жол

Деректер жинағынан саясатқа дейін

Елу таза эпизод әрбір имитациялық оқытуды осында іске қосады. ACT сіздің тапсырмаңыз бойынша нөлден бастап оқытылады, шамамен 80 миллион параметр, әрекет қадамына шамамен 20 мс кетеді, бұл жылдам қозғалысқа ыңғайлы бес модельдің жалғызы. SmolVLA 24 ГБ картада шамамен 450 миллион параметрді құрайды. GR00T N1.7 шамамен 3 миллиард параметрлі негізгі модель, мұнда дәл баптау шамамен 40 миллион параметрге әсер етеді, A100 немесе H100 қажет етеді және v2.1 деректер жинағын қалайды.

Келесі, сіздің комбинацияңызға арналған нұсқаулық: SO-100-дегі ACT, SO-100-дегі SmolVLA немесе SO-100-дегі GR00T N1.7; алғашқы іске қосу үшін, алғашқы саясатыңызды оқытыңыз қысқарақ. Егер саясат стендте жұмыс істесе, бірақ үстелді жылжытқан сәтте құласа, бұл деректер мәселесі: саясат тек бір конфигурацияда жұмыс істейді және жоғары сапалы VLA оқыту деректерін жинау әртүрлілікке тереңірек үңіледі.