Birinchi LeRobot Ma'lumotlar To'plamingizni SO-100 bilan Yozib Oling

Bir SO-100 kuzatuvchi, xuddi shu dizayndagi yetakchi qo'l va ikkita USB kamera bir tushdan keyin siyosatni nozik sozlashlari mumkin. Xuddi shu stend fayl brauzerida sog'lom ko'rinadigan oltmish epizodni osongina yaratishi va olti soatlik GPU ishini behuda sarflashi mumkin. Farq kamdan-kam hollarda modelda bo'ladi; bu servo va parquet fayli o'rtasida sodir bo'lgan narsadir.

Bu yerda avval qo'lda bajariladigan yo'l, keyin esa qisqaroq yo'l ko'rsatilgan. Har bir buyruq 2026-yil 3-avgustda chiqarilgan va PyPI'da mavjud bo'lgan lerobot 0.6.1'dan olingan. U konsol kirish nuqtalariga o'tdi, shuning uchun python lerobot/scripts/control_robot.py ishga tushiradigan qo'llanmalar endi mavjud bo'lmagan faylni tasvirlaydi.

Yozish sessiyasi nimani qamrab oladi

Bir LeRobot maʼlumotlar toʻplami videolar papkasi emas, balki videolari biriktirilgan vaqt boʻyicha indekslangan jadvaldir: har bir boshqaruv-sikl takti buyurilgan harakatni, kuzatuvchi erishgan holatni, har bir kamera uchun bitta kadrni, vaqt tamgʻasini va indekslarni oʻz ichiga olgan bitta qatorni yozadi. Siyosat faqat shu ustunlarni koʻradi. lerobot/svla_so100_pickplace ning sxemasi, uning meta/info.json faylidan oʻqilgan.

Boʻgʻinlar main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll va main_gripper: SO-100 ning oltita erkinlik darajasi. Harakat va holat bir xil shaklga ega, chunki yetakchi-kuzatuvchi teleoperatsiyasi nishonni va bir qadam keyin erishilgan pozitsiyani yozib oladi. Bu boʻshliq maʼlumotdir: qoʻl tortishish kuchiga yoki tiqilib qolgan narsaga qarshi kurashgan joy. Bu satrlar oʻsha maʼlumotlar toʻplamiga tegishli. Bugun 0.6.1 versiyasi bilan yozilgan sessiya shoulder_pan.pos dan gripper.pos gacha, avtobusda 1 dan 6 gacha ID larni yozadi: bir xil oltita boʻgʻin, ammo turli kalitlar, bu konfiguratsiya xususiyatni nomi bilan chaqirgan paytda muhimdir.

Ish stolida sizga nimalar kerak bo'ladi

Agar qo'l hali yig'ilmagan bo'lsa, bu alohida kechki ish: quyidagidan boshlang SO-100 bilan ishlashni boshlash, va SO-100 ni sozlash bo'yicha to'liq qo'llanma. Agar siz hali hech narsa sotib olmagan bo'lsangiz, avval SO-100 va SO-101 taqqoslash ni o'qing: SO-101 yaxshilangan simlar va tishli g'ildirakni olib tashlash bosqichisiz yangi versiya bo'lib, yozib olish jarayoni bir xil.

lerobot 0.6.1 ni o'rnating

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Qo'shimcha funksiyalar ko'pchilikni chalkashtiradi. pip install lerobot faqat asosiy ML bog'liqliklarini o'rnatadi, robot bilan aloqa qiladigan hech narsani emas. Koch qo'llari uchun dynamixel o'rniga feetech kerak. Agar sizning shell'ingiz lerobot-record haqida hech qachon eshitmagan bo'lsa, sababi shunda.

Portlar, motor IDlari va kalibrlash

Qismlar va ishlaydigan teleop sikli o'rtasida uchta bir martalik qadam mavjud. sizning qo'lingizda o'qitilgan siyosatni boshqa birovning qo'lida ishlatishga imkon beradi, xom enkoder hisoblarini umumiy bo'g'in konventsiyasiga moslashtiradi.

1. 1
   Har bir qo'lning USB portini toping

   Ikkala qo'l ham ulangan holda ishga tushiring, so'ralganda aniqlayotganingizni uzing va qaysi port yo'qolganini qayd eting. Linuxda sizga sudo chmod 666 /dev/ttyACM0 kerak bo'lishi mumkin.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Motor IDlari va uzatish tezligini yozing

   IDlar birma-bir motorga yoziladi va hujjatlarda qanday qilib yozish kerakligi qat'iy ko'rsatilgan: boshqa motorlarga ketma-ket ulanmagan holda, boshqaruv platasiga faqat bitta motorni ulang. Skript zanjirni orqaga qarab yuradi, avval tutqich uchun so'rov beradi va unga 6-IDni beradi, keyin bilak aylanishi uchun 5-IDni, yelka panasi uchun esa 1-IDni beradi. Buni yig'ishdan oldin bajaring.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Ikkala qo'lni ham kalibrlang

   Har bir bo'g'inni o'z diapazonining o'rtasiga o'tkazing, Enter tugmasini bosing, so'ngra har birini to'liq diapazoni bo'ylab harakatlantiring. id profil fayl nomiga aylanadi.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Hech narsa yozib olishdan oldin teleoperatsiya qiling

   Yuqoridagi barcha narsalar uchun qabul sinovi. Agar teleoperatsiya sakrab-sakrab ishlasa, aks ettirilgan bo'lsa yoki bitta bo'g'in ergashmasa, yozib olish buni 50 epizodda saqlab qoladi.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameralar siyosat nimani ko'rishini hal qiladi

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Ikki ko'rinish va ularning joylashuvi muhim: ish maydonini qoplaydigan statsionar sahna kamerasi va oxirgi aktuator ushlagich nimaga tegmoqchi ekanligini ko'rsatuvchi bilak kamerasi. LeRobot hamjamiyat-ma'lumotlar to'plamlari ro'yxati afzalroq 480x640 / 720p yoki undan yaxshiroq ikki ko'rinishni, statik fonni, neytral barqaror yoritishni hamda yetakchi qo'l va inson a'zolarining kadrda bo'lmasligini talab qiladi. Yozib olish qo'llanmasi shunday qoidani qo'shadi: siz vazifani faqat kamera tasvirlariga qarab o'zingiz bajarishingiz kerak.

Yozish buyrug'i va har bir flag

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Quyidagi standart qiymatlar src/lerobot/configs/dataset.py asosiy qismdan olingan, qo'llanmadan emas. Ba'zilari odamlar taxmin qilganidek emas.

Sessiya davomida klaviatura orqali boshqarish

• O'ng strelka yoki n: epizodni tugatish yoki bosqichni muddatidan oldin qayta o'rnatish. Bu siz eng ko'p ishlatadigan tugma, chunki toza ushlash kamdan-kam hollarda 25 soniyani talab qiladi.
• Chap strelka yoki r: epizodni bekor qilish va uni qayta bajarish. Yomon urinish hozir hech narsa turmaydi, keyin esa ko'p narsa turadi.
• Escape yoki q: sessiyani to'xtatish, kodlashni yakunlash, yuklash.
• Bular X11, Wayland va headless SSH da ishlaydi: global kalit backendisiz, lerobot-record boshqaruvchi terminaldan bir xil kalitlarni o'qiydi. Harflar sekin ishlaydigan SSH ulanishlarida ham saqlanib qoladi, bu yerda strelka ketma-ketliklari bo'linadi.
• Klaviatura teleoperatsiyasi boshqacha va global backendni talab qiladi: X11, Windows yoki Accessibility bilan macOS.

Qancha epizodlar va yaxshi epizod qanday ko'rinishga ega

Yozish bo'yicha qo'llanma birinchi vazifa uchun kamida 50 ta epizod, har bir obyekt joylashuvi uchun taxminan 10 tadan taklif qiladi. siyosat sahifalari har bir model uchun minimal miqdorni ko'rsatadi, undan kam bo'lsa, ishlatish GPU vaqtiga arzimaydi.

Yaxshiroq savol shundaki, nimalardan qancha. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin va boshq., 2024) 40 000 dan ortiq namoyishlarni to'pladi va 15 000 dan ortiq real dunyo sinovlarini o'tkazdi. Umumlashtirish muhitlar va obyektlar soni bilan taxminan darajali qonuniy bog'liqlikni ko'rsatdi va har bir muhit yoki obyekt uchun belgilangan chegaradan o'tgach, qo'shimcha namoyishlar minimal ta'sir ko'rsatdi. Bir stendda: obyektni siljiting, yoritishni o'zgartiring, kubni almashtiring, bir xil harakatni takrorlashdan ko'ra.

Yaxshi epizod zerikarli: takrorlanuvchi boshlangʻich holat, bitta ish bajarilgan, obyekt qutiga tushgach tugatilgan, nazorat roʻyxati tavsiya qilgan 25 dan 50 gacha belgidan iborat vazifa satri. Qizil kubni oling va qutiga tashlang vazifa satri hisoblanadi; task1 nazorat roʻyxati aniq nomlagan anti-namuna hisoblanadi. Noaniq izohlar uning muammolar roʻyxatini boshlab beradi va ular eng muhimi koʻrish-til-harakat modellari uchun ahamiyatli, bu yerda satr model kiritmasi, fayl nomi emas.

Maʼlumotlar toʻplamini jimjit buzadigan nuqsonlar

Hech biri istisno keltirmaydi. Hammasi oʻqitishga oʻtadi, natijada yaxshi koʻrinadigan yoʻqotish egri chizigʻi va hech narsa qilmaydigan robot paydo boʻladi. Sahna sozlanayotganda tekshiring.

Bir ogohlantirish: oqimli kodlash qo'llanmasining jadvalida standart qiymat True, asosiy dataclass esa streaming_encoding: bool = False deb ko'rsatilgan. Hujjatlar va kod mos kelmaydi, shuning uchun uni aniq belgilang; lerobot bayroq o'chirilgan holda ishga tushganda uni tavsiya qiluvchi maslahatni yozib boradi.

GPU ijaraga olishdan oldin ma'lumotlar to'plamini tekshiring

Hujjatlardagi qabul testi: video davomiyligini CLI xabar bergan epizod davomiyligi bilan solishtiring va qatorlar soni fps ko'paytirilgan davomiylikka teng ekanligini tasdiqlang. Har bir epizod uchun, umumiy son bo'yicha emas.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Keyin uni ko'rib chiqing. lerobot-dataset-viz Rerun yoki Foxglove'da kamera ko'rinishlari yonida bo'g'in izlari bilan epizodni kadrma-kadr ijro etadi. Almashtirilgan kameralar va muzlatilgan kadrlar o'n soniyada paydo bo'ladi. Odamlar bu qadamni o'tkazib yuborishadi.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 yoki v3.0: yozishdan oldin hal qiling

v2.1 har bir epizod uchun bitta parquet va bitta MP4 yozgan. v3.0 ko'plab epizodlarni umumiy shardlarga birlashtiradi va chegaralarni metama'lumotlardan qayta tiklaydi, shuning uchun info.json yo'l shablonlarini quyidagicha olib boradi: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet epizod raqami o'rniga. Yuqori oqimdagi asoslash kamroq, kattaroq fayllar: tezroq ishga tushirish va keng miqyosda fayl tizimiga kamroq bosim.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Bir xil ma'lumotlar to'plamiga ikki yo'l

Ma'lumotlar to'plamidan siyosatga

Ellikta toza epizod har bir imitatsion o'rganish bu yerda ishlaydi. ACT faqat sizning vazifangiz bo'yicha noldan o'qitiladi, taxminan 80 million parametr har bir harakat bosqichiga taxminan 20 ms sarflaydi, tez harakatlanishga qulay bo'lgan beshtadan yagona model. SmolVLA 24 GB kartada taxminan 450 million parametrga ega. GR00T N1.7 taxminan 3 milliard parametrli asosiy model bo'lib, u yerda nozik sozlash taxminan 40 million parametrga tegadi, A100 yoki H100 talab qiladi va o'sha v2.1 ma'lumotlar to'plamini xohlaydi.

Keyingi, sizning kombinatsiyangiz uchun qo'llanma: ACT on SO-100, SmolVLA on SO-100 yoki GR00T N1.7 on SO-100; birinchi ishga tushirish uchun, birinchi siyosatingizni o'qiting qisqaroq. Agar siyosat stolda ishlasa-yu, lekin stolni siljitganingizda ishdan chiqsa, bu ma'lumotlar muammosi: siyosat faqat bitta sozlamada ishlaydi va yuqori sifatli VLA o'qitish ma'lumotlarini yig'ish xilma-xillikni chuqurroq o'rganadi.