SO-100 ашиглан анхны LeRobot өгөгдлийн багцаа бичих

Нэг SO-100 дагагч, ижил загварын удирдагч гар болон хоёр USB камер нь нэг өдрийн дотор бодлогыг нарийн тааруулах боломжтой. Ижилхэн туршилтын тавцан нь файлын хөтөч дээр эрүүл харагдах жаран ангийг амархан үүсгэж, зургаан цагийн GPU ажиллагааг дэмий үрэх боломжтой. Ялгаа нь загварт ховор байдаг; энэ нь серво болон parquet файл хооронд юу болсон бэ гэдэгт оршино.

Энд гарын авлагын зам, дараа нь богино зам байна. Бүх тушаал нь 2026 оны 8-р сарын 3-нд гарсан, PyPI дээрх одоогийн lerobot 0.6.1-ээс авсан болно. Энэ нь консолын нэвтрэх цэгүүд рүү шилжсэн тул python lerobot/scripts/control_robot.py гэж ажиллуулдаг зааварчилгаанууд нь одоо байхгүй болсон файлыг тайлбарлаж байна.

Бичлэгийн сесс юуг барьж авдаг вэ

A LeRobot өгөгдлийн сан нь видеоны хавтас биш, харин видео хавсаргасан цаг хугацаагаар индекслэгдсэн хүснэгт юм: удирдлагын гогцооны алхам бүр тушаагдсан үйлдэл, дагагчийн хүрсэн төлөв, камер тус бүрээс нэг фрэйм, цагийн тэмдэг болон индекстэй нэг мөрийг бичдэг. Бодлого нь зөвхөн эдгээр багануудыг хардаг. lerobot/svla_so100_pickplace-ийн схем нь түүний meta/info.json-оос уншигдсан.

Үеүүд нь main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll болон main_gripper юм: SO-100-ийн зургаан эрх чөлөөний зэрэг. Үйлдэл болон төлөв нь ижил хэлбэртэй байдаг, учир нь удирдагч-дагагч телеопераци нь зорилтот байрлал болон нэг алхмын дараа хүрсэн байрлалыг бүртгэдэг. Энэ ялгаа нь мэдээлэл юм: гар таталцлын хүч эсвэл гацсан объекттой хаана тэмцсэн бэ гэдгийг харуулна. Эдгээр мөрүүд нь тухайн өгөгдлийн сангийнх юм. Өнөөдөр 0.6.1 хувилбараар бүртгэгдсэн сесс нь shoulder_pan.pos-оос gripper.pos хүртэл, автобусан дээрх 1-ээс 6 хүртэлх ID-тай мэдээллийг бичдэг: ижил зургаан үе, гэхдээ өөр түлхүүрүүдтэй, энэ нь тохиргоо нь онцлогийг нэрээр нь хандах үед чухал юм.

Тавцан дээр танд юу хэрэгтэй вэ

Хэрэв гар одоогоор угсрагдаагүй бол энэ нь тусдаа ажил юм: эхлэхдээ SO-100 эхлэх болон SO-100-ийн бүрэн тохиргооны гарын авлага-ыг үзнэ үү. Хэрэв та юу ч худалдаж аваагүй бол эхлээд SO-100 болон SO-101-ийн харьцуулалт-ыг уншина уу: SO-101 нь сайжруулсан утас болон араа салгах алхамгүй шинэ хувилбар бөгөөд бичлэгийн ажлын урсгал ижил байна.

lerobot 0.6.1 суулгах

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Нэмэлтүүд хүмүүсийг их төөрөгдүүлдэг. pip install lerobot нь зөвхөн үндсэн ML хамаарлыг суулгадаг, роботтой харилцах зүйл байхгүй. Koch гарнууд dynamixel -ийн оронд feetech хэрэгтэй. Хэрэв таны shell lerobot-record-ийн талаар хэзээ ч сонсож байгаагүй бол энэ нь шалтгаан юм.

Портууд, моторын ID болон тохируулга

Эд ангиуд болон ажиллаж буй телеоп гогцооны хооронд гурван удаагийн алхам бий. нь таны гарт сургасан бодлогыг өөр хүний гарт ажиллуулж, түүхий энкодерын тоог нийтлэг үений конвенц руу зурагладаг.

1. 1
   Гар тус бүрийн USB портыг олох

   Хоёр гарыг хоёуланг нь залгаад ажиллуулж, таних гэж буй гараа салгахыг хүсэхэд аль порт алга болсныг тэмдэглэж аваарай. Линукс дээр танд sudo chmod 666 /dev/ttyACM0 хэрэгтэй байж магадгүй.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Моторын ID болон бодрейтыг бичих

   ID-г нэг моторыг нэг нэгээр нь бичдэг бөгөөд баримт бичигт үүнийг хэрхэн хийх талаар хатуу заасан байдаг: хянагчийн самбарт яг нэг моторыг холбоно, бусадтай гинжин холбоогүй байна. Скрипт нь гинжийг арагш нь алхаж, эхлээд баригчийг асууж, түүнд 6-р ID өгч, дараа нь wrist_roll-д 5, shoulder_pan-д 1 гэх мэтээр өгнө. Үүнийг угсрахаас өмнө хийнэ үү.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Хоёр гарыг хоёуланг нь тохируулах

   Бүх үеийг хөдөлгөөнийх нь дунд хэсэгт аваачиж, Enter дарна уу, дараа нь тус бүрийг бүрэн хөдөлгөөнөөр нь гүйлгэнэ. id нь профайлын файлын нэр болно.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Юу ч бичихээс өмнө телеопераци хийх

   Дээр дурдсан бүх зүйлийн хүлээн авах тест. Хэрэв телеопераци салганасан, толин тусгалтай эсвэл нэг үе нь дагахгүй байвал бичлэг нь үүнийг 50 ангид хадгална.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Камерууд бодлого юу харахыг шийддэг

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Хоёр харагдац, тэдгээрийн байршил чухал: ажлын талбарыг хамарсан тогтмол үзэгдлийн камер, болон гарын бугуйн камер төгсгөлийн эффект баригч юунд хүрэх гэж байгааг харуулна. LeRobot-ын олон нийтийн өгөгдлийн багцын шалгах хуудас нь 480x640 / 720p эсвэл түүнээс дээш нягтралтай хоёр харагдац, тогтмол суурь, төвийг сахисан тогтвортой гэрэлтүүлэг, мөн удирдагч гар болон хүний мөчдийг хүрээнээс гадуур байлгахыг хүсдэг. Бичлэгийн гарын авлага нь дараах ерөнхий дүрмийг нэмж хэлдэг: та зөвхөн камерын зургийг хараад л даалгаврыг өөрөө гүйцэтгэх боломжтой байх ёстой.

Бичлэг хийх тушаал болон бүх флагууд

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Доорх анхдагч утгууд нь src/lerobot/configs/dataset.py үндсэн хувилбараас ирсэн бөгөөд заавар биш юм. Зарим нь хүмүүсийн таамаглаж байснаас өөр байдаг.

Сессийн үеийн гарны удирдлага

• Баруун сум эсвэл n: эпизодыг дуусгах эсвэл үе шатыг эрт эхлүүлэх. Таны хамгийн их ашигладаг товчлуур, учир нь цэвэрхэн атгахад 25 секунд ховорхон шаардлагатай байдаг.
• Зүүн сум эсвэл r: эпизодыг хаях, дахин хийх. Муу бичлэг одоо юу ч үнэгүй, харин дараа нь их үнэтэй.
• Escape эсвэл q: сессийг зогсоох, кодчилолыг дуусгах, байршуулах.
• Эдгээр нь X11, Wayland болон headless SSH дээр ажилладаг: дэлхийн түлхүүрийн бэкэндгүйгээр lerobot-record нь хяналтын терминалаас ижил түлхүүрүүдийг уншдаг. Үсгүүд нь удаан SSH холболтуудад ч ажилладаг, хаана сумын дараалал хуваагддаг.
• Гарны телеопераци нь өөр бөгөөд дэлхийн бэкэнд шаарддаг: X11, Windows, эсвэл Accessibility-тэй macOS.

Хэдэн эпизод, мөн сайн эпизод ямар харагддаг вэ

Бичлэгийн гарын авлагад эхний даалгаварт дор хаяж 50 анги, объектын байршил тутамд ойролцоогоор 10 анги байхыг зөвлөж байна. бодлогын хуудсууд нь загвар тутамд хамгийн бага хэмжээг жагсаасан бөгөөд үүнээс доош гүйцэтгэл нь GPU-ийн цаг хугацааг үнэ цэнэтэй болгохгүй.

Илүү чухал асуулт бол юуг хэр олон удаа хийх вэ гэдэг. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) нь 40,000 гаруй үзүүлбэр цуглуулж, бодит ертөнцөд 15,000 гаруй удаа туршилт хийсэн. Ерөнхийлөн дүгнэх нь орчин болон объектуудын тоотой ойролцоогоор зэрэгцсэн хамааралтай байсан бөгөөд орчин эсвэл объект тутамд тодорхой босго хэмжээнээс хэтэрсэн нэмэлт үзүүлбэрүүд нь хамгийн бага нөлөө үзүүлсэн. Нэг туршилтын талбар дээр: нэг үйлдлийг давтахын оронд объектыг хөдөлгөх, гэрэлтүүлгийг өөрчлөх, кубыг солих гэх мэт.

Сайн эпизод нь уйтгартай байдаг: давтагдах боломжтой эхлэх байрлал, нэг зүйл хийгдсэн, объект саванд ормогц дууссан, шалгах хуудас зөвлөсөн 25-50 тэмдэгтийн хоорондох даалгаврын мөр. Улаан кубыг аваад хайрцагт хий нь даалгаврын мөр юм; task1 нь шалгах хуудас тодорхой нэрлэсэн эсрэг загвар юм. Тодорхойгүй тайлбарууд нь асуудлын жагсаалтыг тэргүүлдэг бөгөөд тэдгээр нь хамгийн чухал нь хараа-хэл-үйлдэл загварууд, учир нь мөр нь загварын оролт бөгөөд файлын нэр биш юм.

Өгөгдлийн багцыг чимээгүйхэн сүйтгэдэг алдаанууд

Аль нь ч алдаа гаргадаггүй. Бүгд сургалтанд үлдэж, хэвийн харагдах алдагдлын муруй болон юу ч хийдэггүй робот болж илэрдэг. Үзэгдлийг тохируулах үед шалгана уу.

Нэг анхааруулга: стриминг-кодчилолын гарын авлагын хүснэгтэд анхдагч утгыг True, харин үндсэн дээрх датакласс нь streaming_encoding: bool = False. Баримт бичиг болон код хоорондоо зөрчилдөж байгаа тул үүнийг тодорхой зааж өгөх хэрэгтэй; lerobot нь тухайн флаг унтарсан үед эхлэх бүрт үүнийг санал болгосон зөвлөмжийг бүртгэдэг.

GPU түрээслэхээс өмнө өгөгдлийн баазыг шалгана уу

Баримт бичигт дурдсан хүлээн авах тест: видеоны үргэлжлэх хугацааг CLI-ийн мэдээлсэн ангиллын үргэлжлэх хугацаатай харьцуулж, мөрийн тоо нь fps-ийг үргэлжлэх хугацаагаар үржүүлсэнтэй тэнцэж байгаа эсэхийг баталгаажуулна. Нийт дүнгээр биш, ангилал тус бүрээр.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Дараа нь үүнийг харна уу. lerobot-dataset-viz нь камерын харагдацын хажууд үе мөчний мөрүүдтэй хамт нэг ангийг фрэймээр нь Rerun эсвэл Foxglove-д дахин тоглуулдаг. Солигдсон камерууд болон хөлдсөн фрэймүүд аравхан секундын дотор гарч ирдэг. Хүмүүс энэ алхмыг алгасах нь бий.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 эсвэл v3.0: бичихээсээ өмнө шийдээрэй

v2.1 нь нэг ангид нэг parquet болон нэг MP4 файл бичдэг байсан. v3.0 нь олон ангийг хуваалцсан шардууд руу нэгтгэж, метадатагаас хил хязгаарыг дахин үүсгэдэг тул info.json нь ангийн дугаарын оронд зам загваруудыг агуулдаг, тухайлбал data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet гэх мэт. Үүний үндэслэл нь цөөн, том файлуудтай байх: хурдан эхлүүлэх, өргөтгөх үед файлын системийн ачааллыг багасгах явдал юм.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Нэг өгөгдлийн багцад хүрэх хоёр зам

Өгөгдлийн сангаас бодлого хүртэл

Тавин цэвэр эпизод бүрийг тэжээдэг энд ажиллуулна. нь таны даалгавар дээр дангаар нь, ойролцоогоор 80 сая параметр, үйлдлийн алхам тутамд 20 мс орчим хугацаанд сургадаг бөгөөд хурдан хөдөлгөөнд дасан зохицдог таван загварын цорын ганц нь юм. нь 24 ГБ карт дээр ойролцоогоор 450 сая параметр юм. нь ойролцоогоор 3 тэрбум параметртэй суурь загвар бөгөөд ойролцоогоор 40 сая параметртэй харьцдаг, A100 эсвэл H100 шаарддаг бөгөөд v2.1 өгөгдлийн санг хүсдэг.

Дараа нь, таны хослолын гарын авлага: , эсвэл ; анхны ажиллуулалтад, нь илүү богино. Хэрэв бодлого ширээн дээр ажиллаж байгаад, та ширээг хөдөлгөхөд л унавал, энэ нь өгөгдлийн асуудал юм: болон нь олон талт байдлыг илүү гүнзгийрүүлэн авч үздэг.