SO-100 සමඟින් ඔබගේ පළමු LeRobot දත්ත කට්ටලය වාර්තා කරන්න

SO-100 අනුගාමිකයෙකුට, එකම සැලසුමේ නායක අතකට සහ USB කැමරා දෙකකට දහවල් වරුවකදී ප්‍රතිපත්තියක් සියුම්ව සකස් කළ හැක. එම බංකුවටම ගොනු බ්‍රවුසරයක සෞඛ්‍ය සම්පන්නව පෙනෙන කථාංග හැටක් පහසුවෙන්ම නිපදවිය හැකි අතර පැය හයක GPU ධාවනයක් නාස්ති කළ හැක. වෙනස කලාතුරකින් ආකෘතිය නොවේ; එය සර්වෝ සහ parquet ගොනුව අතර සිදු වූ දෙයයි.

මෙහි අතින් කරන මාර්ගය, ඉන්පසු කෙටි මාර්ගය. සෑම විධානයක්ම 2026 අගෝස්තු 3 දින නිකුත් කරන ලද lerobot 0.6.1 වෙතින් වන අතර PyPI හි වර්තමාන වේ. එය කොන්සෝල ප්‍රවේශ ස්ථාන වෙත ගෙන ගොස් ඇත, එබැවින් ක්‍රියාත්මක වන නිබන්ධන python lerobot/scripts/control_robot.py තවදුරටත් නොපවතින ගොනුවක් විස්තර කරයි.

පටිගත කිරීමේ සැසියක් මගින් ග්‍රහණය කරගන්නා දේ

අ LeRobot දත්ත කට්ටලයක් යනු වීඩියෝ ෆෝල්ඩරයක් නොව, වීඩියෝ අමුණා ඇති කාලය-දර්ශක වගුවකි: සෑම පාලන-ලූප් ටික් එකක්ම විධාන කළ ක්‍රියාව, අනුගාමිකයා ළඟා වූ තත්ත්වය, එක් කැමරාවකට එක් රාමුවක්, කාල මුද්දරයක් සහ දර්ශක අඩංගු එක් පේළියක් ලියයි. ප්‍රතිපත්තිය දකින්නේ එම තීරු පමණි. lerobot/svla_so100_pickplace හි යෝජනා ක්‍රමය, එහි meta/info.json වෙතින් කියවනු ලැබේ.

සන්ධි වන්නේ main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll සහ main_gripper ය: SO-100 හි නිදහස් අංශක හය. ක්‍රියාව සහ තත්ත්වය එකම හැඩයක් බෙදා ගනී, මන්ද නායක-අනුගාමික දුරස්ථ මෙහෙයුම ඉලක්කයක් සහ එක් පියවරකට පසුව ළඟා වූ ස්ථානය වාර්තා කරයි. එම පරතරය තොරතුරු වේ: අත ගුරුත්වාකර්ෂණයට හෝ සිරවී ඇති වස්තුවකට එරෙහිව සටන් කළ ස්ථානය. එම ස්ට්‍රින්ග්ස් එම දත්ත කට්ටලයට අයත් වේ. අද 0.6.1 සමඟ වාර්තා කරන ලද සැසියක් shoulder_pan.pos සිට gripper.pos දක්වා, බස් රථයේ 1 සිට 6 දක්වා හැඳුනුම්පත් ලියයි: එකම සන්ධි හය, විවිධ යතුරු, එය වින්‍යාසයක් විශේෂාංගයක් නමින් ආමන්ත්‍රණය කරන මොහොතේ වැදගත් වේ.

ඔබට අවශ්‍ය දේ

අත තවම සාදා නොමැති නම්, එය වෙනම සන්ධ්‍යාවකි: මෙතැනින් ආරම්භ කරන්න SO-100 getting started සහ complete SO-100 setup guide. ඔබ කිසිවක් මිල දී ගෙන නොමැති නම්, පළමුව SO-100 against SO-101 comparison කියවන්න: SO-101 යනු වැඩිදියුණු කළ වයරින් සහ ගියර් ඉවත් කිරීමේ පියවරක් නොමැති නව සංශෝධනය වන අතර, පටිගත කිරීමේ ක්‍රියාවලිය සමාන වේ.

lerobot 0.6.1 ස්ථාපනය කරන්න

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

අමතර දේවල් බොහෝ විට මිනිසුන් ව්‍යාකූල කරයි. pip install lerobot මඟින් ස්ථාපනය කරන්නේ මූලික ML යැපීම් පමණි, රොබෝවරයෙකු සමඟ සන්නිවේදනය කරන කිසිවක් නොවේ. Koch arms සඳහා අවශ්‍ය වන්නේ dynamixel වෙනුවට feetech. ඔබේ ෂෙල් එක lerobot-record ගැන කිසිදා අසා නොමැති නම්, එයට හේතුව මෙයයි.

Ports, මෝටර් හැඳුනුම්පත් සහ ක්‍රමාංකනය

කොටස් සහ ක්‍රියාකාරී ටෙලිඔප් ලූපයක් අතර එක් වරක් පමණක් සිදු කරන පියවර තුනක් ඇත. මගින් ඔබේ අත මත පුහුණු කරන ලද ප්‍රතිපත්තියක් වෙනත් කෙනෙකුගේ අත මත ක්‍රියාත්මක කිරීමට, අමු එන්කෝඩර් ගණන් පොදු සන්ධි සම්මුතියකට සිතියම්ගත කරයි.

1. 1
   සෑම අතකම USB port එක සොයන්න

   අත් දෙකම සම්බන්ධ කර ඇති විට එය ධාවනය කරන්න, විමසූ විට ඔබ හඳුනා ගන්නා එක විසන්ධි කරන්න, සහ අතුරුදහන් වන port එක සටහන් කර ගන්න. ලිනක්ස් මත ඔබට sudo chmod 666 /dev/ttyACM0 අවශ්‍ය විය හැක.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   මෝටර් හැඳුනුම්පත් සහ බෝඩ්රේට් ලියන්න

   හැඳුනුම්පත් එක් මෝටරයකට එක බැගින් ලියනු ලැබේ, සහ එය සිදු කරන ආකාරය පිළිබඳව ලේඛන දැඩි වේ: පාලක පුවරුවට හරියටම එක් මෝටරයක් සම්බන්ධ කරන්න, තවමත් වෙනත් කිසිවකට ඩේසි-චේන් කර නැත. ස්ක්‍රිප්ට් එක දාමය පසුපසට ගමන් කරයි, පළමුව ග්‍රිපර් සඳහා විමසමින් එයට හැඳුනුම්පත 6 ලබා දෙයි, පසුව wrist_roll 5 ලෙස, shoulder_pan 1 දක්වා. එකලස් කිරීමට පෙර එය කරන්න.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   අත් දෙකම ක්‍රමාංකනය කරන්න

   සෑම සන්ධියක්ම එහි පරාසයේ මැදට ගෙන යන්න, Enter ඔබන්න, ඉන්පසු එක් එක් සන්ධිය එහි සම්පූර්ණ පරාසය හරහා ගෙන යන්න. id එක profile filename එක බවට පත් වේ.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   කිසිවක් පටිගත කිරීමට පෙර ටෙලිඔපරේට් කරන්න

   ඉහත සියල්ල සඳහා පිළිගැනීමේ පරීක්ෂණය. ටෙලිඔපරේෂන් එක jerky නම්, mirrored නම්, හෝ එක් සන්ධියක් අනුගමනය නොකරන්නේ නම්, පටිගත කිරීම් මගින් එය කථාංග 50 කින් ආරක්ෂා කරයි.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

ප්‍රතිපත්තිය දකින්නේ කුමක්දැයි කැමරා තීරණය කරයි

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

දර්ශන දෙකක් සහ ඒවා පිහිටා ඇති ස්ථානය වැදගත් වේ: වැඩබිම ආවරණය කරන ස්ථාවර දර්ශන කැමරාවක් සහ අවසාන-ක්‍රියාකාරකය අසල ඇති මැණික් කටු කැමරාවක්, ග්‍රිපරය ස්පර්ශ කිරීමට ආසන්න දේ පෙන්වයි. LeRobot ප්‍රජා-දත්ත කට්ටල පිරික්සුම් ලැයිස්තුවෙන් 480x640 / 720p හෝ ඊට වඩා හොඳ දර්ශන දෙකක්, ස්ථිතික පසුබිමක්, උදාසීන ස්ථාවර ආලෝකකරණයක් සහ නායක අත සහ මිනිස් අත් පා රාමුවෙන් පිටත තිබීම ඉල්ලා සිටී. පටිගත කිරීමේ මාර්ගෝපදේශය සාමාන්‍ය රීතියක් එක් කරයි: කැමරා රූප පමණක් බැලීමෙන් ඔබට කාර්යය ඔබම කිරීමට හැකි විය යුතුය.

රෙකෝඩ් විධානය සහ සෑම ධජයක්ම

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

පහත පෙරනිමි අගයන් පැමිණෙන්නේ src/lerobot/configs/dataset.py ප්‍රධාන ශාඛාවෙන් මිස නිබන්ධනයකින් නොවේ. සමහරක් මිනිසුන් උපකල්පනය කරන දේ නොවේ.

සැසියක් අතරතුර යතුරුපුවරු පාලනය

• දකුණු ඊතලය හෝ n: කථාංගය අවසන් කරන්න හෝ අදියර ඉක්මනින් නැවත සකසන්න. ඔබ වැඩිපුරම භාවිතා කරන යතුර මෙයයි, මන්ද පිරිසිදු ග්‍රහණයකට කලාතුරකින් තත්පර 25ක් අවශ්‍ය වන බැවිනි.
• වම් ඊතලය හෝ r: කථාංගය ඉවත දමා නැවත කරන්න. නරක පටිගත කිරීමකට දැන් කිසිවක් වැය නොවන අතර පසුව බොහෝ දේ වැය වේ.
• Escape හෝ q: සැසිය නවත්වන්න, කේතීකරණය අවසන් කරන්න, උඩුගත කරන්න.
• මේවා X11, Wayland සහ headless SSH මත ක්‍රියා කරයි: ගෝලීය යතුරු බැක්එන්ඩ් එකක් නොමැතිව, lerobot-record පාලක ටර්මිනලයෙන් එකම යතුරු කියවයි. ඊතල අනුක්‍රමයන් බෙදී යන, ප්‍රමාද වූ SSH සබැඳි වලදී අකුරු ක්‍රියා කරයි.
• යතුරුපුවරු දුරස්ථ මෙහෙයුම වෙනස් වන අතර ගෝලීය බැක්එන්ඩ් එකක් අවශ්‍ය වේ: X11, Windows, හෝ ප්‍රවේශවීමේ හැකියාව සහිත macOS.

කථාංග කීයක්ද, සහ හොඳ එකක් පෙනෙන්නේ කෙසේද

පළමු කාර්යය සඳහා අවම වශයෙන් කථාංග 50ක්, එක් වස්තු ස්ථානයකට 10ක් පමණ පටිගත කිරීමේ මාර්ගෝපදේශය යෝජනා කරයි. ප්‍රතිපත්ති පිටු එක් එක් ආකෘතිය සඳහා අවමයක් ලැයිස්තුගත කරයි, ඊට අඩු ධාවනයක් GPU කාලය වටින්නේ නැත.

වඩා හොඳ ප්‍රශ්නය වන්නේ කුමන දේ කොපමණ ප්‍රමාණයක්ද යන්නයි. Data Scaling Laws in Imitation Learning for Robotic Manipulation (ලින් සහ අල්., 2024) නිරූපණ 40,000කට අධික ප්‍රමාණයක් එකතු කර සැබෑ ලෝකයේ ධාවන 15,000කට වඩා සිදු කළේය. සාමාන්‍යකරණය දළ වශයෙන් බල-නීති සම්බන්ධතාවයක් අනුගමනය කළේය පරිසරයන් සහ වස්තූන් ගණන සමඟ, සහ එක් පරිසරයක් හෝ වස්තුවක් සඳහා සීමාවක් ඉක්මවා ගිය පසු, අමතර නිරූපණවලින් අවම බලපෑමක් ඇති විය. එක් බංකුවක: එක් වරක් නැවත නැවත කිරීම වෙනුවට, වස්තුව චලනය කරන්න, ආලෝකය වෙනස් කරන්න, ඝනකය මාරු කරන්න.

හොඳ කථාංගයක් නීරසයි: නැවත නැවත කළ හැකි ආරම්භක ඉරියව්ව, එක් දෙයක් සිදු කර ඇත, වස්තුව බඳුනට දැමූ පසු අවසන් වේ, කාර්යය විස්තරය පිරික්සුම් ලැයිස්තුව නිර්දේශ කරන අක්ෂර 25 සිට 50 දක්වා විය යුතුය. රතු කැටය ගෙන පෙට්ටියට දමන්න යනු කාර්යය විස්තරයකි; task1 යනු පිරික්සුම් ලැයිස්තුව පැහැදිලිව නම් කරන ප්‍රති-ආකෘතියයි. අපැහැදිලි සටහන් එහි ගැටළු ලැයිස්තුවේ මුලින්ම ඇති අතර, ඒවා වඩාත් වැදගත් වන්නේ දෘශ්‍ය-භාෂා-ක්‍රියා ආකෘති, එහිදී විස්තරය ආකෘති ආදානයක් මිස ගොනු නාමයක් නොවේ.

දත්ත කට්ටලයක් නිහඬව විනාශ කරන දෝෂ

කිසිවක් ව්‍යතිරේකයක් ඇති නොකරයි. සියල්ල පුහුණුවට ඔරොත්තු දෙන අතර, හොඳින් පෙනෙන පාඩු වක්‍රයක් සහ කිසිවක් නොකරන රොබෝවරයෙකු ලෙස මතු වේ. දර්ශනය සකසා ඇති අතරතුර පරීක්ෂා කරන්න.

එක් අවවාදයක්: streaming-encoding මාර්ගෝපදේශයේ වගුවේ පෙරනිමිය ලෙස සඳහන් වන්නේ True, අතර ප්‍රධාන dataclass එකේ සඳහන් වන්නේ streaming_encoding: bool = False. ලේඛන සහ කේතය එකඟ නොවේ, එබැවින් එය පැහැදිලිව සකසන්න; lerobot ධජය ක්‍රියා විරහිතව ආරම්භ වන සෑම විටම එය නිර්දේශ කරන ඉඟියක් ලොග් කරයි.

GPU එකක් කුලියට ගැනීමට පෙර දත්ත කට්ටලය පරීක්ෂා කරන්න

ලේඛනවලින් ලැබෙන පිළිගැනීමේ පරීක්ෂණය: වීඩියෝ කාලය CLI වාර්තා කළ කථාංග කාලය සමඟ සසඳන්න, සහ පේළි ගණන fps ගුණ කිරීමේ කාලයට සමාන බව තහවුරු කරන්න. මුළු එකතුවට නොව, එක් එක් කථාංගය සඳහා.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

ඉන්පසු එය බලන්න. lerobot-dataset-viz Rerun හෝ Foxglove හි කැමරා දර්ශන අසල සන්ධි සලකුණු සහිතව කථාංගයක් රාමුවෙන් රාමුවට නැවත ධාවනය කරයි. මාරු කළ කැමරා සහ ශීත කළ රාමු තත්පර දහයක් ඇතුළත දිස්වේ. මිනිසුන් මෙම පියවර මඟ හරියි.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 හෝ v3.0: පටිගත කිරීමට පෙර තීරණය කරන්න

v2.1 එක් කථාංගයකට එක් parquet සහ එක් MP4 ගොනුවක් ලිවීය. v3.0 බොහෝ කථාංග පොදු ඛණ්ඩවලට සම්බන්ධ කර metadata වලින් සීමා නැවත ගොඩනඟයි, එබැවින් info.json ගොනුවේ මාර්ග සැකිලි අඩංගු වේ data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet කථාංග අංකයක් වෙනුවට. ඉහළින් ඇති සාධාරණීකරණය වන්නේ අඩු, විශාල ගොනු: වේගවත් ආරම්භයක් සහ පරිමාණයෙන් අඩු ගොනු පද්ධති පීඩනයකි.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

එකම දත්ත කට්ටලයට මාර්ග දෙකක්

දත්ත කට්ටලයේ සිට ප්‍රතිපත්තිය දක්වා

පිරිසිදු කථාංග පනහක් සෑම මෙහි ක්‍රියාත්මක වේ. ඔබේ කාර්යය සඳහා පමණක් මුල සිට පුහුණු කරයි, ආසන්න වශයෙන් ක්‍රියාකාරී පියවරකට 20 ms බැගින් පරාමිති මිලියන 80 ක් පමණ වන අතර, වේගවත් චලනයන් සඳහා පහසුකම් සපයන පහෙන් එකම එක මෙයයි. 24 GB කාඩ්පතක පරාමිති මිලියන 450 ක් පමණ වේ. යනු ආසන්න වශයෙන් පරාමිති බිලියන 3 ක මූලික ආකෘතියක් වන අතර එහිදී පරාමිති මිලියන 40 ක් පමණ ස්පර්ශ කරයි, A100 හෝ H100 එකක් අවශ්‍ය වන අතර, එම v2.1 දත්ත කට්ටලය අවශ්‍ය වේ.

ඊළඟට, ඔබේ සංයෝජනය සඳහා මාර්ගෝපදේශය: , හෝ ; පළමු ධාවනය සඳහා, කෙටි වේ. ප්‍රතිපත්තිය බංකුව මත ක්‍රියාත්මක වන නමුත් ඔබ මේසය චලනය කරන මොහොතේදී කඩා වැටේ නම්, එය දත්ත ගැටලුවකි: සහ විවිධත්වය පිළිබඳව ගැඹුරින් සොයා බලයි.