ஒரு SO-100 உடன் உங்கள் முதல் LeRobot தரவுத்தொகுப்பை பதிவு செய்யவும்

ஒரு SO-100 பின்தொடர்பவர், அதே வடிவமைப்பைக் கொண்ட ஒரு முன்னணி கை மற்றும் இரண்டு USB கேமராக்கள் ஒரு கொள்கையை ஒரு மதிய வேளையில் நன்றாகச் சரிசெய்ய முடியும். அதே பெஞ்ச் ஒரு கோப்பு உலாவியில் ஆரோக்கியமாகத் தோன்றும் அறுபது எபிசோட்களை எளிதாக உருவாக்கலாம் மற்றும் ஆறு மணிநேர GPU இயக்கத்தை வீணடிக்கலாம். வேறுபாடு அரிதாகவே மாதிரி; இது சர்வோக்களுக்கும் பார்கெட் கோப்பிற்கும் இடையில் நடந்ததுதான்.

இது கையேடு வழி, பின்னர் சுருக்கமான வழி. ஒவ்வொரு கட்டளையும் lerobot 0.6.1 இலிருந்து வந்தது, இது 3 ஆகஸ்ட் 2026 அன்று வெளியிடப்பட்டது மற்றும் PyPI இல் தற்போதையது. இது கன்சோல் நுழைவுப் புள்ளிகளுக்கு மாற்றப்பட்டது, எனவே இயங்கும் பயிற்சிகள் python lerobot/scripts/control_robot.py இனி இல்லாத ஒரு கோப்பை விவரிக்கின்றன.

ஒரு பதிவு அமர்வு எதைப் பிடிக்கிறது

ஒரு LeRobot தரவுத்தொகுப்பு என்பது வீடியோக்களின் கோப்புறை அல்ல, ஆனால் வீடியோ இணைக்கப்பட்ட நேர-குறியிடப்பட்ட அட்டவணை: ஒவ்வொரு கட்டுப்பாட்டு-சுற்று சுழற்சியும் கட்டளையிடப்பட்ட செயல், பின்தொடர்பவர் அடைந்த நிலை, ஒரு கேமராவிற்கு ஒரு ஃபிரேம், ஒரு நேரமுத்திரை மற்றும் குறியீடுகளைக் கொண்ட ஒரு வரிசையை எழுதுகிறது. கொள்கை அந்த நெடுவரிசைகளை மட்டுமே பார்க்கிறது. lerobot/svla_so100_pickplace இன் ஸ்கீமா, அதன் meta/info.json இலிருந்து படிக்கப்பட்டது.

மூட்டுகள் main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll மற்றும் main_gripper ஆகும்: SO-100 இன் ஆறு சுதந்திரப் பட்டங்கள். செயல் மற்றும் நிலை ஒரு வடிவத்தைப் பகிர்ந்து கொள்கின்றன, ஏனெனில் தலைமை-பின்தொடர்பவர் தொலைசெயல்பாடு ஒரு இலக்கையும், ஒரு படி பின்னர் அடைந்த நிலையையும் பதிவு செய்கிறது. அந்த இடைவெளி ஒரு தகவல்: கை ஈர்ப்பு விசையுடன் அல்லது சிக்கிய பொருளுடன் எங்கு போராடியது. அந்த சரங்கள் அந்த தரவுத்தொகுப்புக்குரியவை. இன்று 0.6.1 உடன் பதிவுசெய்யப்பட்ட ஒரு அமர்வு shoulder_pan.pos முதல் gripper.pos வரை, பஸ்ஸில் 1 முதல் 6 வரையிலான ஐடிகளை எழுதுகிறது: அதே ஆறு மூட்டுகள், வெவ்வேறு விசைகள், இது ஒரு உள்ளமைவு ஒரு அம்சத்தை பெயரால் குறிப்பிடும்போது முக்கியமானது.

பணியிடத்தில் உங்களுக்குத் தேவையானவை

கை இன்னும் உருவாக்கப்படவில்லை என்றால், அது ஒரு தனி வேலை: இங்கிருந்து தொடங்கவும் SO-100 தொடங்குதல் மற்றும் முழுமையான SO-100 அமைவு வழிகாட்டி. நீங்கள் எதுவும் வாங்கவில்லை என்றால், முதலில் SO-100 மற்றும் SO-101 ஒப்பீடு என்பதைப் படிக்கவும்: SO-101 என்பது மேம்படுத்தப்பட்ட வயரிங் மற்றும் கியர் அகற்றும் படி இல்லாத புதிய திருத்தம் ஆகும், மேலும் பதிவு செய்யும் பணிப்பாய்வு ஒரே மாதிரியானது.

lerobot 0.6.1 ஐ நிறுவவும்

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

கூடுதல் அம்சங்கள் மக்களை பெரும்பாலும் குழப்புகின்றன. pip install lerobot ஆனது முக்கிய ML சார்புகளை மட்டுமே நிறுவுகிறது, ரோபோவுடன் பேசும் எதையும் அல்ல. Koch கைகள் dynamixel என்பதற்கு பதிலாக feetech ஐப் பயன்படுத்துகின்றன. உங்கள் ஷெல் lerobot-record பற்றி கேள்விப்பட்டதில்லை என்றால், இதுதான் காரணம்.

போர்ட்கள், மோட்டார் ஐடிகள் மற்றும் அளவுத்திருத்தம்

பாகங்களுக்கும் செயல்படும் டெலிஆப் சுழற்சிக்கும் இடையில் மூன்று ஒருமுறை செய்யக்கூடிய படிகள் உள்ளன. உங்கள் கையில் பயிற்சி பெற்ற ஒரு கொள்கையை மற்றவரின் கையில் இயக்கச் செய்கிறது, இது மூல என்கோடர் எண்ணிக்கையை ஒரு பகிரப்பட்ட கூட்டு மரபுக்கு வரைபடமாக்குகிறது.

1. 1
   ஒவ்வொரு கையின் USB போர்ட்டையும் கண்டறியவும்

   இரண்டு கைகளையும் செருகி இயக்கவும், கேட்கப்படும்போது நீங்கள் அடையாளம் காணும் கையைத் துண்டித்து, எந்த போர்ட் மறைந்துவிடுகிறது என்பதைக் கவனிக்கவும். லினக்ஸில் உங்களுக்கு sudo chmod 666 /dev/ttyACM0 தேவைப்படலாம்.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   மோட்டார் ஐடிகள் மற்றும் பாட்ரேட்களை எழுதவும்

   ஐடிகள் ஒரு நேரத்தில் ஒரு மோட்டாருக்கு எழுதப்படுகின்றன, மேலும் ஆவணங்கள் எவ்வாறு என்பதைப் பற்றி கண்டிப்பாக உள்ளன: ஒரு மோட்டாரை மட்டுமே கட்டுப்படுத்தி பலகையுடன் இணைக்கவும், இன்னும் மற்றவற்றுடன் சங்கிலித் தொடராக இணைக்கப்படவில்லை. ஸ்கிரிப்ட் சங்கிலியைப் பின்னோக்கிச் சென்று, முதலில் கிரிப்பருக்கான ஐடி 6 ஐயும், பின்னர் மணிக்கட்டு சுழற்சிக்கு 5 ஐயும், தோள்பட்டைக்கு 1 ஐயும் கேட்கும். இதை அசெம்பிளி செய்வதற்கு முன் செய்யவும்.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   இரண்டு கைகளையும் அளவுத்திருத்தம் செய்யவும்

   ஒவ்வொரு மூட்டையும் அதன் வரம்பின் நடுப்பகுதிக்கு நகர்த்தி, Enter ஐ அழுத்தி, பின்னர் ஒவ்வொன்றையும் அதன் முழு வரம்பிலும் நகர்த்தவும். id ஆனது சுயவிவர கோப்பு பெயராக மாறும்.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   எதையும் பதிவு செய்வதற்கு முன் டெலிஆப்ரேட் செய்யவும்

   மேலே உள்ள அனைத்திற்கான ஏற்பு சோதனை. டெலிஆப்ரேஷன் சீரற்றதாகவோ, பிரதிபலித்ததாகவோ, அல்லது ஒரு மூட்டு பின்பற்ற மறுத்தாலோ, பதிவு செய்வது அதை 50 எபிசோட்களில் பாதுகாக்கிறது.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

கேமராக்கள் கொள்கை எதைப் பார்க்கிறது என்பதை தீர்மானிக்கின்றன

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

இரண்டு காட்சிகள், அவை எங்கு அமைகின்றன என்பது முக்கியம்: பணிபுரியும் இடத்தை உள்ளடக்கிய ஒரு நிலையான காட்சி கேமரா, மற்றும் இறுதி-செயல்பாட்டாளர் எதைத் தொடப்போகிறது என்பதைக் காட்டும் ஒரு மணிக்கட்டு கேமரா. LeRobot சமூக-தரவுத்தொகுப்பு சரிபார்ப்புப் பட்டியல், 480x640 / 720p அல்லது சிறந்த இரண்டு காட்சிகள், ஒரு நிலையான பின்னணி, நடுநிலை நிலையான வெளிச்சம், மற்றும் முன்னணி கை மற்றும் மனித உறுப்புகள் சட்டகத்திற்கு வெளியே இருக்க வேண்டும் என்று கேட்கிறது. பதிவு வழிகாட்டி ஒரு பொதுவான விதியைச் சேர்க்கிறது: கேமரா படங்களை மட்டும் பார்த்து நீங்கள் பணியை நீங்களே செய்ய முடியும்.

பதிவு கட்டளை மற்றும் ஒவ்வொரு கொடியும்

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

கீழே உள்ள இயல்புநிலைகள் src/lerobot/configs/dataset.py இல் இருந்து வருகின்றன, ஒரு பயிற்சி அல்ல. பலவற்றை மக்கள் கருதுவது போல் இல்லை.

ஒரு அமர்வின் போது விசைப்பலகை கட்டுப்பாடு

• வலது அம்பு அல்லது n: எபிசோடை முடிக்கவும் அல்லது கட்டத்தை முன்கூட்டியே மீட்டமைக்கவும். இது நீங்கள் அதிகம் பயன்படுத்தும் விசை, ஏனெனில் ஒரு சுத்தமான பிடிப்புக்கு அரிதாகவே 25 வினாடிகள் தேவைப்படும்.
• இடது அம்பு அல்லது r: எபிசோடை நிராகரித்து மீண்டும் செய்யவும். ஒரு மோசமான முயற்சிக்கு இப்போது எதுவும் செலவாகாது, ஆனால் பின்னர் நிறைய செலவாகும்.
• Escape அல்லது q: அமர்வை நிறுத்தவும், குறியாக்கத்தை முடிக்கவும், பதிவேற்றவும்.
• இவை X11, Wayland மற்றும் headless SSH இல் வேலை செய்கின்றன: உலகளாவிய விசை பின்தளம் இல்லாததால், lerobot-record கட்டுப்படுத்தும் டெர்மினலில் இருந்து அதே விசைகளைப் படிக்கிறது. மெதுவான SSH இணைப்புகளில், அம்பு வரிசைகள் பிளவுபடும் இடங்களில், எழுத்துக்கள் பிழை இல்லாமல் செயல்படும்.
• விசைப்பலகை தொலைசெயல்பாடு வேறுபட்டது மற்றும் உலகளாவிய பின்தளம் தேவைப்படுகிறது: X11, Windows, அல்லது Accessibility உடன் macOS.

எத்தனை எபிசோடுகள், மற்றும் ஒரு நல்ல எபிசோடு எப்படி இருக்கும்

பதிவு வழிகாட்டி முதல் பணிக்கு குறைந்தபட்சம் 50 எபிசோட்களையும், ஒரு பொருள் இருப்பிடத்திற்கு சுமார் 10 எபிசோட்களையும் பரிந்துரைக்கிறது. கொள்கை பக்கங்கள் ஒவ்வொரு மாதிரிக்கும் ஒரு குறைந்தபட்ச எண்ணிக்கையை பட்டியலிடுகின்றன, அதற்குக் கீழே ஒரு ரன் GPU நேரத்திற்கு மதிப்புடையது அல்ல.

சிறந்த கேள்வி என்னவென்றால், எத்தனை எவை. ரோபோடிக் கையாளுதலுக்கான பிரதிபலிப்பு கற்றலில் தரவு அளவிடுதல் விதிகள் (லின் மற்றும் பலர், 2024) 40,000 க்கும் மேற்பட்ட செயல்விளக்கங்களைச் சேகரித்து, 15,000 க்கும் மேற்பட்ட நிஜ உலக ரோல்அவுட்களை இயக்கின. பொதுமைப்படுத்தல் சூழல்கள் மற்றும் பொருட்களின் எண்ணிக்கையுடன் தோராயமாக ஒரு பவர்-லா உறவைப் பின்பற்றியது, மேலும் ஒரு சூழல் அல்லது பொருளுக்கு ஒரு வரம்பைக் கடந்த பிறகு, கூடுதல் செயல்விளக்கங்கள் குறைந்தபட்ச விளைவைக் கொண்டிருந்தன. ஒரு பெஞ்சில்: பொருளை நகர்த்தவும், ஒளியை மாற்றவும், கனசதுரத்தை மாற்றவும், ஒரு டேக்கை மீண்டும் செய்யாமல்.

ஒரு நல்ல எபிசோட் சலிப்பானது: மீண்டும் மீண்டும் செய்யக்கூடிய தொடக்க நிலை, ஒரு காரியம் முடிந்தது, பொருள் தொட்டியில் விழுந்தவுடன் முடிந்தது, சரிபார்ப்புப் பட்டியல் பரிந்துரைக்கும் 25 முதல் 50 எழுத்துகளில் உள்ள பணிச் சரம். சிவப்பு கனசதுரத்தை எடுத்து பெட்டியில் போடு என்பது ஒரு பணிச் சரம்; task1 என்பது சரிபார்ப்புப் பட்டியல் வெளிப்படையாகக் குறிப்பிடும் ஒரு எதிர்-வடிவம். தெளிவற்ற குறிப்புகள் அதன் சிக்கல்களின் பட்டியலைத் தலைப்பிடுகின்றன, மேலும் அவை மிக முக்கியமாக பார்வை-மொழி-செயல் மாதிரி, இங்கு சரம் ஒரு மாதிரி உள்ளீடு, கோப்புப் பெயர் அல்ல.

தரவுத்தொகுப்பை மெதுவாகச் சிதைக்கும் குறைபாடுகள்

எதுவும் விதிவிலக்கை ஏற்படுத்தாது. அனைத்தும் பயிற்சிக்குத் தப்பித்து, நன்றாகத் தோற்றமளிக்கும் இழப்பு வளைவாகவும், எதுவும் செய்யாத ரோபோவாகவும் வெளிப்படும். காட்சி அமைக்கப்படும்போது சரிபார்க்கவும்.

ஒரு எச்சரிக்கை: ஸ்ட்ரீமிங்-என்டர்கோடிங் வழிகாட்டியின் அட்டவணை இயல்புநிலையை True, அதேசமயம் மெயினில் உள்ள டேட்டாகிளாஸ் streaming_encoding: bool = False என்று படிக்கிறது. ஆவணங்களும் குறியீடும் ஒத்துப்போகவில்லை, எனவே அதை வெளிப்படையாக அமைக்கவும்; lerobot கொடி அணைக்கப்பட்டு தொடங்கும்போதெல்லாம் அதை பரிந்துரைக்கும் ஒரு குறிப்பை பதிவு செய்கிறது.

GPU ஐ வாடகைக்கு எடுப்பதற்கு முன் தரவுத்தொகுப்பை சரிபார்க்கவும்

ஆவணங்களில் இருந்து ஏற்றுக்கொள்ளும் சோதனை: வீடியோ கால அளவை CLI அறிவித்த எபிசோட் கால அளவோடு ஒப்பிட்டு, வரிசை எண்ணிக்கை fps மற்றும் கால அளவின் பெருக்கத்திற்கு சமம் என்பதை உறுதிப்படுத்தவும். ஒவ்வொரு எபிசோடிற்கும், மொத்தத்திற்கு அல்ல.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

பிறகு அதைப் பாருங்கள். lerobot-dataset-viz கேமரா காட்சிகளுக்கு அருகில் உள்ள கூட்டு தடங்களுடன் ஒரு எபிசோடை பிரேம் பை பிரேமாக, Rerun அல்லது Foxglove இல் மீண்டும் இயக்குகிறது. மாற்றப்பட்ட கேமராக்கள் மற்றும் உறைந்த பிரேம்கள் பத்து வினாடிகளில் தோன்றும். மக்கள் இந்த படிநிலையைத் தவிர்க்கிறார்கள்.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 அல்லது v3.0: பதிவு செய்வதற்கு முன் முடிவு செய்யுங்கள்

v2.1 ஆனது ஒரு எபிசோடுக்கு ஒரு parquet மற்றும் ஒரு MP4 கோப்பை எழுதியது. v3.0 பல எபிசோடுகளைப் பகிரப்பட்ட ஷார்டுகளாக இணைத்து, மெட்டாடேட்டாவிலிருந்து எல்லைகளை மீண்டும் உருவாக்குகிறது, எனவே info.json ஆனது பாதை டெம்ப்ளேட்களைக் கொண்டுள்ளது data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet ஒரு எபிசோடு எண்ணுக்குப் பதிலாக. இதன் முக்கிய நோக்கம் குறைவான, பெரிய கோப்புகள்: விரைவான துவக்கம் மற்றும் பெரிய அளவில் கோப்பு முறைமை அழுத்தம் குறைவு.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

ஒரே தரவுத்தொகுப்பிற்கான இரண்டு வழிகள்

தரவுத்தொகுப்பிலிருந்து கொள்கைக்கு

ஐம்பது சுத்தமான எபிசோடுகள் ஒவ்வொரு இங்கு இயக்கப்படுகிறது. உங்கள் பணியில் மட்டும் புதிதாகப் பயிற்சி பெறுகிறது, சுமார் 80 மில்லியன் அளவுருக்கள் தோராயமாக ஒரு செயல் படிக்கு 20 மில்லி விநாடிகள் என்ற வேகத்தில், வேகமாக நகர்வதற்கு வசதியான ஐந்து கொள்கைகளில் இது மட்டுமே. ஒரு 24 GB கார்டில் சுமார் 450 மில்லியன் அளவுருக்களைக் கொண்டுள்ளது. தோராயமாக 3 பில்லியன் அளவுருக்களைக் கொண்ட ஒரு அடிப்படை மாதிரி, அங்கு சுமார் 40 மில்லியன் அளவுருக்களைத் தொடுகிறது, A100 அல்லது H100 தேவைப்படுகிறது, மேலும் அந்த v2.1 தரவுத்தொகுப்பை விரும்புகிறது.

அடுத்து, உங்கள் கலவைக்கான வழிகாட்டி: , அல்லது ; ஒரு முதல் ஓட்டத்திற்கு, சிறியது. கொள்கை மேசையில் வேலை செய்து, நீங்கள் மேசையை நகர்த்தும் தருணத்தில் சரிந்தால், அது ஒரு தரவுச் சிக்கல்: மற்றும் பன்முகத்தன்மை குறித்து ஆழமாகச் செல்கின்றன.