तुमचा पहिला LeRobot डेटासेट SO-100 सह रेकॉर्ड करा

एक SO-100 फॉलोअर, त्याच डिझाइनचा एक लीडर आर्म आणि दोन USB कॅमेरे दुपारपर्यंत एक पॉलिसी फाइन-ट्यून करू शकतात. तेच बेंच सहजपणे साठ एपिसोड्स तयार करू शकते जे फाइल ब्राउझरमध्ये निरोगी दिसतात आणि सहा तासांचा GPU रन वाया घालवतात. फरक क्वचितच मॉडेलमध्ये असतो; तो सर्व्हो आणि पारकेट फाइल दरम्यान काय घडले यात असतो.

येथे मॅन्युअल मार्ग आहे, आणि नंतर लहान मार्ग. प्रत्येक कमांड lerobot 0.6.1 मधून आहे, जे 3 ऑगस्ट 2026 रोजी रिलीज झाले आणि PyPI वर सध्या उपलब्ध आहे. ते कन्सोल एंट्री पॉइंट्सवर गेले आहे, त्यामुळे जे ट्यूटोरियल python lerobot/scripts/control_robot.py चालवतात, ते आता अस्तित्वात नसलेल्या फाइलचे वर्णन करतात.

रेकॉर्डिंग सत्र काय कॅप्चर करते

एक LeRobot डेटासेट हा व्हिडिओंचा फोल्डर नसून व्हिडिओ संलग्न असलेली वेळ-अनुक्रमित सारणी आहे: प्रत्येक कंट्रोल-लूप टिक आज्ञा दिलेली क्रिया, फॉलोअरने गाठलेली स्थिती, प्रति कॅमेरा एक फ्रेम, एक टाइमस्टॅम्प आणि निर्देशांक असलेली एक पंक्ती लिहितो. धोरण फक्त तेच स्तंभ पाहते. lerobot/svla_so100_pickplace ची योजना, त्याच्या meta/info.json मधून वाचली आहे.

जोडणी आहेत main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll आणि main_gripper: SO-100 चे सहा स्वातंत्र्याच्या अंशा. क्रिया आणि स्थिती समान आकार सामायिक करतात कारण लीडर-फॉलोअर टेलिऑपरेशन एक लक्ष्य आणि एका स्टेप नंतर गाठलेली स्थिती रेकॉर्ड करते. ती दरी माहिती आहे: जिथे आर्मने गुरुत्वाकर्षणाशी किंवा अडकलेल्या वस्तूंशी संघर्ष केला. त्या स्ट्रिंग्ज त्या डेटासेटच्या आहेत. आज 0.6.1 सह रेकॉर्ड केलेले सत्र shoulder_pan.pos ते gripper.pos, बसवर 1 ते 6 आयडी लिहितो: तेच सहा जोडणी, भिन्न की, जे कॉन्फिग वैशिष्ट्याला नावाने संबोधित करते तेव्हा महत्त्वाचे ठरते.

बेंचवर तुम्हाला काय हवे आहे

जर आर्म अजून तयार नसेल, तर ते एक वेगळे काम आहे: येथून सुरुवात करा SO-100 सुरुवात करणे आणि संपूर्ण SO-100 सेटअप मार्गदर्शक. जर तुम्ही काहीही विकत घेतले नसेल, तर आधी SO-100 विरुद्ध SO-101 तुलना वाचा: SO-101 ही सुधारित वायरिंग आणि गिअर काढण्याची पायरी नसलेली नवीन आवृत्ती आहे, आणि रेकॉर्डिंग वर्कफ्लो सारखाच आहे.

lerobot 0.6.1 स्थापित करा

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

अतिरिक्त गोष्टींमुळे लोकांना सर्वाधिक त्रास होतो. pip install lerobot फक्त मुख्य ML अवलंबित्व स्थापित करते, रोबोटशी संवाद साधणारे काहीही नाही. Koch आर्म्सना dynamixel ऐवजी feetech लागते. जर तुमच्या शेलने कधीही lerobot-record बद्दल ऐकले नसेल, तर हे त्याचे कारण आहे.

पोर्ट्स, मोटर आयडी आणि कॅलिब्रेशन

भाग आणि कार्यरत टेलिओप लूप यांच्यामध्ये तीन एक-वेळच्या पायऱ्या आहेत. तुमच्या आर्मवर प्रशिक्षित केलेली पॉलिसी दुसऱ्याच्या आर्मवर चालवण्यासाठी, रॉ एन्कोडर काउंट्सना सामायिक जॉइंट कन्व्हेन्शनवर मॅप करते.

1. 1
   प्रत्येक आर्मचा USB पोर्ट शोधा

   दोन्ही आर्म्स प्लग इन असताना ते चालवा, विचारल्यावर तुम्ही ओळखत असलेला आर्म अनप्लग करा आणि कोणता पोर्ट गायब होतो ते लक्षात घ्या. Linux वर तुम्हाला sudo chmod 666 /dev/ttyACM0 ची आवश्यकता असू शकते.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   मोटर आयडी आणि बॉडरेट्स लिहा

   आयडी एका वेळी एका मोटरसाठी लिहिले जातात आणि डॉक्समध्ये याबद्दल कठोर नियम आहेत: कंट्रोलर बोर्डला फक्त एक मोटर जोडा, ती अजून दुसऱ्या कोणत्याही मोटरला डेझी-चेन केलेली नसावी. स्क्रिप्ट साखळी उलटी चालवते, प्रथम ग्रिपरसाठी प्रॉम्प्ट करते आणि त्याला आयडी 6 देते, नंतर रिस्ट-रोलला 5, आणि शोल्डर-पॅनला 1 पर्यंत खाली येते. हे असेंब्ली करण्यापूर्वी करा.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   दोन्ही आर्म्स कॅलिब्रेट करा

   प्रत्येक जॉइंट त्याच्या रेंजच्या मध्यभागी हलवा, एंटर दाबा, नंतर प्रत्येक जॉइंट त्याच्या पूर्ण रेंजमधून फिरवा. id हे प्रोफाइलचे फाइलनाव बनते.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   काहीही रेकॉर्ड करण्यापूर्वी टेलिओपरेट करा

   वरील सर्व गोष्टींसाठी ही स्वीकृती चाचणी आहे. जर टेलिओपरेशन अडखळत असेल, मिरर केलेले असेल किंवा एखादा जॉइंट फॉलो करत नसेल, तर रेकॉर्डिंग ते 50 एपिसोड्समध्ये जतन करते.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

कॅमेरे ठरवतात की धोरणाला काय दिसते

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

दोन दृश्ये, आणि ती कुठे आहेत हे महत्त्वाचे आहे: कार्यक्षेत्राला कव्हर करणारा एक निश्चित सीन कॅमेरा, आणि जवळचा मनगट कॅमेरा एंड-इफेक्टर जे ग्रिपर स्पर्श करणार आहे ते दाखवतो. LeRobot समुदाय-डेटासेट चेकलिस्टमध्ये शक्यतो 480x640 / 720p किंवा त्याहून चांगले दोन दृश्ये, स्थिर पार्श्वभूमी, तटस्थ स्थिर प्रकाश आणि लीडर आर्म व मानवी अवयव फ्रेमच्या बाहेर असावेत अशी मागणी केली आहे. रेकॉर्डिंग मार्गदर्शक एक सामान्य नियम जोडतो: तुम्ही फक्त कॅमेऱ्याच्या प्रतिमा पाहून स्वतःच कार्य पूर्ण करू शकले पाहिजे.

रेकॉर्ड कमांड आणि प्रत्येक फ्लॅग

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

खालील डीफॉल्ट येथून येतात src/lerobot/configs/dataset.py, मुख्यवर, ट्यूटोरियल नाही. काही गोष्टी लोक गृहीत धरतात तशा नाहीत.

सत्रादरम्यान कीबोर्ड नियंत्रण

• उजवा बाण किंवा n: एपिसोड किंवा रीसेट टप्पा लवकर संपवा. तुम्ही ही की सर्वात जास्त वापरता, कारण स्वच्छ पकडीसाठी क्वचितच 25 सेकंद लागतात.
• डावा बाण किंवा r: एपिसोड रद्द करा आणि पुन्हा करा. खराब टेक आता काहीही खर्च करत नाही, पण नंतर खूप खर्चिक ठरू शकते.
• Escape किंवा q: सत्र थांबवा, एन्कोडिंग पूर्ण करा, अपलोड करा.
• हे X11, Wayland आणि हेडलेस SSH वर काम करतात: कोणतेही ग्लोबल की बॅकएंड नसताना, lerobot-record कंट्रोलिंग टर्मिनलमधून त्याच कीज वाचते. ही अक्षरे लॅगी SSH लिंक्सवरही काम करतात, जिथे बाणांचे क्रम तुटतात.
• कीबोर्ड टेलिऑपरेशन वेगळे आहे आणि त्याला ग्लोबल बॅकएंडची आवश्यकता आहे: X11, Windows, किंवा Accessibility सह macOS.

किती एपिसोड्स, आणि एक चांगला एपिसोड कसा दिसतो

रेकॉर्डिंग मार्गदर्शक पहिल्या कार्यासाठी किमान 50 एपिसोड्स, प्रत्येक वस्तूच्या स्थानासाठी सुमारे 10, सुचवतो. धोरण पृष्ठे प्रत्येक मॉडेलसाठी किमान संख्या सूचीबद्ध करतात, ज्याखालील रन GPU वेळेसाठी योग्य नाही.

खरा प्रश्न हा आहे की किती आणि कशाचे. Data Scaling Laws in Imitation Learning for Robotic Manipulation (लिन एट अल., 2024) यांनी 40,000 पेक्षा जास्त प्रात्यक्षिके गोळा केली आणि 15,000 पेक्षा जास्त वास्तविक-जगातील रोलआउट्स चालवले. सामान्यीकरण हे च्या संख्येनुसार अंदाजे पॉवर-लॉ संबंधाचे अनुसरण करतेenvironments and objects, आणि प्रत्येक वातावरण किंवा वस्तूसाठी एका मर्यादेनंतर, अतिरिक्त प्रात्यक्षिकांचा किमान परिणाम झाला. एका बेंचवर: वस्तू हलवा, प्रकाश बदला, क्यूब अदलाबदल करा, एकाच टेकची पुनरावृत्ती करण्याऐवजी.

एक चांगला एपिसोड कंटाळवाणा असतो: पुन्हा पुन्हा करता येणारी होम पोझ, एकच गोष्ट पूर्ण झाली, वस्तू डब्यात टाकल्यावर संपली, चेकलिस्टने शिफारस केलेल्या २५ ते ५० अक्षरांमध्ये टास्क स्ट्रिंग. लाल क्यूब उचला आणि बॉक्समध्ये टाका ही एक टास्क स्ट्रिंग आहे; task1 हे चेकलिस्टने स्पष्टपणे नमूद केलेले अँटी-पॅटर्न आहे. अस्पष्ट ॲनोटेशन्स त्याच्या समस्यांच्या यादीत सर्वात वर आहेत आणि त्या सर्वात महत्त्वाच्या आहेत , जिथे स्ट्रिंग हे मॉडेलचे इनपुट असते, फाइलनाव नाही.

डेटासेटला हळूवारपणे खराब करणारे दोष

यापैकी कोणीही अपवाद (exception) देत नाही. सर्व प्रशिक्षणामध्ये टिकून राहतात, ज्यामुळे लॉस कर्व्ह ठीक दिसतो आणि रोबोट काहीही करत नाही. सीन सेट करतानाच तपासा.

एक चेतावणी: स्ट्रीमिंग-एनकोडिंग मार्गदर्शकाच्या टेबलमध्ये डीफॉल्ट म्हणून True, तर मुख्यवरील डेटाक्लासमध्ये streaming_encoding: bool = False. डॉक्स आणि कोडमध्ये विसंगती आहे, म्हणून ते स्पष्टपणे सेट करा; जेव्हा ध्वज बंद असतो तेव्हा लेरोबोट ते शिफारस करणारा एक संकेत लॉग करतो.

जीपीयू भाड्याने घेण्यापूर्वी डेटासेट तपासा

डॉक्समधील स्वीकृती चाचणी: व्हिडिओचा कालावधी सीएलआयने नोंदवलेल्या एपिसोडच्या कालावधीशी तुलना करा आणि पंक्तींची संख्या एफपीएस गुणिले कालावधी इतकी असल्याची खात्री करा. प्रत्येक एपिसोडनुसार, एकूण संख्येनुसार नाही.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

मग ते पहा. lerobot-dataset-viz Rerun किंवा Foxglove मध्ये कॅमेरा दृश्यांच्या शेजारी जॉइंट ट्रेससह एपिसोड फ्रेम बाय फ्रेम पुन्हा प्ले करते. अदलाबदल केलेले कॅमेरे आणि गोठवलेल्या फ्रेम्स दहा सेकंदात दिसतात. लोक ही पायरी वगळतात.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 किंवा v3.0: रेकॉर्ड करण्यापूर्वी ठरवा

v2.1 ने प्रत्येक एपिसोडसाठी एक parquet आणि एक MP4 लिहिला. v3.0 अनेक एपिसोड्सना सामायिक शार्ड्समध्ये एकत्र करतो आणि मेटाडेटावरून सीमा पुन्हा तयार करतो, त्यामुळे info.json मध्ये पाथ टेम्पलेट्स असतात जसे की data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet एपिसोड नंबरऐवजी. वरून आलेले समर्थन म्हणजे कमी, मोठ्या फाइल्स: जलद इनिशियलायझेशन आणि मोठ्या प्रमाणावर कमी फाइल-सिस्टम दबाव.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

एकाच डेटासेटसाठी दोन मार्ग

डेटासेटपासून पॉलिसीपर्यंत

पन्नास स्वच्छ एपिसोड प्रत्येक इमिटेशन लर्निंग येथे चालवले जातात. ACT तुमच्या कार्यासाठी सुरुवातीपासून प्रशिक्षण देते, सुमारे 80 दशलक्ष पॅरामीटर्स प्रति क्रिया स्टेप सुमारे 20 ms मध्ये, पाचपैकी जलद गतीसाठी आरामदायक असलेले हे एकमेव आहे. SmolVLA 24 GB कार्डवर सुमारे 450 दशलक्ष पॅरामीटर्स आहे. GR00T N1.7 हे अंदाजे 3 अब्ज पॅरामीटरचे फाउंडेशन मॉडेल आहे जिथे फाइन-ट्यूनिंग सुमारे 40 दशलक्ष पॅरामीटर्सना स्पर्श करते, त्याला A100 किंवा H100 ची आवश्यकता आहे आणि त्याला तो v2.1 डेटासेट हवा आहे.

पुढे, तुमच्या संयोजनासाठी मार्गदर्शक: ACT on SO-100, SmolVLA on SO-100 किंवा GR00T N1.7 on SO-100; पहिल्या रनसाठी, तुमची पहिली पॉलिसी प्रशिक्षित करा लहान आहे. जेव्हा पॉलिसी बेंचवर काम करते पण तुम्ही टेबल हलवताच ती कोसळते, तेव्हा ती डेटाची समस्या आहे: पॉलिसी फक्त एका सेटअपमध्ये काम करते आणि उच्च-गुणवत्तेचा VLA प्रशिक्षण डेटा गोळा करणे विविधतेवर अधिक सखोल माहिती देतात.