SO-100 के साथ अपना पहला LeRobot डेटासेट रिकॉर्ड करें

एक SO-100 फॉलोअर, उसी डिज़ाइन का एक लीडर आर्म और दो USB कैमरे एक दोपहर में एक पॉलिसी को ठीक कर सकते हैं। वही बेंच आसानी से साठ एपिसोड बना सकती है जो फ़ाइल ब्राउज़र में स्वस्थ दिखते हैं और छह घंटे के GPU रन को बर्बाद कर सकते हैं। अंतर शायद ही कभी मॉडल होता है; यह वह है जो सर्वो और पारकेट फ़ाइल के बीच हुआ।

यहाँ मैनुअल तरीका है, फिर छोटा वाला। हर कमांड lerobot 0.6.1 से है, जो 3 अगस्त 2026 को जारी किया गया था और PyPI पर वर्तमान है। यह कंसोल एंट्री पॉइंट पर चला गया है, इसलिए जो ट्यूटोरियल चलाते हैं python lerobot/scripts/control_robot.py एक ऐसी फ़ाइल का वर्णन करते हैं जो अब मौजूद नहीं है।

एक रिकॉर्डिंग सेशन क्या कैप्चर करता है

एक LeRobot डेटासेट वीडियो का एक फ़ोल्डर नहीं है, बल्कि वीडियो के साथ एक समय-अनुक्रमित तालिका है: प्रत्येक कंट्रोल-लूप टिक एक पंक्ति लिखता है जिसमें कमांड की गई कार्रवाई, अनुयायी द्वारा प्राप्त स्थिति, प्रति कैमरा एक फ्रेम, एक टाइमस्टैम्प और इंडेक्स होते हैं। नीति केवल उन कॉलमों को देखती है। का स्कीमा lerobot/svla_so100_pickplace, जो इसकी meta/info.json से पढ़ा गया है।

जॉइंट्स main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll और main_gripper हैं: SO-100 के छह स्वतंत्रता की डिग्री। एक्शन और स्थिति एक ही आकार साझा करते हैं क्योंकि लीडर-फॉलोअर टेलीऑपरेशन एक लक्ष्य और एक कदम बाद प्राप्त स्थिति को रिकॉर्ड करता है। वह अंतर जानकारी है: जहाँ भुजा ने गुरुत्वाकर्षण या फंसी हुई वस्तु से संघर्ष किया। वे स्ट्रिंग उस डेटासेट की हैं। आज 0.6.1 के साथ रिकॉर्ड किया गया एक सत्र shoulder_pan.pos से gripper.pos तक, बस पर 1 से 6 आईडी लिखता है: वही छह जॉइंट्स, अलग-अलग कुंजियाँ, जो उस क्षण मायने रखती हैं जब एक कॉन्फ़िग किसी फ़ीचर को नाम से संबोधित करता है।

आपको बेंच पर क्या चाहिए

यदि हाथ अभी तक नहीं बना है, तो वह एक अलग शाम का काम है: यहां से शुरू करें और . यदि आपने कुछ भी नहीं खरीदा है, तो पहले पढ़ें: SO-101 बेहतर वायरिंग और गियर-हटाने के चरण के बिना एक नया संशोधन है, और रिकॉर्डिंग वर्कफ़्लो समान है।

lerobot 0.6.1 स्थापित करें

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

एक्स्ट्राज़ (अतिरिक्त) लोगों को सबसे ज़्यादा भ्रमित करते हैं। pip install lerobot केवल मुख्य ML निर्भरताएँ स्थापित करता है, रोबोट से बात करने वाला कुछ भी नहीं। कोच आर्म्स को dynamixel के बजाय feetech की आवश्यकता होती है। यदि आपके शेल ने कभी lerobot-record के बारे में नहीं सुना है, तो यही कारण है।

पोर्ट्स, मोटर आईडी और कैलिब्रेशन

पार्ट्स और एक कार्यशील टेलीऑप लूप के बीच तीन एक-बार के चरण हैं। आपके आर्म पर प्रशिक्षित एक नीति को किसी और के आर्म पर चलाने में मदद करता है, जो रॉ एनकोडर काउंट्स को एक साझा जॉइंट कन्वेंशन पर मैप करता है।

1. 1
   प्रत्येक आर्म का USB पोर्ट ढूंढें

   इसे दोनों आर्म्स को प्लग इन करके चलाएं, जब संकेत मिले तो जिस आर्म की पहचान कर रहे हैं उसे अनप्लग करें, और ध्यान दें कि कौन सा पोर्ट गायब हो जाता है। लिनक्स पर आपको sudo chmod 666 /dev/ttyACM0 की आवश्यकता हो सकती है।

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   मोटर आईडी और बॉडरेट लिखें

   आईडी एक समय में एक मोटर पर लिखे जाते हैं, और दस्तावेज़ इस बारे में सख्त हैं कि कैसे: कंट्रोलर बोर्ड से ठीक एक मोटर कनेक्ट करें, जो अभी तक किसी और से डेज़ी-चेन नहीं है। स्क्रिप्ट चेन को पीछे की ओर चलती है, पहले ग्रिपर के लिए संकेत देती है और उसे आईडी 6 देती है, फिर wrist_roll को 5, और shoulder_pan को 1 तक। इसे असेंबली से पहले करें।

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   दोनों आर्म्स को कैलिब्रेट करें

   प्रत्येक जॉइंट को उसकी रेंज के मध्य में ले जाएं, एंटर दबाएं, फिर प्रत्येक को उसकी पूरी रेंज में घुमाएं। id प्रोफाइल फ़ाइलनाम बन जाता है।

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   कुछ भी रिकॉर्ड करने से पहले टेलीऑपरेट करें

   उपरोक्त सभी के लिए स्वीकृति परीक्षण। यदि टेलीऑपरेशन झटकेदार है, प्रतिबिंबित है, या एक जॉइंट अनुसरण नहीं करेगा, तो रिकॉर्डिंग उसे 50 एपिसोड में संरक्षित करती है।

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

कैमरे तय करते हैं कि नीति क्या देखती है

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

दो दृश्य, और उनकी स्थिति मायने रखती है: एक निश्चित दृश्य कैमरा जो कार्यक्षेत्र को कवर करता है, और एक कलाई कैमरा जो एंड-इफेक्टर के पास होता है, यह दिखाता है कि ग्रिपर क्या छूने वाला है। LeRobot समुदाय-डेटासेट चेकलिस्ट में अधिमानतः 480x640 / 720p या बेहतर पर दो दृश्य, एक स्थिर पृष्ठभूमि, तटस्थ स्थिर प्रकाश व्यवस्था, और लीडर आर्म और मानव अंगों को फ्रेम से बाहर रखने के लिए कहा गया है। रिकॉर्डिंग गाइड एक अंगूठे का नियम जोड़ता है: आपको केवल कैमरा छवियों को देखकर कार्य स्वयं करने में सक्षम होना चाहिए।

रिकॉर्ड कमांड और हर फ़्लैग

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

नीचे दिए गए डिफ़ॉल्ट मान src/lerobot/configs/dataset.py मुख्य से आते हैं, किसी ट्यूटोरियल से नहीं। कई ऐसे नहीं हैं जैसा लोग मानते हैं।

एक सत्र के दौरान कीबोर्ड नियंत्रण

• दायाँ तीर या n: एपिसोड समाप्त करें या चरण को जल्दी रीसेट करें। यह वह कुंजी है जिसका आप सबसे अधिक उपयोग करते हैं, क्योंकि एक साफ पकड़ के लिए शायद ही कभी 25 सेकंड की आवश्यकता होती है।
• बायाँ तीर या r: एपिसोड को छोड़ दें और इसे फिर से करें। एक खराब टेक की अब कोई कीमत नहीं है और बाद में बहुत कुछ।
• एस्केप या q: सत्र रोकें, एन्कोडिंग समाप्त करें, अपलोड करें।
• ये X11, Wayland और हेडलेस SSH पर काम करते हैं: बिना किसी वैश्विक कुंजी बैकएंड के, lerobot-record नियंत्रण टर्मिनल से समान कुंजियाँ पढ़ता है। अक्षर धीमे SSH लिंक पर भी काम करते हैं, जहाँ तीर अनुक्रम विभाजित होते हैं।
• कीबोर्ड टेलीऑपरेशन अलग है और इसे एक वैश्विक बैकएंड की आवश्यकता होती है: X11, Windows, या एक्सेसिबिलिटी के साथ macOS।

कितने एपिसोड, और एक अच्छा एपिसोड कैसा दिखता है

रिकॉर्डिंग गाइड पहले कार्य के लिए कम से कम 50 एपिसोड का सुझाव देती है, प्रति वस्तु स्थान लगभग 10। पॉलिसी पेज प्रत्येक मॉडल के लिए न्यूनतम सूचीबद्ध करते हैं, जिसके नीचे एक रन जीपीयू समय के लायक नहीं होता।

बेहतर सवाल यह है कि कितने और क्या। Data Scaling Laws in Imitation Learning for Robotic Manipulation (लिन एट अल., 2024) ने 40,000 से अधिक प्रदर्शन एकत्र किए और 15,000 से अधिक वास्तविक-विश्व रोलआउट चलाए। सामान्यीकरण ने वातावरण और वस्तुओं की संख्या के साथ लगभग एक शक्ति-नियम संबंध का पालन किया, और प्रति वातावरण या वस्तु एक सीमा से आगे, अतिरिक्त प्रदर्शनों का न्यूनतम प्रभाव पड़ा। एक बेंच पर: वस्तु को हिलाएं, प्रकाश बदलें, क्यूब को बदलें, बजाय एक ही टेक को दोहराने के।

एक अच्छा एपिसोड उबाऊ होता है: दोहराने योग्य होम पोज़, एक काम पूरा हुआ, वस्तु के डिब्बे में होने के बाद समाप्त हुआ, टास्क स्ट्रिंग 25 से 50 वर्णों में जैसा कि चेकलिस्ट सुझाती है। Pick the red cube and drop it in the box एक टास्क स्ट्रिंग है; task1 वह एंटी-पैटर्न है जिसे चेकलिस्ट स्पष्ट रूप से नाम देती है। अस्पष्ट एनोटेशन इसकी समस्याओं की सूची में सबसे ऊपर हैं, और वे सबसे अधिक महत्वपूर्ण हैं विज़न-लैंग्वेज-एक्शन मॉडल, जहाँ स्ट्रिंग एक मॉडल इनपुट है, न कि फ़ाइलनाम।

वे दोष जो चुपचाप एक डेटासेट को बर्बाद कर देते हैं

कोई भी अपवाद नहीं फेंकता। सभी प्रशिक्षण में बने रहते हैं, एक ऐसी लॉस कर्व के रूप में सामने आते हैं जो ठीक दिखती है और एक रोबोट जो कुछ नहीं करता। दृश्य सेट करते समय जाँच करें।

एक चेतावनी: स्ट्रीमिंग-एनकोडिंग गाइड की तालिका में डिफ़ॉल्ट के रूप में True, जबकि मुख्य पर डेटाक्लास पढ़ता है streaming_encoding: bool = False. दस्तावेज़ और कोड असहमत हैं, इसलिए इसे स्पष्ट रूप से सेट करें; लेरोबोट एक संकेत लॉग करता है जो इसकी सिफारिश करता है जब भी यह फ़्लैग बंद करके शुरू होता है।

GPU किराए पर लेने से पहले डेटासेट की जाँच करें

दस्तावेज़ों से स्वीकृति परीक्षण: वीडियो की अवधि की तुलना CLI द्वारा रिपोर्ट की गई एपिसोड की अवधि से करें, और पुष्टि करें कि पंक्ति गणना fps गुणा अवधि के बराबर है। प्रति एपिसोड, कुल पर नहीं।

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

फिर इसे देखें। lerobot-dataset-viz Rerun या Foxglove में, कैमरा दृश्यों के बगल में संयुक्त निशान के साथ एक एपिसोड को फ्रेम दर फ्रेम फिर से चलाता है। बदले हुए कैमरे और जमे हुए फ्रेम दस सेकंड में दिखाई देते हैं। लोग इस कदम को छोड़ देते हैं।

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 या v3.0: रिकॉर्ड करने से पहले तय करें

v2.1 ने प्रति एपिसोड एक पारकेट और एक MP4 लिखा। v3.0 कई एपिसोड को साझा शार्ड में जोड़ता है और मेटाडेटा से सीमाओं का पुनर्निर्माण करता है, इसलिए info.json पाथ टेम्प्लेट को इस तरह वहन करता है data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet एक एपिसोड संख्या के बजाय। अपस्ट्रीम औचित्य कम, बड़ी फाइलें हैं: तेजी से आरंभीकरण और बड़े पैमाने पर कम फाइल-सिस्टम दबाव।

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

एक ही डेटासेट तक पहुँचने के दो तरीके

डेटासेट से पॉलिसी तक

पचास स्वच्छ एपिसोड हर रन को फीड करते हैं। आपके कार्य पर अकेले ही खरोंच से प्रशिक्षित होता है, लगभग 80 मिलियन पैरामीटर प्रति एक्शन स्टेप लगभग 20 मिलीसेकंड पर, पांच में से एकमात्र जो तेज़ गति के साथ सहज है। 24 GB कार्ड पर लगभग 450 मिलियन पैरामीटर है। एक लगभग 3 बिलियन पैरामीटर का फाउंडेशन मॉडल है जहाँ लगभग 40 मिलियन पैरामीटर को छूता है, इसे A100 या H100 की आवश्यकता होती है, और वह v2.1 डेटासेट चाहता है।

अगला, आपके संयोजन के लिए मार्गदर्शिका: , या ; पहली बार चलाने के लिए, छोटा है। जब पॉलिसी बेंच पर काम करती है लेकिन जैसे ही आप टेबल हिलाते हैं, वह ढह जाती है, तो यह एक डेटा समस्या है: और विविधता पर गहराई से जाते हैं।