आफ्नो पहिलो LeRobot डेटासेट SO-100 सँग रेकर्ड गर्नुहोस्

एउटा SO-100 फलोअर, उही डिजाइनको लिडर आर्म र दुई USB क्यामेराले एक दिउँसोमा नीतिलाई फाइन-ट्युन गर्न सक्छ। उही बेन्चले फाइल ब्राउजरमा स्वस्थ देखिने साठी एपिसोडहरू सजिलै उत्पादन गर्न सक्छ र छ घण्टाको GPU रन खेर फाल्न सक्छ। भिन्नता विरलै मोडेलमा हुन्छ; यो सर्भो र पार्केट फाइलको बीचमा के भयो भन्नेमा हुन्छ।

यहाँ म्यानुअल मार्ग छ, त्यसपछि छोटो मार्ग। प्रत्येक कमाण्ड lerobot 0.6.1 बाट हो, जुन 3 अगस्त 2026 मा जारी गरिएको थियो र PyPI मा हालको छ। यो कन्सोल एन्ट्री पोइन्टहरूमा सरेको छ, त्यसैले ट्यूटोरियलहरू जुन चलाउँछन् python lerobot/scripts/control_robot.py अब अवस्थित नभएको फाइलको वर्णन गर्दछ।

रेकर्डिङ सत्रले के क्याप्चर गर्छ

एउटा LeRobot dataset भिडियोहरूको फोल्डर होइन तर भिडियो संलग्न भएको समय-अनुक्रमित तालिका हो: प्रत्येक नियन्त्रण-लूप टिकले आदेशित कार्य, अनुयायीले पुगेको अवस्था, प्रति क्यामेरा एक फ्रेम, एक टाइमस्ट्याम्प र सूचकांकहरू समावेश गरी एक पङ्क्ति लेख्छ। नीतिले ती स्तम्भहरू मात्र देख्छ। lerobot/svla_so100_pickplace को स्कीमा, यसको meta/info.json बाट पढिएको।

जोइन्टहरू main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll र main_gripper हुन्: SO-100 का छवटा degrees of freedom। कार्य र अवस्थाले एउटै आकार साझा गर्छन् किनभने leader-follower teleoperation ले एक लक्ष्य र एक चरण पछि पुगेको स्थिति रेकर्ड गर्छ। त्यो अन्तर जानकारी हो: जहाँ पाखुराले गुरुत्वाकर्षण वा अड्किएको वस्तुसँग संघर्ष गर्यो। ती स्ट्रिङहरू त्यो डेटासेटका हुन्। आज 0.6.1 सँग रेकर्ड गरिएको सत्रले shoulder_pan.pos देखि gripper.pos सम्म, बसमा 1 देखि 6 सम्मका आईडीहरू लेख्छ: उही छवटा जोइन्टहरू, फरक कुञ्जीहरू, जुन कन्फिगले नामद्वारा सुविधालाई सम्बोधन गर्ने क्षणमा महत्त्वपूर्ण हुन्छ।

बेन्चमा तपाईंलाई के चाहिन्छ

यदि पाखुरा अझै बनेको छैन भने, त्यो छुट्टै काम हो: यहाँबाट सुरु गर्नुहोस् SO-100 सुरु गर्दै र SO-100 सेटअपको पूर्ण गाइड। यदि तपाईंले केही किन्नुभएको छैन भने, पहिले SO-100 र SO-101 को तुलना पढ्नुहोस्: SO-101 सुधारिएको तार र गियर हटाउने चरण बिनाको नयाँ संशोधन हो, र रेकर्डिङ कार्यप्रवाह समान छ।

lerobot 0.6.1 स्थापना गर्नुहोस्

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

अतिरिक्त कुराहरूले मानिसहरूलाई प्रायः अलमल्याउँछ। pip install lerobot ले मुख्य ML निर्भरताहरू मात्र स्थापना गर्छ, रोबोटसँग कुरा गर्ने केही पनि होइन। Koch आर्महरूलाई dynamixel को सट्टा feetech चाहिन्छ। यदि तपाईंको शेलले कहिल्यै lerobot-record को बारेमा सुनेको छैन भने, यसको कारण यही हो।

पोर्टहरू, मोटर ID हरू र क्यालिब्रेसन

भागहरू र काम गर्ने टेलिओप लूपको बीचमा तीनवटा एक-पटकका चरणहरू छन्। ले तपाईंको पाखुरामा प्रशिक्षित नीतिलाई अरू कसैकोमा चलाउँछ, कच्चा एन्कोडर गणनाहरूलाई साझा जोइन्ट कन्भेन्सनमा म्याप गर्दै।

1. 1
   प्रत्येक पाखुराको USB पोर्ट पत्ता लगाउनुहोस्

   दुवै पाखुरा प्लग इन गरेर यसलाई चलाउनुहोस्, जब प्रम्प्ट गरिन्छ तब तपाईंले पहिचान गरिरहनुभएको पाखुरालाई अनप्लग गर्नुहोस्, र कुन पोर्ट हराउँछ नोट गर्नुहोस्। लिनक्समा तपाईंलाई sudo chmod 666 /dev/ttyACM0 आवश्यक पर्न सक्छ।

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   मोटर ID हरू र बाउडरेटहरू लेख्नुहोस्

   ID हरू एक पटकमा एउटा मोटरमा लेखिन्छन्, र कागजातहरू यस बारेमा कडा छन्: नियन्त्रक बोर्डमा ठ्याक्कै एउटा मोटर जडान गर्नुहोस्, जुन अझै अरू कुनैसँग डेजी-चेन गरिएको छैन। स्क्रिप्टले चेनलाई पछाडिबाट हिँडाउँछ, पहिले ग्रिपरको लागि प्रम्प्ट गर्छ र यसलाई ID 6 दिन्छ, त्यसपछि wrist_roll लाई 5, shoulder_pan लाई 1 सम्म। यसलाई एसेम्बली गर्नु अघि गर्नुहोस्।

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   दुवै पाखुरा क्यालिब्रेसन गर्नुहोस्

   प्रत्येक जोइन्टलाई यसको दायराको बीचमा सार्नुहोस्, Enter थिच्नुहोस्, त्यसपछि प्रत्येकलाई यसको पूर्ण दायरामा घुमाउनुहोस्। The id प्रोफाइल फाइलनाम बन्छ।

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   केही रेकर्ड गर्नु अघि टेलिओपरेट गर्नुहोस्

   माथिका सबैको लागि स्वीकृति परीक्षण। यदि टेलिओपरेसन झट्का दिने, ऐना जस्तो, वा एउटा जोइन्टले पछ्याउँदैन भने, रेकर्डिङले त्यसलाई 50 एपिसोडहरूमा सुरक्षित गर्छ।

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

क्यामेराले नीतिले के देख्छ भन्ने निर्णय गर्छ

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

दुई दृश्यहरू, र तिनीहरू कहाँ बस्छन् भन्ने कुरा महत्त्वपूर्ण छ: कार्यस्थान ढाक्ने एउटा निश्चित दृश्य क्यामेरा, र अन्त-प्रभावकारी नजिकको नाडी क्यामेराले ग्रिपरले के छुन लागेको छ देखाउँदै। LeRobot समुदाय-डेटासेट चेकलिस्टले प्राथमिकतामा 480x640 / 720p वा राम्रोमा दुई दृश्यहरू, एक स्थिर पृष्ठभूमि, तटस्थ स्थिर प्रकाश, र फ्रेम बाहिर नेता हात र मानव अंगहरू माग गर्दछ। रेकर्डिङ गाइडले सामान्य नियम थप्छ: तपाईंले क्यामेराका छविहरू मात्र हेरेर आफैंले कार्य गर्न सक्षम हुनुपर्छ।

रेकर्ड कमान्ड र प्रत्येक फ्ल्याग

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

तलका पूर्वनिर्धारित मानहरू मुख्यमा रहेको src/lerobot/configs/dataset.py बाट आएका हुन्, ट्यूटोरियलबाट होइनन्। धेरै मानिसहरूले अनुमान गरेजस्तो छैनन्।

सत्रको समयमा किबोर्ड नियन्त्रण

• दायाँ एरो वा n: एपिसोड समाप्त गर्नुहोस् वा चरणलाई चाँडै रिसेट गर्नुहोस्। यो कुञ्जी तपाईंले धेरै प्रयोग गर्नुहुन्छ, किनभने सफा पकडलाई विरलै २५ सेकेन्ड चाहिन्छ।
• बायाँ एरो वा r: एपिसोड खारेज गर्नुहोस् र यसलाई फेरि गर्नुहोस्। खराब टेकले अहिले केही खर्च गर्दैन र पछि धेरै खर्च गर्छ।
• एस्केप वा q: सत्र रोक्नुहोस्, एन्कोडिङ समाप्त गर्नुहोस्, अपलोड गर्नुहोस्।
• यी X11, Wayland र हेडलेस SSH मा काम गर्छन्: कुनै ग्लोबल कुञ्जी ब्याकेन्ड नभएकाले, lerobot-record ले नियन्त्रण गर्ने टर्मिनलबाट उही कुञ्जीहरू पढ्छ। अक्षरहरू ढिलो SSH लिङ्कहरूमा पनि काम गर्छन्, जहाँ एरो अनुक्रमहरू विभाजित हुन्छन्।
• किबोर्ड टेलिअपरेसन फरक छ र यसलाई ग्लोबल ब्याकेन्ड चाहिन्छ: X11, Windows, वा Accessibility सहितको macOS।

कति एपिसोडहरू, र राम्रो एपिसोड कस्तो देखिन्छ

रेकर्डिङ गाइडले पहिलो कार्यका लागि कम्तिमा ५० एपिसोडहरू, प्रति वस्तु स्थान लगभग १० वटा सुझाव दिन्छ। नीति पृष्ठहरू ले प्रति मोडेल न्यूनतम संख्या सूचीबद्ध गर्दछ, जसभन्दा कममा रन चलाउनु GPU समयको लायक हुँदैन।

राम्रो प्रश्न के हो भने कति र के-के। रोबोटिक म्यानिपुलेसनका लागि इमिटेसन लर्निङमा डेटा स्केलिंग नियमहरू (लिन एट अल., २०२४) ले ४०,००० भन्दा बढी प्रदर्शनहरू सङ्कलन गर्यो र १५,००० भन्दा बढी वास्तविक-विश्व रोलआउटहरू चलायो। सामान्यीकरणले वातावरण र वस्तुहरूको संख्यासँग लगभग पावर-ल सम्बन्ध पछ्यायो, र प्रति वातावरण वा वस्तुको एक निश्चित सीमा पार गरेपछि, थप प्रदर्शनहरूको न्यूनतम प्रभाव थियो। एउटै बेन्चमा: वस्तु सार्नुहोस्, प्रकाश परिवर्तन गर्नुहोस्, क्यूब बदल्नुहोस्, एउटै टेक दोहोर्याउनुको सट्टा।

एउटा राम्रो एपिसोड बोरिंग हुन्छ: दोहोर्याउन मिल्ने होम पोज, एउटा काम सकिएको, वस्तु बिनमा पुगेपछि समाप्त भएको, चेकलिस्टले सिफारिस गरेको २५ देखि ५० अक्षरको टास्क स्ट्रिङ। Pick the red cube and drop it in the box एउटा टास्क स्ट्रिङ हो; task1 चेकलिस्टले स्पष्ट रूपमा उल्लेख गरेको एन्टि-प्याटर्न हो। अस्पष्ट एनोटेशनहरू यसको समस्याहरूको सूचीमा शीर्ष स्थानमा छन्, र तिनीहरूका लागि सबैभन्दा महत्त्वपूर्ण हुन्छन् vision-language-action models, जहाँ स्ट्रिङ मोडेल इनपुट हो, फाइलनाम होइन।

डेटासेटलाई चुपचाप बर्बाद गर्ने त्रुटिहरू

कसैले पनि अपवाद उत्पन्न गर्दैन। सबै प्रशिक्षणमा जीवित रहन्छन्, राम्रो देखिने हानि वक्र र केही नगर्ने रोबोटको रूपमा देखा पर्छन्। दृश्य सेटअप गर्दा जाँच गर्नुहोस्।

एउटा चेतावनी: स्ट्रिमिङ-इन्कोडिङ गाइडको तालिकाले पूर्वनिर्धारितलाई True, जबकि मुख्यमा रहेको डेटाक्लासले streaming_encoding: bool = False। कागजात र कोड असहमत छन्, त्यसैले यसलाई स्पष्ट रूपमा सेट गर्नुहोस्; लेरोबोटले झण्डा बन्द हुँदा यसलाई सिफारिस गर्ने संकेत लग गर्छ।

GPU भाडामा लिनु अघि डेटासेट जाँच गर्नुहोस्

कागजातहरूबाट स्वीकृति परीक्षण: भिडियोको अवधि CLI ले रिपोर्ट गरेको एपिसोडको अवधिसँग तुलना गर्नुहोस्, र पङ्क्ति गणना fps गुणा अवधिसँग बराबर छ भनी पुष्टि गर्नुहोस्। कुलमा होइन, प्रति एपिसोड।

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

त्यसपछि यसलाई हेर्नुहोस्। lerobot-dataset-viz ले क्यामेरा दृश्यहरूको छेउमा जोइन्ट ट्रेसहरू सहित एउटा एपिसोडलाई फ्रेम-बाइ-फ्रेम Rerun वा Foxglove मा पुन: प्ले गर्छ। साटिएका क्यामेराहरू र जमेका फ्रेमहरू दस सेकेन्डमा देखिन्छन्। मानिसहरू यो चरण छोड्छन्।

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 वा v3.0: रेकर्ड गर्नु अघि निर्णय गर्नुहोस्

v2.1 ले प्रत्येक एपिसोडको लागि एउटा parquet र एउटा MP4 लेख्यो। v3.0 ले धेरै एपिसोडहरूलाई साझा शार्डहरूमा जोड्छ र मेटाडेटाबाट सीमाहरू पुन: निर्माण गर्छ, त्यसैले info.json ले पथ टेम्प्लेटहरू बोक्छ जस्तै data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet एपिसोड नम्बरको सट्टा। माथिल्लो औचित्य कम, ठूला फाइलहरू हुन्: छिटो प्रारम्भिकरण र स्केलमा कम फाइल-प्रणाली दबाब।

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

एउटै डेटासेटमा पुग्ने दुई मार्ग

डेटासेटबाट नीतिमा

पचास सफा एपिसोडहरूले प्रत्येक अनुकरण सिकाइ यहाँ चलाउँछ। ACT तपाईंको कार्यमा मात्रै सुरुदेखि तालिम दिन्छ, लगभग 80 M प्यारामिटरहरू प्रति कार्य चरण लगभग 20 ms मा, पाँच मध्ये द्रुत गतिमा सहज हुने एक मात्र। SmolVLA 24 GB कार्डमा लगभग 450 M प्यारामिटरहरू छ। GR00T N1.7 लगभग 3 B प्यारामिटरको फाउन्डेसन मोडेल हो जहाँ फाइन-ट्यूनिङ लगभग 40 M प्यारामिटरहरू छुन्छ, A100 वा H100 चाहिन्छ, र त्यो v2.1 डेटासेट चाहन्छ।

अर्को, तपाईंको संयोजनको लागि गाइड: SO-100 मा ACT, SO-100 मा SmolVLA वा SO-100 मा GR00T N1.7; पहिलो रनको लागि, आफ्नो पहिलो नीति तालिम दिनुहोस् छोटो छ। जब नीति बेन्चमा काम गर्छ तर तपाईंले टेबल सार्ने बित्तिकै ढल्छ, त्यो डेटा समस्या हो: नीतिले एउटा सेटअपमा मात्र काम गर्छ र उच्च-गुणस्तरको VLA तालिम डेटा सङ्कलन विविधतामा गहिरो जान्छ।