اپنا پہلا LeRobot ڈیٹا سیٹ ایک SO-100 کے ساتھ ریکارڈ کریں

ایک SO-100 فالوور، اسی ڈیزائن کا ایک لیڈر آرم اور دو USB کیمرے ایک پالیسی کو ایک دوپہر میں بہتر بنا سکتے ہیں۔ وہی بینچ اتنی ہی آسانی سے ساٹھ ایپیسوڈز تیار کر سکتا ہے جو فائل براؤزر میں صحت مند نظر آتے ہیں اور چھ گھنٹے کی GPU رن کو ضائع کر سکتے ہیں۔ فرق شاذ و نادر ہی ماڈل ہوتا ہے؛ یہ وہ ہے جو سرووز اور پارکیٹ فائل کے درمیان ہوا۔

یہاں دستی راستہ ہے، پھر مختصر والا۔ ہر کمانڈ lerobot 0.6.1 سے ہے، جو 3 اگست 2026 کو جاری ہوا اور PyPI پر موجود ہے۔ یہ کنسول انٹری پوائنٹس پر منتقل ہو گیا ہے، لہذا وہ ٹیوٹوریلز جو python lerobot/scripts/control_robot.py چلاتے ہیں وہ ایک ایسی فائل کو بیان کرتے ہیں جو اب موجود نہیں ہے۔

ایک ریکارڈنگ سیشن کیا کیپچر کرتا ہے

ایک LeRobot ڈیٹا سیٹ ویڈیوز کا فولڈر نہیں بلکہ ایک وقت کے لحاظ سے ترتیب شدہ جدول ہے جس کے ساتھ ویڈیو منسلک ہے: ہر کنٹرول-لوپ ٹک ایک قطار لکھتا ہے جس میں کمانڈ شدہ عمل، فالوور کی پہنچی ہوئی حالت، فی کیمرہ ایک فریم، ایک ٹائم اسٹیمپ اور انڈیکس شامل ہوتے ہیں۔ پالیسی صرف ان کالموں کو دیکھتی ہے۔ lerobot/svla_so100_pickplace کا اسکیما، جو اس کی meta/info.json سے پڑھا گیا ہے۔

جوائنٹس main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll اور main_gripper ہیں: SO-100 کے چھ آزادی کی ڈگریز۔ ایکشن اور حالت ایک ہی شکل رکھتے ہیں کیونکہ لیڈر-فالوور ٹیلی آپریشن ایک ہدف اور ایک قدم بعد پہنچی ہوئی پوزیشن کو ریکارڈ کرتا ہے۔ یہ فرق معلومات ہے: جہاں بازو نے کشش ثقل یا کسی پھنسی ہوئی چیز سے مقابلہ کیا۔ وہ سٹرنگز اس ڈیٹا سیٹ کی ہیں۔ آج 0.6.1 کے ساتھ ریکارڈ کیا گیا ایک سیشن shoulder_pan.pos سے gripper.pos تک، بس پر IDs 1 سے 6 لکھتا ہے: وہی چھ جوائنٹس، مختلف کیز، جو اس وقت اہم ہوتا ہے جب کوئی کنفیگریشن کسی فیچر کو نام سے مخاطب کرتی ہے۔

آپ کو بینچ پر کیا چاہیے

اگر بازو ابھی تک نہیں بنا ہے، تو یہ ایک الگ شام کا کام ہے: یہاں سے شروع کریں SO-100 کا آغاز اور SO-100 سیٹ اپ کی مکمل گائیڈ۔ اگر آپ نے کچھ نہیں خریدا ہے، تو پہلے SO-100 بمقابلہ SO-101 کا موازنہ پڑھیں: SO-101 ایک نیا نظرثانی شدہ ورژن ہے جس میں بہتر وائرنگ اور گیئر ہٹانے کا کوئی مرحلہ نہیں ہے، اور ریکارڈنگ کا ورک فلو یکساں ہے۔

lerobot 0.6.1 انسٹال کریں

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

ایکسٹراز اکثر لوگوں کو الجھاتے ہیں۔ pip install lerobot صرف بنیادی ML انحصار انسٹال کرتا ہے، روبوٹ سے بات کرنے والی کوئی چیز نہیں۔ کوچ آرمز کو dynamixel کی بجائے feetech کی ضرورت ہوتی ہے۔ اگر آپ کے شیل نے کبھی lerobot-record کے بارے میں نہیں سنا، تو اس کی وجہ یہی ہے۔

پورٹس، موٹر آئی ڈیز اور کیلیبریشن

تین ایک بار کے اقدامات پرزوں اور ایک فعال ٹیلی اوپ لوپ کے درمیان حائل ہیں۔ آپ کے بازو پر تربیت یافتہ پالیسی کو کسی اور کے بازو پر چلاتی ہے، جو خام انکوڈر گنتی کو مشترکہ جوائنٹ کنونشن پر نقش کرتی ہے۔

1. 1
   ہر بازو کا USB پورٹ تلاش کریں

   اسے دونوں بازوؤں کو پلگ ان کر کے چلائیں، جب اشارہ کیا جائے تو جس بازو کی شناخت کر رہے ہیں اسے ان پلگ کریں، اور نوٹ کریں کہ کون سا پورٹ غائب ہوتا ہے۔ لینکس پر آپ کو sudo chmod 666 /dev/ttyACM0 کی ضرورت پڑ سکتی ہے۔

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   موٹر آئی ڈیز اور باڈریٹس لکھیں

   آئی ڈیز ایک وقت میں ایک موٹر پر لکھے جاتے ہیں، اور دستاویزات اس بارے میں سخت ہیں کہ کیسے: کنٹرولر بورڈ سے صرف ایک موٹر کو جوڑیں، جو ابھی تک کسی دوسرے سے ڈیزی چین نہ ہو۔ اسکرپٹ چین کو پیچھے کی طرف چلاتی ہے، پہلے گریپر کے لیے اشارہ کرتی ہے اور اسے آئی ڈی 6 دیتی ہے، پھر رسٹ_رول کو 5، اور شولڈر_پین کو 1 تک۔ اسے اسمبلی سے پہلے کریں۔

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   دونوں بازوؤں کو کیلیبریٹ کریں

   ہر جوائنٹ کو اس کی رینج کے وسط میں لے جائیں، Enter دبائیں، پھر ہر ایک کو اس کی پوری رینج میں گھمائیں۔ id پروفائل فائل کا نام بن جاتا ہے۔

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   کسی بھی چیز کو ریکارڈ کرنے سے پہلے ٹیلی آپریٹ کریں

   مندرجہ بالا ہر چیز کے لیے قبولیت کا ٹیسٹ۔ اگر ٹیلی آپریشن جھٹکے دار، عکس شدہ، یا کوئی جوائنٹ پیروی نہیں کرتا، تو ریکارڈنگ اسے 50 اقساط میں محفوظ رکھتی ہے۔

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

کیمرے فیصلہ کرتے ہیں کہ پالیسی کیا دیکھتی ہے

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

دو نظارے، اور ان کی جگہ اہم ہے: ایک فکسڈ سین کیمرہ جو ورک اسپیس کو کور کرتا ہے، اور ایک کلائی کا کیمرہ جو اینڈ-ایفیکٹر کے قریب جو دکھاتا ہے کہ گریپر کس چیز کو چھونے والا ہے۔ LeRobot کمیونٹی-ڈیٹا سیٹس کی چیک لسٹ ترجیحاً 480x640 / 720p یا بہتر کے دو نظاروں، ایک جامد پس منظر، غیر جانبدار مستحکم روشنی، اور لیڈر بازو اور انسانی اعضاء کو فریم سے باہر رکھنے کا مطالبہ کرتی ہے۔ ریکارڈنگ گائیڈ ایک عام اصول کا اضافہ کرتا ہے: آپ کو صرف کیمرے کی تصاویر دیکھ کر خود کام کرنے کے قابل ہونا چاہیے۔

ریکارڈ کمانڈ اور ہر فلیگ

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

نیچے دی گئی ڈیفالٹس src/lerobot/configs/dataset.py مین سے آتی ہیں، کسی ٹیوٹوریل سے نہیں۔ کئی ایسی نہیں جو لوگ فرض کرتے ہیں۔

ایک سیشن کے دوران کی بورڈ کنٹرول

• دائیں تیر یا n: ایپی سوڈ کو ختم کریں یا ری سیٹ فیز کو جلد ختم کریں۔ یہ وہ کلید ہے جو آپ سب سے زیادہ استعمال کرتے ہیں، کیونکہ ایک صاف گرفت کو شاذ و نادر ہی 25 سیکنڈ کی ضرورت ہوتی ہے۔
• بائیں تیر یا r: ایپی سوڈ کو مسترد کریں اور اسے دوبارہ کریں۔ ایک خراب ٹیک اب کچھ بھی خرچ نہیں کرتا اور بعد میں بہت کچھ۔
• Escape یا q: سیشن کو روکیں، انکوڈنگ مکمل کریں، اپ لوڈ کریں۔
• یہ X11، Wayland اور ہیڈ لیس SSH پر کام کرتے ہیں: بغیر کسی گلوبل کی بیک اینڈ کے، lerobot-record کنٹرولنگ ٹرمینل سے وہی کیز پڑھتا ہے۔ یہ حروف سست SSH لنکس پر بھی کام کرتے ہیں، جہاں تیر کے سلسلے ٹوٹ جاتے ہیں۔
• کی بورڈ ٹیلی آپریشن مختلف ہے اور اسے ایک گلوبل بیک اینڈ کی ضرورت ہوتی ہے: X11، Windows، یا macOS Accessibility کے ساتھ۔

کتنے ایپی سوڈز، اور ایک اچھا کیسا لگتا ہے

ریکارڈنگ گائیڈ پہلی ٹاسک کے لیے کم از کم 50 ایپی سوڈز تجویز کرتا ہے، تقریباً 10 فی آبجیکٹ لوکیشن۔ پالیسی صفحات ہر ماڈل کے لیے کم از کم تعداد درج کرتے ہیں، جس سے کم پر رن GPU وقت کے قابل نہیں ہوتا۔

بہتر سوال یہ ہے کہ کتنے اور کس چیز کے۔ Data Scaling Laws in Imitation Learning for Robotic Manipulation (لن ایٹ ال، 2024) نے 40,000 سے زیادہ مظاہرے جمع کیے اور 15,000 سے زیادہ حقیقی دنیا کے رول آؤٹس چلائے۔ عمومی کاری کا تعلق تقریباً پاور-لا کے مطابق تھا، جس میں ماحول اور اشیاء کی تعداد شامل تھی، اور فی ماحول یا آبجیکٹ ایک حد سے تجاوز کرنے کے بعد، اضافی مظاہروں کا کم سے کم اثر ہوا۔ ایک بینچ پر: آبجیکٹ کو حرکت دیں، روشنی تبدیل کریں، کیوب کو تبدیل کریں، بجائے اس کے کہ ایک ہی ٹیک کو دہرایا جائے۔

ایک اچھا واقعہ بورنگ ہوتا ہے: دہرائی جانے والی ہوم پوز، ایک کام مکمل، جب آبجیکٹ بن میں ہو تو ختم، ٹاسک سٹرنگ 25 سے 50 حروف میں جو چیک لسٹ تجویز کرتی ہے۔ Pick the red cube and drop it in the box ایک ٹاسک سٹرنگ ہے؛ task1 وہ اینٹی پیٹرن ہے جسے چیک لسٹ واضح طور پر نامزد کرتی ہے۔ مبہم تشریحات اس کے مسائل کی فہرست میں سرفہرست ہیں، اور وہ سب سے زیادہ اہم ہیں ویژن-لینگویج-ایکشن ماڈلز، جہاں سٹرنگ ایک ماڈل ان پٹ ہے، نہ کہ فائل کا نام۔

وہ نقائص جو خاموشی سے ڈیٹا سیٹ کو تباہ کر دیتے ہیں

کوئی بھی استثنا نہیں پھینکتا۔ سب تربیت میں زندہ رہتے ہیں، ایک ایسی لاس کرو کے طور پر سامنے آتے ہیں جو ٹھیک لگتی ہے اور ایک روبوٹ جو کچھ نہیں کرتا۔ منظر ترتیب دیتے وقت چیک کریں۔

ایک انتباہ: اسٹریمنگ-انکوڈنگ گائیڈ کی جدول میں ڈیفالٹ کے طور پر True درج ہے، جبکہ مین پر موجود ڈیٹا کلاس میں streaming_encoding: bool = False لکھا ہے۔ دستاویزات اور کوڈ میں اختلاف ہے، لہذا اسے واضح طور پر سیٹ کریں؛ lerobot جب بھی فلیگ آف کے ساتھ شروع ہوتا ہے تو اس کی سفارش کرنے والا ایک اشارہ لاگ کرتا ہے۔

جی پی یو کرائے پر لینے سے پہلے ڈیٹا سیٹ چیک کریں

دستاویزات سے قبولیت کا ٹیسٹ: ویڈیو کی مدت کا موازنہ اس ایپی سوڈ کی مدت سے کریں جو CLI نے رپورٹ کی تھی، اور تصدیق کریں کہ قطاروں کی تعداد fps ضرب مدت کے برابر ہے۔ فی ایپی سوڈ، کل پر نہیں۔

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

پھر اسے دیکھیں۔ lerobot-dataset-viz ایک ایپی سوڈ کو کیمرے کے مناظر کے ساتھ جوائنٹ ٹریسز کے ساتھ فریم بہ فریم دوبارہ چلاتا ہے، ریرن یا فاکسگلو میں۔ تبدیل شدہ کیمرے اور منجمد فریم دس سیکنڈ میں ظاہر ہو جاتے ہیں۔ لوگ اس قدم کو چھوڑ دیتے ہیں۔

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 یا v3.0: ریکارڈ کرنے سے پہلے فیصلہ کریں

v2.1 نے ہر ایپی سوڈ کے لیے ایک پارکیٹ اور ایک MP4 لکھا۔ v3.0 بہت سے ایپی سوڈز کو مشترکہ شارڈز میں جوڑتا ہے اور میٹا ڈیٹا سے حدود کو دوبارہ بناتا ہے، لہذا info.json پاتھ ٹیمپلیٹس کو اس طرح رکھتا ہے data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet ایک ایپی سوڈ نمبر کے بجائے۔ اوپر کی توجیہ کم، بڑی فائلیں ہیں: تیز تر آغاز اور بڑے پیمانے پر کم فائل سسٹم کا دباؤ۔

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

ایک ہی ڈیٹا سیٹ تک پہنچنے کے دو راستے

ڈیٹا سیٹ سے پالیسی تک

پچاس صاف ایپی سوڈز ہر نقلی سیکھنے کو یہاں چلاتے ہیں۔ ACT آپ کے کام پر اکیلے شروع سے تربیت دیتا ہے، تقریباً 80 ملین پیرامیٹرز کے ساتھ تقریباً 20 ملی سیکنڈ فی ایکشن سٹیپ پر، پانچ میں سے واحد جو تیز حرکت کے ساتھ آرام دہ ہے۔ SmolVLA تقریباً 450 ملین پیرامیٹرز کا ہے جو 24 جی بی کارڈ پر چلتا ہے۔ GR00T N1.7 تقریباً 3 بلین پیرامیٹرز کا ایک فاؤنڈیشن ماڈل ہے جہاں فائن ٹیوننگ تقریباً 40 ملین پیرامیٹرز کو چھوتی ہے، اسے A100 یا H100 کی ضرورت ہوتی ہے، اور وہ v2.1 ڈیٹا سیٹ چاہتا ہے۔

اگلا، آپ کے امتزاج کے لیے گائیڈ: ACT on SO-100، SmolVLA on SO-100 یا GR00T N1.7 on SO-100؛ پہلے رن کے لیے، اپنی پہلی پالیسی کو تربیت دیں مختصر ہے۔ جب پالیسی بینچ پر کام کرتی ہے لیکن میز کو حرکت دیتے ہی گر جاتی ہے، تو یہ ڈیٹا کا مسئلہ ہے: پالیسی صرف ایک سیٹ اپ میں کام کرتی ہے اور اعلیٰ معیار کا VLA تربیتی ڈیٹا جمع کرنا تنوع پر مزید گہرائی میں جاتے ہیں۔