একটি SO-100 দিয়ে আপনার প্রথম LeRobot ডেটাসেট রেকর্ড করুন

একটি SO-100 ফলোয়ার, একই ডিজাইনের একটি লিডার আর্ম এবং দুটি USB ক্যামেরা এক বিকেলে একটি পলিসি ফাইন-টিউন করতে পারে। একই বেঞ্চ সহজেই ষাটটি এপিসোড তৈরি করতে পারে যা ফাইল ব্রাউজারে স্বাস্থ্যকর দেখায় এবং ছয় ঘণ্টার GPU রান নষ্ট করে। পার্থক্যটি কদাচিৎ মডেলের হয়; এটি সার্ভো এবং পারকেট ফাইলের মধ্যে যা ঘটেছে তা।

এখানে ম্যানুয়াল রুট, তারপর সংক্ষিপ্তটি। প্রতিটি কমান্ড lerobot 0.6.1 থেকে নেওয়া হয়েছে, যা 3 আগস্ট 2026 এ প্রকাশিত এবং PyPI-তে বর্তমান। এটি কনসোল এন্ট্রি পয়েন্টে স্থানান্তরিত হয়েছে, তাই যে টিউটোরিয়ালগুলি রান করে python lerobot/scripts/control_robot.py এমন একটি ফাইল বর্ণনা করে যা আর বিদ্যমান নেই।

একটি রেকর্ডিং সেশন কী ক্যাপচার করে

একটি LeRobot ডেটাসেট ভিডিওর একটি ফোল্ডার নয় বরং ভিডিও সংযুক্ত একটি সময়-সূচীকৃত সারণী: প্রতিটি কন্ট্রোল-লুপ টিক একটি সারি লেখে যেখানে নির্দেশিত অ্যাকশন, ফলোয়ারের পৌঁছানো অবস্থা, প্রতি ক্যামেরায় একটি ফ্রেম, একটি টাইমস্ট্যাম্প এবং সূচক থাকে। পলিসি শুধুমাত্র সেই কলামগুলি দেখে। এর স্কিমা lerobot/svla_so100_pickplace, যা এর meta/info.json থেকে পড়া হয়েছে।

জয়েন্টগুলি হল main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll এবং main_gripper: SO-100 এর ছয়টি ডিগ্রী অফ ফ্রিডম। অ্যাকশন এবং স্টেট একই আকৃতি ভাগ করে কারণ লিডার-ফলোয়ার টেলিঅপারেশন একটি টার্গেট এবং এক ধাপ পরে পৌঁছানো অবস্থান রেকর্ড করে। এই ব্যবধানটি তথ্য: যেখানে আর্ম মাধ্যাকর্ষণ বা আটকে থাকা বস্তুর সাথে লড়াই করেছে। এই স্ট্রিংগুলি সেই ডেটাসেটের। আজ 0.6.1 দিয়ে রেকর্ড করা একটি সেশন shoulder_pan.pos থেকে gripper.pos পর্যন্ত লেখে, বাসে আইডি 1 থেকে 6: একই ছয়টি জয়েন্ট, ভিন্ন কী, যা একটি কনফিগ যখন একটি বৈশিষ্ট্যকে নাম দিয়ে সম্বোধন করে তখন গুরুত্বপূর্ণ।

বেঞ্চে আপনার যা প্রয়োজন

যদি বাহুটি এখনও তৈরি না হয়ে থাকে, তবে এটি একটি আলাদা সন্ধ্যার কাজ: শুরু করুন SO-100 শুরু করা এবং সম্পূর্ণ SO-100 সেটআপ গাইড। যদি আপনি কিছু না কিনে থাকেন, তবে প্রথমে SO-100 বনাম SO-101 তুলনা পড়ুন: SO-101 হল নতুন সংস্করণ যা উন্নত ওয়্যারিং এবং গিয়ার-অপসারণ ধাপ ছাড়াই আসে, এবং রেকর্ডিং ওয়ার্কফ্লো একই।

lerobot 0.6.1 ইনস্টল করুন

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

অতিরিক্ত জিনিসগুলিই বেশিরভাগ মানুষকে বিভ্রান্ত করে। pip install lerobot শুধুমাত্র মূল ML নির্ভরতা ইনস্টল করে, রোবটের সাথে কথা বলার মতো কিছু নয়। Koch আর্মগুলির জন্য dynamixel এর পরিবর্তে feetech প্রয়োজন। যদি আপনার শেল কখনও lerobot-record সম্পর্কে না শুনে থাকে, তবে এটিই তার কারণ।

পোর্ট, মোটর আইডি এবং ক্যালিব্রেশন

যন্ত্রাংশ এবং একটি কার্যকরী টেলিপ অপারেশন লুপের মধ্যে তিনটি এককালীন ধাপ রয়েছে। আপনার আর্মের উপর প্রশিক্ষিত একটি পলিসিকে অন্যের উপর চালানোর জন্য, কাঁচা এনকোডার গণনাকে একটি সাধারণ জয়েন্ট কনভেনশনে ম্যাপ করে।

1. 1
   প্রতিটি আর্মের USB পোর্ট খুঁজুন

   দুটি আর্মই প্লাগ ইন করে এটি চালান, যখন প্রম্পট করা হবে তখন যেটিকে শনাক্ত করছেন সেটিকে আনপ্লাগ করুন এবং কোন পোর্টটি অদৃশ্য হয়ে যায় তা নোট করুন। লিনাক্সে আপনার sudo chmod 666 /dev/ttyACM0 প্রয়োজন হতে পারে।

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   মোটর আইডি এবং বাউডরেট লিখুন

   আইডিগুলি একবারে একটি মোটর করে লেখা হয়, এবং ডকুমেন্টেশন এই বিষয়ে কঠোর: কন্ট্রোলার বোর্ডের সাথে ঠিক একটি মোটর সংযুক্ত করুন, অন্য কোনোটির সাথে এখনও ডেইজি-চেইন করা হয়নি। স্ক্রিপ্টটি চেইনটিকে পিছন দিকে চলে, প্রথমে গ্রিপারের জন্য প্রম্পট করে এবং এটিকে আইডি 6 দেয়, তারপর রিস্ট-রোলকে 5, এবং শোল্ডার-প্যানকে 1 পর্যন্ত। এটি অ্যাসেম্বলির আগে করুন।

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   উভয় আর্ম ক্যালিব্রেট করুন

   প্রতিটি জয়েন্টকে তার পরিসরের মাঝখানে সরান, এন্টার চাপুন, তারপর প্রতিটি জয়েন্টকে তার সম্পূর্ণ পরিসরের মধ্য দিয়ে ঘোরান। id প্রোফাইল ফাইলের নাম হয়ে যায়।

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   কিছু রেকর্ড করার আগে টেলিপ অপারেট করুন

   উপরের সবকিছুর জন্য গ্রহণযোগ্যতা পরীক্ষা। যদি টেলিপ অপারেশন ঝাঁকুনিপূর্ণ, মিরর করা হয়, বা একটি জয়েন্ট অনুসরণ না করে, তাহলে রেকর্ডিং 50টি এপিসোডে তা সংরক্ষণ করে।

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

ক্যামেরাগুলি নীতি কী দেখে তা নির্ধারণ করে

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

দুটি ভিউ, এবং তাদের অবস্থান গুরুত্বপূর্ণ: একটি স্থির দৃশ্য ক্যামেরা যা ওয়ার্কস্পেসকে কভার করে, এবং একটি রিস্ট ক্যামেরা যা এর কাছাকাছি এন্ড-ইফেক্টর দেখাচ্ছে গ্রিপার কী স্পর্শ করতে চলেছে। LeRobot কমিউনিটি-ডেটা সেট চেকলিস্টে 480x640 / 720p বা তার চেয়ে ভালো দুটি ভিউ, একটি স্থির ব্যাকগ্রাউন্ড, নিরপেক্ষ স্থিতিশীল আলো, এবং লিডার আর্ম ও মানুষের অঙ্গ-প্রত্যঙ্গ ফ্রেমের বাইরে রাখার কথা বলা হয়েছে। রেকর্ডিং গাইড একটি সাধারণ নিয়ম যোগ করে: শুধুমাত্র ক্যামেরার ছবি দেখে আপনার নিজের কাজটি করতে সক্ষম হওয়া উচিত।

রেকর্ড কমান্ড এবং প্রতিটি ফ্ল্যাগ

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

নিচের ডিফল্টগুলি এসেছে src/lerobot/configs/dataset.py মেইন থেকে, কোনো টিউটোরিয়াল থেকে নয়। এর মধ্যে বেশ কয়েকটি এমন নয় যা লোকেরা অনুমান করে।

একটি সেশনের সময় কীবোর্ড নিয়ন্ত্রণ

• ডান তীর বা n: পর্ব শেষ করুন বা পর্যায়টি তাড়াতাড়ি রিসেট করুন। এটি আপনি সবচেয়ে বেশি ব্যবহার করেন, কারণ একটি পরিষ্কার গ্রাস খুব কমই 25 সেকেন্ডের বেশি সময় নেয়।
• বাম তীর বা r: পর্বটি বাতিল করুন এবং পুনরায় করুন। একটি খারাপ টেক এখন কিছুই খরচ করে না এবং পরে অনেক খরচ করে।
• Escape বা q: সেশন বন্ধ করুন, এনকোডিং শেষ করুন, আপলোড করুন।
• এগুলি X11, Wayland এবং হেডলেস SSH-এ কাজ করে: কোনো গ্লোবাল কী ব্যাকএন্ড না থাকলে, lerobot-record নিয়ন্ত্রণকারী টার্মিনাল থেকে একই কীগুলি পড়ে। অক্ষরগুলি ল্যাগি SSH লিঙ্কগুলিতে টিকে থাকে, যেখানে তীর ক্রমগুলি বিভক্ত হয়।
• কীবোর্ড টেলিঅপারেশন ভিন্ন এবং এর জন্য একটি গ্লোবাল ব্যাকএন্ড প্রয়োজন: X11, Windows, অথবা অ্যাক্সেসিবিলিটি সহ macOS।

কতগুলি পর্ব, এবং একটি ভালো পর্ব কেমন দেখতে হয়

রেকর্ডিং নির্দেশিকা একটি প্রথম কাজের জন্য কমপক্ষে 50টি পর্বের পরামর্শ দেয়, প্রতি বস্তুর অবস্থানে প্রায় 10টি। নীতি পৃষ্ঠাগুলি প্রতি মডেলের জন্য একটি ন্যূনতম তালিকা করে, যার নিচে একটি রান GPU সময়ের যোগ্য নয়।

ভালো প্রশ্ন হলো কতগুলো কী। Data Scaling Laws in Imitation Learning for Robotic Manipulation (লিন এট আল।, 2024) 40,000 এর বেশি প্রদর্শনী সংগ্রহ করেছে এবং 15,000 এর বেশি বাস্তব-বিশ্বের রোলআউট চালিয়েছে। সাধারণীকরণ পরিবেশ এবং বস্তু এর সংখ্যার সাথে প্রায় একটি পাওয়ার-ল সম্পর্ক অনুসরণ করেছে, এবং প্রতি পরিবেশ বা বস্তুর জন্য একটি নির্দিষ্ট সীমা অতিক্রম করার পর, অতিরিক্ত প্রদর্শনীগুলির প্রভাব ছিল নগণ্য। একটি বেঞ্চে: বস্তুটি সরান, আলো পরিবর্তন করুন, কিউবটি অদলবদল করুন, একটি টেক পুনরাবৃত্তি করার পরিবর্তে।

একটি ভালো পর্ব বিরক্তিকর: পুনরাবৃত্তিযোগ্য হোম পোজ, একটি কাজ সম্পন্ন, বস্তুটি বিনে রাখার পর শেষ, চেকলিস্ট দ্বারা প্রস্তাবিত ২৫ থেকে ৫০ অক্ষরের মধ্যে টাস্ক স্ট্রিং। লাল কিউবটি তুলে বাক্সে ফেলুন একটি টাস্ক স্ট্রিং; task1 হলো একটি অ্যান্টি-প্যাটার্ন যা চেকলিস্ট স্পষ্টভাবে উল্লেখ করে। অস্পষ্ট টীকাগুলি এর সমস্যার তালিকার শীর্ষে রয়েছে এবং এগুলি সবচেয়ে গুরুত্বপূর্ণ ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেলগুলির, যেখানে স্ট্রিংটি একটি মডেল ইনপুট, কোনো ফাইলের নাম নয়।

ত্রুটি যা নীরবে একটি ডেটাসেট নষ্ট করে

কোনোটিই ব্যতিক্রম ঘটায় না। সবগুলি প্রশিক্ষণে টিকে থাকে, একটি ভালো দেখতে লস কার্ভ এবং কিছুই না করা একটি রোবট হিসাবে প্রকাশ পায়। দৃশ্য সেট আপ করার সময় পরীক্ষা করুন।

একটি সতর্কতা: স্ট্রিমিং-এনকোডিং গাইডের সারণীতে ডিফল্ট হিসাবে তালিকাভুক্ত করা হয়েছে True, যখন মেইনের ডেটাক্লাস পড়ে streaming_encoding: bool = False। ডকুমেন্টেশন এবং কোড একমত নয়, তাই এটি স্পষ্টভাবে সেট করুন; lerobot যখনই ফ্ল্যাগ বন্ধ করে শুরু হয় তখনই এটি সুপারিশ করে একটি ইঙ্গিত লগ করে।

একটি GPU ভাড়া করার আগে ডেটাসেট পরীক্ষা করুন

ডকুমেন্টেশন থেকে গ্রহণযোগ্যতা পরীক্ষা: CLI দ্বারা রিপোর্ট করা পর্বের সময়কালের সাথে ভিডিওর সময়কাল তুলনা করুন এবং নিশ্চিত করুন যে সারির সংখ্যা fps গুণ সময়কালের সমান। প্রতি পর্বে, মোট সংখ্যার উপর নয়।

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

তারপর এটি দেখুন। lerobot-dataset-viz ক্যামেরা ভিউয়ের পাশে জয়েন্ট ট্রেস সহ একটি পর্ব ফ্রেম বাই ফ্রেম রি-প্লে করে, Rerun বা Foxglove-এ। অদলবদল করা ক্যামেরা এবং স্থির ফ্রেম দশ সেকেন্ডের মধ্যে দেখা যায়। লোকেরা এই ধাপটি এড়িয়ে যায়।

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 অথবা v3.0: রেকর্ড করার আগে সিদ্ধান্ত নিন

v2.1 প্রতিটি পর্বের জন্য একটি parquet এবং একটি MP4 ফাইল লিখত। v3.0 অনেক পর্বকে ভাগ করা শার্ডে একত্রিত করে এবং মেটাডেটা থেকে সীমানা পুনর্গঠন করে, তাই info.json পাথ টেমপ্লেট বহন করে যেমন data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet একটি পর্ব নম্বরের পরিবর্তে। এর মূল কারণ হলো কম, বড় ফাইল: দ্রুত ইনিশিয়ালাইজেশন এবং স্কেলে কম ফাইল-সিস্টেম চাপ।

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

একই ডেটাসেটে যাওয়ার দুটি পথ

ডেটা সেট থেকে পলিসি

পঞ্চাশটি পরিষ্কার এপিসোড প্রতিটি রানকে এখানে ফিড করে। আপনার টাস্কে একা স্ক্র্যাচ থেকে প্রশিক্ষণ নেয়, প্রায় 80 M প্যারামিটার প্রতি অ্যাকশন স্টেপে প্রায় 20 ms গতিতে, পাঁচটি মডেলের মধ্যে এটিই একমাত্র যা দ্রুত গতির সাথে স্বাচ্ছন্দ্য বোধ করে। একটি 24 GB কার্ডে প্রায় 450 M প্যারামিটার ব্যবহার করে। একটি প্রায় 3 B প্যারামিটার ফাউন্ডেশন মডেল যেখানে প্রায় 40 M প্যারামিটার স্পর্শ করে, একটি A100 বা H100 প্রয়োজন, এবং সেই v2.1 ডেটা সেট চায়।

এরপর, আপনার কম্বিনেশনের জন্য গাইড: , অথবা ; প্রথম রানের জন্য, সংক্ষিপ্ত। যখন পলিসি বেঞ্চে কাজ করে কিন্তু টেবিল সরানোর সাথে সাথেই ভেঙে পড়ে, তখন সেটি একটি ডেটা সমস্যা: এবং বৈচিত্র্যের উপর গভীরভাবে আলোচনা করে।