SO-100-এ DROID, BridgeData V2 এবং Open X ব্যবহার করা

একটি Google Cloud বাল্কে একটি মিলিয়ন-ট্র্যাজেক্টরি পাবলিক ডেটাসেট রয়েছে এবং একটি SO-100 ডেস্কে রয়েছে যার যন্ত্রাংশের খরচ 110 থেকে 150 EUR। কেন প্রথমটি দ্বিতীয়টিকে শেখাতে পারে না? এটি আংশিকভাবে পারে, তবে স্থানান্তরের প্রায় কিছুই ঘটে না যেখানে লোকেরা আশা করে, এবং যে অংশটি সবচেয়ে সহজ মনে হয় সেটি একেবারেই কাজ করে না।

যা অনুসরণ করা হয়েছে: এর ভিতরে কী আছে DROID, BridgeData V2 এবং Open X-Embodiment, যেখানে প্রতিটি একটি কম খরচের 5-DoF আর্মের সাথে সংঘর্ষে লিপ্ত হয়, এবং এর পরিবর্তে কী করতে হবে। নীচের প্রতিটি সংখ্যা সংশ্লিষ্ট পেপার, ডেটাসেট কার্ড বা সোর্স ফাইল থেকে নেওয়া হয়েছে।

তিনটি ডেটাসেটে আসলে কী রয়েছে

DROID

তিনটির মধ্যে সবচেয়ে মানসম্মত। সব জায়গায় একটি রিগ: একটি Franka Panda যার সাথে একটি Robotiq 2F-85 গ্রিপার, দুটি সামঞ্জস্যযোগ্য ZED 2 স্টেরিও ক্যামেরা এবং একটি রিস্ট ZED Mini, Meta Quest 2 কন্ট্রোলার দিয়ে টেলিঅপারেটেড, Polymetis এর মাধ্যমে 15 Hz এ জয়েন্ট এবং এন্ড-ইফেক্টর স্পেসে। ভাষার লেবেলগুলি পরে tasq.ai এর মাধ্যমে এসেছে, প্রতি এপিসোড।

• 76k ট্র্যাজেক্টরি, 350 ঘণ্টা, 564টি দৃশ্য, 84টি কাজ, তিনটি মহাদেশে 50 জন সংগ্রাহক।
• প্রধান ফলাফল হল সহ-প্রশিক্ষণ, স্বতন্ত্র প্রশিক্ষণ নয়: ইন-ডোমেন প্রদর্শনের সাথে 50/50 মিশ্রিত ব্যাচগুলি বিতরণে 22 শতাংশ পরম সাফল্য এবং এর বাইরে 17 শতাংশ দ্বারা পরবর্তী সেরা পদ্ধতিকে হারিয়েছে।
• IPEC-COMMUNITY/droid_lerobot: 92,233 এপিসোড, 27,044,326 ফ্রেম, franka, 15 fps, codebase_version v2.0, 180x320 রেজোলিউশনে তিনটি AV1 স্ট্রিম, 392 GB।
• একটি 2 GB, 100-এপিসোডের ডিবাগিং স্যাম্পল gs://gresearch/robotics/droid_100-এ রয়েছে। সেখান থেকে শুরু করুন।

BridgeData V2

একটি শখের সেটআপের সবচেয়ে কাছাকাছি: একটি WidowX 250 6-DoF আর্ম, 24টি পরিবেশ এবং 13টি দক্ষতার জুড়ে 60,096টি ট্র্যাজেক্টরি 5 Hz-এ। গঠনটি লক্ষ্য করুন: 50,365টি বিশেষজ্ঞ টেলিঅপারেটেড প্রদর্শন এবং একটি র্যান্ডমাইজড স্ক্রিপ্টেড পিক-এন্ড-প্লেস নীতি থেকে 9,731টি, তাই প্রায় 16 শতাংশ মানব প্রদর্শন নয়, যা এর জন্য গুরুত্বপূর্ণ অনুকরণ শিক্ষা গুণমান। স্বাভাবিক ডাউনলোড, IPEC-COMMUNITY/bridge_orig_lerobot, 53,192টি এপিসোড এবং 1,893,026টি ফ্রেম 5 fps-এ রিপোর্ট করে, robot_type widowx: যা পেপারের 60,096-এর চেয়ে কম, তাই যেকোনো একটি উদ্ধৃত করার পরিবর্তে meta/info.json থেকে সংখ্যাটি পড়ুন।

Open X-Embodiment

একই অর্থে একটি ডেটাসেট নয়: 34টি ল্যাব থেকে 60টি বিদ্যমান রোবট ডেটাসেট একটি RLDS সংগ্রহে একত্রিত করা হয়েছে যা 22টি এমবডিমেন্ট এবং দশ লক্ষেরও বেশি ট্র্যাজেক্টরি কভার করে। BridgeData V2 এর মধ্যে bridge_orig হিসাবে রয়েছে; google_robot স্লাইস, fractal20220817_data, 3 fps-এ 87,212টি এপিসোডে রূপান্তরিত হয়।

এই একত্রীকরণে একটি সতর্কতা রয়েছে যা গবেষণাপত্রটি সরাসরি উল্লেখ করেছে। RT-X পরীক্ষাগুলির জন্য লেখকরা প্রতিটি উৎসকে একটি 7-DoF এন্ড-ইফেক্টর অ্যাকশনে রূপান্তরিত করেন, কিন্তু ডেটাসেট জুড়ে কোঅর্ডিনেট ফ্রেমগুলি সারিবদ্ধ করেন না, এবং প্রতিটি রোবটের মূল নিয়ন্ত্রণ স্কিম অনুসারে অ্যাকশন মানগুলিকে পরম বা আপেক্ষিক অবস্থান বা বেগ হতে দেন। তাদের উপসংহার: একই অ্যাকশন ভেক্টর বিভিন্ন রোবটের জন্য খুব ভিন্ন গতি তৈরি করতে পারে।

চারটি অংশে অমিল

এমবডিমেন্ট মিসম্যাচকে সাধারণত একটি অস্পষ্ট সমস্যা হিসাবে বিবেচনা করা হয়। এটি চারটি, তারা ভিন্নভাবে ব্যর্থ হয় এবং দু'টি স্ক্রিপ্টিং দ্বারা ঠিক করা যায় না।

১. স্বাধীনতার মাত্রা

একটি SO-100 এর পাঁচটি আর্ম জয়েন্ট এবং একটি গ্রিপার রয়েছে। মোটর হিসাবে গণনা করলে এটি একটি 6-DoF আর্ম, এবং SmolVLA পেপার এটিকে এভাবেই উল্লেখ করে; পজিশনিং মেকানিজম হিসাবে গণনা করলে এটি 5-DoF, এবং LeRobot এটিকে তার ইনভার্স-কিনেমেটিক্স ডকস্ট্রিং-এ এভাবেই উল্লেখ করে, যা 5-DOF SO-101-এ সফট-ওরিয়েন্টেশন IK বর্ণনা করে যেখানে কব্জি শুধুমাত্র আংশিকভাবে ওরিয়েন্টেশন ট্র্যাক করে। একটি ফ্রাঙ্কার সাতটি পজিশনিং জয়েন্ট রয়েছে। এই ব্যবধানটি নির্ধারণ করে কোন পোজগুলি বিদ্যমান: একটি 5-DoF আর্ম সাধারণত একই সাথে একটি নির্বিচার অবস্থান এবং ওরিয়েন্টেশন অর্জন করতে পারে না, তাই সলভার নিকটতম যা পারে তা ফিরিয়ে দেয়, যা প্রদর্শিত গতি থেকে ভিন্ন। পটভূমি: স্বাধীনতার মাত্রা.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

সুতরাং, একটি তৈরি DROID চেকপয়েন্ট কোনো শর্টকাট নয়। Physical Intelligence, pi05_droid কে gs://openpi-assets/checkpoints/pi05_droid এ সরবরাহ করে, এবং এর ব্যাপকতার প্রশংসা করা একই README সতর্ক করে যে এই বিশেষজ্ঞ চেকপয়েন্টগুলি আপনার সেটআপের জন্য সাধারণীকরণ নাও করতে পারে। এর স্টেট আটটি ফ্রাঙ্কা জয়েন্ট নম্বর এবং এর ইমেজ কীগুলি হল exterior_image_1_left এবং wrist_image_left। কোনো ফ্ল্যাগ এটিকে ছয়-মোটর SO-100 কমান্ডে পরিণত করে না।

২. অ্যাকশন ভেক্টর আসলে কী বলে

মাত্রার চেয়েও গভীর। LeRobot রূপান্তরগুলিতে, তিনটিই বলে যে গ্রিপার কার্টেসিয়ান স্পেসে কোথায় যাবে। একটি SO-100 বলে যে ছয়টি সার্ভো কোথায় যাবে। রূপান্তরের জন্য একটি কাইনেমেটিক মডেল এবং একটি সলভার প্রয়োজন, রিসেপ নয়।

LeRobot অনুপস্থিত অংশটি সরবরাহ করে: SO ফলোয়ারের একটি কাইনেম্যাটিক্স প্রসেসর রয়েছে যেখানে InverseKinematicsEEToJoints এবং ForwardKinematicsJointsToEE ধাপগুলি অন্তর্ভুক্ত। এর কীগুলি হল ee.x, ee.y, ee.z এবং একটি রোটেশন ভেক্টর ee.wx, ee.wy, ee.wz ও ee.gripper_pos, তাই এমনকি ওরিয়েন্টেশন এনকোডিংও ফাইলগুলিতে থাকা রোল-পিচ-ইও থেকে ভিন্ন। IK ধাপে একটি orientation_weight লাগে, যার ডিফল্ট মান 0.01, এবং এর ডকস্ট্রিং বলে যে আন্ডার-অ্যাকচুয়েটেড আর্মগুলিতে শুধুমাত্র পজিশন-ভিত্তিক IK-এর জন্য 0.0 সেট করতে হবে। আপনি ব্রিজটি তৈরি করতে পারেন, তবে প্রতিটি ধার করা অ্যাকশনের ওরিয়েন্টেশন অংশটি আনুমানিকই থাকবে।

3. নিয়ন্ত্রণ হার

DROID হল 15 Hz, BridgeData V2 5 Hz, google_robot স্লাইস 3 fps; pi0-এর লেখকরা তাদের মিশ্রণের ওপেন-সোর্স অংশটিকে 2 থেকে 10 Hz-এর মধ্যে কম-ফ্রিকোয়েন্সি নিয়ন্ত্রণ হিসাবে বর্ণনা করেছেন। LeRobot-এর DatasetRecordConfig ডিফল্টরূপে fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50 সেট করে। 5 Hz ডেটার উপর প্রশিক্ষিত একটি শিখেছে যে একটি অ্যাকশন 200 ms কভার করে। এটি 30 Hz এ রিপ্লে করলে বাহু ধীরে চলে; নির্বোধভাবে রিস্যাম্পল করলে গ্রিপার বন্ধ হওয়ার ফ্রেমটি অস্পষ্ট হয়ে যায়। এটি -এর সাথেও খারাপভাবে ইন্টারঅ্যাক্ট করে: একটি 100-স্টেপ চাঙ্ক 5 Hz এ 20 সেকেন্ড, 30 Hz এ 3.3 সেকেন্ড।

4. ক্যামেরা

BridgeData V2 প্রতি ৫০টি ট্র্যাজেক্টরির জন্য দুটি ক্যামেরা পোজ র‍্যান্ডমাইজ করেছে, এবং এর প্রজেক্ট পেজে উল্লেখ করা হয়েছে যে বেশিরভাগ ডেটাতেই কেবল স্থির ভিউ থাকে। DROID অ্যাডজাস্টেবল ZED 2 মাউন্ট এবং একটি রিস্ট ZED মিনি ব্যবহার করেছে। আপনার কাছে দুটি USB ওয়েবক্যাম আছে যা হাতে বসানো হয়েছে। ক্যামেরা পোজ একটি বিরক্তিকর ভেরিয়েবল নয় একটি ; এটি ভিজ্যুয়াল এনকোডার যা কিছুর উপর ভিত্তি করে কাজ করে তার অনেকটাই, এবং ফাইল ফরম্যাটে এমন কিছুই নেই যা আপনাকে বলে যে পোজগুলি ভিন্ন।

যাইহোক ডেটা মার্জ করার চেষ্টা করলে কী হয়

স্পষ্ট পরিকল্পনা হল সংযুক্ত করা: কয়েক হাজার DROID পর্বের সাথে আপনার ৫০টি। LeRobot প্রত্যাখ্যান করে, এবং প্রত্যাখ্যানের কারণ হিসেবে তিনটি ভিন্ন জিনিসের নাম উল্লেখ করে।

1. 1
   সম্পূর্ণ ১.৭ টিবি নয়, ১০০-পর্বের নমুনাটি টানুন

   গঠন দেখতে ২ জিবি যথেষ্ট।

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS কে LeRobot ফর্মে রূপান্তর করুন

   openx2lerobot OXE স্ট্যান্ডার্ড রূপান্তরগুলিকে আবৃত করে এবং রোবটের ধরন ও নিয়ন্ত্রণ ফ্রিকোয়েন্সি টীকা করে। README এটি convert.sh-এ রাখে।

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   অন্য কিছু করার আগে meta/info.json পড়ুন

   এই ফাইলটি আপনার দিনের বাকি কাজগুলি সফল হবে কিনা তা নির্ধারণ করে।

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   মার্জ করার চেষ্টা করুন এবং ত্রুটিটি পড়ুন

   merge প্রতিটি ডেটাসেট লোড করে, তারপর validate_all_metadata তালিকার প্রথমটির সাথে fps, robot_type এবং বৈশিষ্ট্যগুলি পরীক্ষা করে, প্রথম অমিল পেলেই ত্রুটি উত্থাপন করে।

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

রেফারেন্স মানগুলি আপনি প্রথমে তালিকাভুক্ত যে কোনো ডেটাসেট থেকে আসে, তাই বার্তাটি DROID-এর ১৫ এর পরিবর্তে আপনার ৩০ fps নিয়ে অভিযোগ করে। fps ঠিক করলে আপনি robot_type চেক-এ আটকে যাবেন; সেটি ঠিক করলে আপনি বৈশিষ্ট্য চেক-এ আটকে যাবেন, অ্যাকশনের জন্য ৬ এর বিপরীতে ৭। কোনো ক্রমই কাজ করে না, এবং sanity_check_dataset_robot_compatibility এর মাধ্যমে রেকর্ড করার সময় একই গার্ড চলে।

তাহলে আসলে কী স্থানান্তরিত হয়?

ওজন, পর্ব নয়। প্রতিটি আধুনিক সাধারণ নীতি প্রাক-প্রশিক্ষণে এর কিছু অংশ শোষণ করেছে, এবং যখন আপনি একটি প্রকাশিত থেকে উত্তরাধিকারসূত্রে প্রাপ্ত হন, তখন এটি ইতিমধ্যেই সঠিকভাবে করার জন্য প্রয়োজনীয় কম্পিউটেশন ক্ষমতা সম্পন্ন ব্যক্তিদের দ্বারা সমন্বয় করা থাকে। pi0-এর গবেষণাপত্র অনুপাতের বিষয়ে স্পষ্ট: এর প্রাক-প্রশিক্ষণ মিশ্রণের ৯.১ শতাংশ, টাইমস্টেপ হিসাবে গণনা করা হয়, OXE, Bridge v2 এবং DROID সহ ওপেন-সোর্স ডেটা। এই পরিসংখ্যানটি pi0-এর; প্রতিটি বিক্রেতার মিশ্রণ ভিন্ন।

এই কারণেই SmolVLA একটি স্বল্প-মূল্যের আর্ম-এ ভিন্নভাবে আচরণ করে। এর গবেষণাপত্র Hugging Face থেকে 481টি কমিউনিটি ডেটাসেট নির্বাচন করে, যা এমবডিমেন্ট টাইপ, এপিসোড সংখ্যা, ডেটা গুণমান এবং ফ্রেম কভারেজ দ্বারা ফিল্টার করা হয়েছে: 22.9K এপিসোড, 10.6M ফ্রেম, যা বাস্তব SO-100 এবং SO-101 আর্ম-এ মূল্যায়ন করা হয়েছে। ছোট এবং মিলে যাওয়া বড় এবং অমিলকে হারায়। তুলনা করুন ACT against SmolVLA।

নেওয়ার মতো তিনটি পথ

পথ A: এমন একটি চেকপয়েন্ট থেকে ফাইন-টিউন করুন যা ইতিমধ্যেই ডেটা গ্রহণ করেছে

বেশিরভাগ মানুষের এটি নেওয়া উচিত। আপনি DROID বা Open X-Embodiment স্পর্শ করবেন না: এমন একটি নীতি বেছে নিন যার প্রিটেনিং ইতিমধ্যেই ক্রস-এমবডিমেন্ট ডেটা শোষণ করেছে, আপনার নিজস্ব এপিসোড রেকর্ড করুন, ফাইন-টিউন করুন।

ACT হল একটি সৎ প্রান্তিক কেস: কোনো বেস মডেল নেই, তাই কোনো পাবলিক ডেটা এতে পৌঁছায় না। এটি স্বয়ংক্রিয়ভাবে একটি অসুবিধা নয়, কারণ প্রতি অ্যাকশন স্টেপে 20 ms গতিতে এটি পাঁচটি মডেলের মধ্যে একমাত্র যা একটি দ্রুত লুপ বন্ধ করতে পারে, যেমন ACT পৃষ্ঠা উল্লেখ করা হয়েছে। কাজ অনুযায়ী নির্বাচন করুন পাঁচটির তুলনা, GR00T N1.7 বনাম Pi0.5, এবং 85টি মডেলের 332টি বেঞ্চমার্ক ফলাফল অ্যারেনা।

পথ B: DROID কে একটি টেস্ট ফিক্সচার হিসাবে ব্যবহার করুন

100-পর্বের নমুনাটি এই মাসে আপনার ডাউনলোড করা সেরা 2 GB, এবং প্রশিক্ষণের জন্য নয়। এটি এমন একটি ডেটা সেট যা আপনি জানেন যে সঠিক। আপনার কনভার্টার, লোডার এবং একটি সংক্ষিপ্ত GPU কাজ এতে চালান; যা কিছু ব্যর্থ হয় তা একটি অবকাঠামোগত ত্রুটি যা সস্তায় থাকা অবস্থায় পাওয়া গেছে। NVIDIA একই কাজ বড় আকারে করে: GR00T N1.7 কার্ডে চারটি পোস্ট-প্রশিক্ষিত ভেরিয়েন্ট তালিকাভুক্ত করা হয়েছে, SimplerEnv-এ Bridge এবং Fractal, DROID এবং LIBERO-এর জন্য।

পথ C: আপনার নিজের, ইচ্ছাকৃতভাবে রেকর্ড করুন

ত্রিশ থেকে পঞ্চাশ ৭৬,০০০ এর পাশে ছোট মনে হতে পারে যতক্ষণ না আপনি মনে রাখবেন যে আপনার বাহু, আপনার ক্যামেরা এবং আপনার টেবিলের সাথে আপনারগুলোই একমাত্র। LeRobot-এর ডিফল্ট সেটিংসে, ৫০টি এপিসোড হল ১০০ মিনিটের ওয়াল ক্লক। দেখুন , এবং .

পাবলিক ডেটা থেকে একটি কার্যকরী নীতিতে পৌঁছানোর দুটি উপায়

প্রতিটি পথের খরচ কত

অসামঞ্জস্যতাই মূল বিষয়: যে পথটি সবচেয়ে বেশি ডেটা ধার করে, সেটি সবচেয়ে ব্যয়বহুল এবং আপনার হাত নাড়ানোর সম্ভাবনা সবচেয়ে কম। আপনার নিজের দুই ঘণ্টার কম টেলিঅপারেশন অন্য কারো ফ্রাঙ্কার এক টেরাবাইটকে হারায়। এখনো কোনো হাত নেই? /live কোনো সাইনআপ ছাড়াই একটি ফিজিক্যাল SO-100 স্ট্রিম করে। তারপর আপনার প্রথম নীতি প্রশিক্ষণ দিন, এবং SO-100 এ স্মলভিএলএ নির্দিষ্ট গাইডের জন্য।