استخدام DROID و BridgeData V2 و Open X على SO-100

توجد مجموعة بيانات عامة بمليون مسار على سلة Google Cloud وSO-100 على المكتب بتكلفة 110 إلى 150 يورو في الأجزاء. لماذا لا يمكن للأول أن يعلم الثاني؟ يمكنه جزئيًا، ولكن لا يحدث أي نقل تقريبًا حيث يتوقع الناس، والجزء الذي يبدو الأسهل لا يعمل على الإطلاق.

ما يلي: ما هو داخل DROID، BridgeData V2 وOpen X-Embodiment، حيث يتصادم كل منها مع ذراع 5 درجات حرية منخفضة التكلفة، وما يجب فعله بدلاً من ذلك. كل رقم أدناه جاء من الورقة البحثية أو بطاقة مجموعة البيانات أو ملف المصدر الذي ينتمي إليه.

ما تحتويه مجموعات البيانات الثلاث بالفعل

DROID

الأكثر توحيدًا من بين الثلاثة. منصة واحدة في كل مكان: روبوت Franka Panda مع قابض Robotiq 2F-85، وكاميرتي ستريو ZED 2 قابلتين للتعديل، وكاميرا ZED Mini للمعصم، يتم التحكم فيها عن بعد باستخدام وحدات تحكم Meta Quest 2، مسجلة عبر Polymetis بتردد 15 Hz في كل من مساحة المفصل و المؤثر النهائي مساحة. جاءت تسميات اللغة لاحقًا عبر tasq.ai، بحد أقصى ثلاثة لكل حلقة.

• 76 ألف مسار، 350 ساعة، 564 مشهدًا، 84 مهمة، 50 جامع بيانات في ثلاث قارات.
• النتيجة الرئيسية هي التدريب المشترك، وليس التدريب المستقل: الدفعات المختلطة بنسبة 50/50 مع العروض التوضيحية داخل النطاق تتفوق على أفضل طريقة تالية بنسبة 22 بالمائة نجاحًا مطلقًا في التوزيع، و17 بالمائة خارجه.
• IPEC-COMMUNITY/droid_lerobot: 92,233 حلقة، 27,044,326 إطارًا، franka، 15 إطارًا في الثانية، codebase_version v2.0، ثلاثة تدفقات AV1 بدقة 180x320، 392 جيجابايت.
• عينة تصحيح أخطاء بحجم 2 جيجابايت و100 حلقة موجودة على gs://gresearch/robotics/droid_100. ابدأ من هناك.

BridgeData V2

الأقرب إلى إعداد هواة: ذراع WidowX 250 بست درجات حرية، 60,096 مسارًا عبر 24 بيئة و13 مهارة بتردد 5 هرتز. لاحظ التركيب: 50,365 عرضًا توضيحيًا خبيرًا يتم التحكم فيه عن بعد بالإضافة إلى 9,731 من سياسة اختيار ووضع عشوائية مبرمجة، لذا حوالي 16 بالمائة ليس عرضًا توضيحيًا بشريًا، وهو أمر مهم لجودة التعلم بالمحاكاة جودة. التنزيل المعتاد، IPEC-COMMUNITY/bridge_orig_lerobot، يبلغ عن 53,192 حلقة و1,893,026 إطارًا بمعدل 5 إطارات في الثانية، robot_type widowx: أقل من 60,096 المذكورة في الورقة، لذا اقرأ العدد من meta/info.json بدلاً من الاقتباس من أي منهما.

Open X-Embodiment

ليس مجموعة بيانات بالمعنى التقليدي: 60 مجموعة بيانات روبوتية موجودة من 34 مختبرًا تم تجميعها في مجموعة RLDS واحدة تغطي 22 تجسيدًا وأكثر من مليون مسار. تقع BridgeData V2 بداخلها باسم bridge_orig؛ ويتم تحويل شريحة google_robot، fractal20220817_data، إلى 87,212 حلقة بمعدل 3 إطارات في الثانية.

يحمل التجميع تحذيرًا تذكره الورقة البحثية صراحةً. لتجارب RT-X، يقوم المؤلفون بتحويل كل مصدر إلى حركة طرفية بـ 7 درجات حرية (7-DoF)، لكنهم لا يقومون بمحاذاة إطارات الإحداثيات عبر مجموعات البيانات، ويسمحون لقيم الحركة بأن تكون مواضع أو سرعات مطلقة أو نسبية، وفقًا لنظام التحكم الأصلي لكل روبوت. استنتاجهم: قد يؤدي نفس متجه الحركة إلى حركات مختلفة جدًا لروبوتات مختلفة.

عدم التطابق، في أربعة أجزاء

عادة ما يُعامل عدم تطابق التجسيد كمشكلة غامضة واحدة. لكنها أربع مشاكل، تفشل كل منها بطريقة مختلفة، واثنتان منها لا يمكن إصلاحهما بالبرمجة النصية.

1. درجات الحرية

يحتوي SO-100 على خمسة مفاصل ذراع بالإضافة إلى قابض. إذا تم عدها كمحركات، فهي ذراع ذات 6 درجات حرية، وورقة SmolVLA تسميها كذلك؛ وإذا تم عدها كآلية تحديد موضع، فهي ذات 5 درجات حرية، وLeRobot تسميها كذلك في وثيقة التوثيق الخاصة بها للحركية العكسية، والتي تصف الحركية العكسية ذات التوجيه المرن (soft-orientation IK) على SO-101 ذي 5 درجات حرية حيث يتتبع المعصم التوجيه جزئيًا فقط. يحتوي Franka على سبعة مفاصل تحديد موضع. تحدد هذه الفجوة الأوضاع الممكنة: لا تستطيع الذراع ذات 5 درجات حرية عمومًا الوصول إلى موضع وتوجيه عشوائيين في آن واحد، لذا يعيد المُحلل أقرب ما يمكنه الوصول إليه، وهي حركة مختلفة عن تلك التي تم عرضها. خلفية: درجات الحرية.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

لذا، فإن نقطة فحص DROID الجاهزة ليست اختصارًا. تشحن Physical Intelligence نموذج pi05_droid على gs://openpi-assets/checkpoints/pi05_droid، ويحذر نفس ملف README الذي يثني على اتساع نطاقه من أن نقاط الفحص الخبيرة هذه قد لا تتوافق مع إعدادك. حالته هي ثمانية أرقام لمفاصل Franka ومفاتيح صورها هي exterior_image_1_left و wrist_image_left. لا يوجد علم يحول ذلك إلى أمر SO-100 بستة محركات.

2. ما يعنيه متجه الإجراء فعليًا

أعمق من الأبعاد. في تحويلات LeRobot، تشير الثلاثة جميعها إلى أين يجب أن يذهب القابض، في الفضاء الديكارتي. يشير SO-100 إلى أين يجب أن تذهب ستة محركات مؤازرة. يتطلب التحويل نموذجًا حركيًا ومحللًا، وليس إعادة تشكيل.

يقدم LeRobot القطعة المفقودة: يحتوي تابع SO على معالج حركيات بخطوات InverseKinematicsEEToJoints و ForwardKinematicsJointsToEE. مفاتيحه هي ee.x و ee.y و ee.z بالإضافة إلى متجه دوران ee.wx و ee.wy و ee.wz و ee.gripper_pos، لذا حتى ترميز الاتجاه يختلف عن زوايا الانحدار والانعراج والدوران الموجودة في الملفات. تتطلب خطوة IK وزنًا للاتجاه (orientation_weight)، الافتراضي 0.01، ويشير وصفها إلى تعيينه على 0.0 لـ IK المعتمد على الموضع فقط للأذرع ذات التشغيل الناقص. يمكنك بناء الجسر، لكن النصف المتعلق بالاتجاه من كل إجراء مستعار يبقى تقريبيًا.

3. معدل التحكم

يعمل DROID بمعدل 15 هرتز، و BridgeData V2 بمعدل 5 هرتز، وشريحة google_robot بمعدل 3 إطارات في الثانية؛ يصف مؤلفو pi0 الجزء مفتوح المصدر من مزيجهم بأنه تحكم منخفض التردد يتراوح بين 2 و 10 هرتز. إعدادات DatasetRecordConfig الافتراضية لـ LeRobot هي 30 إطارًا في الثانية، و episode_time_s 60، و reset_time_s 60، و num_episodes 50. ، المدربة على بيانات 5 هرتز، تعلمت أن إجراءً واحدًا يغطي 200 مللي ثانية. عند إعادة تشغيله بمعدل 30 هرتز، تزحف الذراع؛ وإعادة أخذ العينات بشكل ساذج يؤدي إلى تشويه الإطار الذي يغلق فيه المقبض. كما يتفاعل بشكل سيء مع : قطعة مكونة من 100 خطوة تستغرق 20 ثانية عند 5 هرتز، و 3.3 ثانية عند 30 هرتز.

4. الكاميرات

BridgeData V2 عشوائية وضعيتي كاميرا كل 50 مسارًا، وتشير صفحة المشروع الخاصة به إلى أن معظم البيانات تحمل فقط المنظر الثابت على أي حال. استخدم DROID حوامل ZED 2 قابلة للتعديل بالإضافة إلى ZED Mini للمعصم. لديك كاميرتا ويب USB موضوعتان بالعين. وضع الكاميرا ليس متغيرًا مزعجًا لـ ؛ بل هو جزء كبير مما ركز عليه المشفر البصري، ولا يوجد شيء في تنسيق الملف يخبرك أن الأوضاع تختلف.

ماذا يحدث عندما تحاول دمج البيانات على أي حال

الخطة الواضحة هي الدمج: بضعة آلاف من حلقات DROID بالإضافة إلى حلقاتك الخمسين. يرفض LeRobot، ويذكر الرفض الأشياء الثلاثة المختلفة.

1. 1
   اسحب عينة الـ 100 حلقة، وليس الـ 1.7 تيرابايت الكاملة

   2 جيجابايت كافية لرؤية الهيكل.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   حوّل RLDS إلى صيغة LeRobot

   يغلف openx2lerobot تحويلات OXE القياسية ويضيف نوع الروبوت وتردد التحكم. يضع ملف README هذا في convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   اقرأ meta/info.json قبل أي شيء آخر

   يحدد هذا الملف ما إذا كان بقية يومك سيعمل بشكل صحيح.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   جرب الدمج واقرأ الخطأ

   تقوم عملية الدمج بتحميل كل مجموعة بيانات، ثم تتحقق validate_all_metadata من fps ونوع الروبوت والميزات مقابل الأول في القائمة، وترفع خطأ عند أول عدم تطابق.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

تأتي القيم المرجعية من أي مجموعة بيانات أدرجتها أولاً، ولهذا السبب تشكو الرسالة من 30 إطارًا في الثانية لديك بدلاً من 15 إطارًا في الثانية لـ DROID. أصلح fps وستصطدم بفحص robot_type؛ أصلح ذلك وستصطدم بفحص الميزات، 7 مقابل 6 للإجراء. لا يوجد ترتيب يمر، ويتم تشغيل نفس الحماية في وقت التسجيل عبر sanity_check_dataset_robot_compatibility.

إذًا، ما الذي ينتقل فعليًا؟

الأوزان، وليست الحلقات. كل سياسة عامة حديثة استوعبت جزءًا منه في التدريب المسبق، وعندما تقوم بـ من فإنك ترثه وقد تم تسويته بالفعل من قبل أشخاص لديهم القدرة الحاسوبية للقيام بذلك بشكل صحيح. ورقة pi0 صريحة بشأن النسبة: 9.1 بالمائة من مزيج تدريبها المسبق، محسوبة بالخطوات الزمنية، هي بيانات مفتوحة المصدر بما في ذلك OXE و Bridge v2 و DROID. هذا الرقم خاص بـ pi0؛ ويختلف مزيج كل بائع.

هذا هو السبب في أن SmolVLA يتصرف بشكل مختلف على ذراع منخفضة التكلفة. تختار ورقته البحثية 481 مجموعة بيانات مجتمعية من Hugging Face، تم تصفيتها حسب نوع التجسيد، وعدد الحلقات، وجودة البيانات، وتغطية الإطارات: 22.9 ألف حلقة، 10.6 مليون إطار، تم تقييمها على أذرع SO-100 و SO-101 حقيقية. الصغير والمتطابق يتفوق على الكبير وغير المتطابق. قارن على ACT مقابل SmolVLA.

ثلاثة مسارات جديرة بالاهتمام

المسار أ: الضبط الدقيق من نقطة تحقق استوعبت البيانات بالفعل

يجب على معظم الناس اتباع هذا المسار. لا تلمس أبدًا DROID أو Open X-Embodiment: اختر سياسة استوعب تدريبها المسبق بيانات التجسيد المتقاطع بالفعل، سجل حلقاتك الخاصة، ثم قم بالضبط الدقيق.

ACT هي الحالة الحدية الصادقة: لا يوجد نموذج أساسي، لذا لا تصل إليه أي من البيانات العامة. وهذا ليس عيبًا تلقائيًا، فبمعدل 20 مللي ثانية لكل خطوة عمل، هو الوحيد من بين الخمسة الذي يمكنه إغلاق حلقة سريعة، كما توضح صفحة ACT يوضح. اختر حسب المهمة باستخدام مقارنة الخمسة جميعًا، GR00T N1.7 مقابل Pi0.5، ونتائج 332 اختبار أداء عبر 85 نموذجًا في الساحة.

المسار ب: استخدام DROID كأداة اختبار

عينة الـ 100 حلقة هي أفضل 2 جيجابايت ستقوم بتنزيلها هذا الشهر، وليست للتدريب. إنها مجموعة بيانات تعلم أنها صحيحة. قم بتشغيل المحول واللّودر ووظيفة GPU قصيرة عليها؛ أي شيء يفشل هو خطأ في البنية التحتية تم العثور عليه بينما كان إصلاحه رخيصًا. تقوم NVIDIA بنفس الشيء على نطاق واسع: بطاقة GR00T N1.7 تسرد أربعة متغيرات مدربة لاحقًا، لـ Bridge و Fractal في SimplerEnv، و DROID و LIBERO.

المسار ج: سجل بياناتك الخاصة، بعناية

ثلاثون إلى خمسين تبدو صغيرة مقارنة بـ 76,000 حتى تتذكر أن حلقاتك هي الوحيدة التي تتضمن ذراعك وكاميراتك وطاولتك. بافتراضات LeRobot الافتراضية، 50 حلقة تعادل 100 دقيقة من وقت التشغيل الفعلي. انظر ، و.

طريقتان للانتقال من البيانات العامة إلى سياسة عمل فعالة

تكلفة كل مسار

عدم التماثل هو بيت القصيد: المسار الذي يستعير أكبر قدر من البيانات هو الأكثر تكلفة والأقل احتمالاً لتحريك ذراعك. أقل من ساعتين من التحكم عن بعد الخاص بك يتفوق على تيرابايت من بيانات Franka لشخص آخر. ليس لديك ذراع روبوت بعد؟ /live يبث SO-100 ماديًا بدون تسجيل. ثم تدريب سياستك الأولى، وSmolVLA على SO-100 للدليل المحدد.