SO-100 पर DROID, BridgeData V2 और Open X का उपयोग करना

Google Cloud बकेट पर एक मिलियन-ट्रैजेक्टरी पब्लिक डेटासेट है और एक SO-100 डेस्क पर है जिसकी लागत पुर्जों में 110 से 150 EUR थी। पहला दूसरे को क्यों नहीं सिखा सकता? यह आंशिक रूप से कर सकता है, लेकिन लगभग कोई भी ट्रांसफर वहां नहीं होता जहां लोग उम्मीद करते हैं, और जो हिस्सा सबसे आसान दिखता है वह बिल्कुल काम नहीं करता।

आगे क्या है: अंदर क्या है DROID, BridgeData V2 और Open X-Embodiment, जहां प्रत्येक एक कम लागत वाली 5-DoF आर्म से टकराता है, और इसके बजाय क्या करना है। नीचे दिया गया हर नंबर उस पेपर, डेटासेट कार्ड या स्रोत फ़ाइल से आया है जिससे वह संबंधित है।

तीनों डेटासेट में वास्तव में क्या है

DROID

तीनों में सबसे मानकीकृत। हर जगह एक ही रिग: एक Franka Panda जिसमें Robotiq 2F-85 ग्रिपर, दो समायोज्य ZED 2 स्टीरियो कैमरे और एक कलाई ZED Mini है, जिसे Meta Quest 2 नियंत्रकों के साथ टेलीऑपरेट किया गया है, Polymetis के माध्यम से 15 Hz पर संयुक्त और एंड-इफेक्टर स्पेस में रिकॉर्ड किया गया। भाषा लेबल बाद में tasq.ai के माध्यम से आए, प्रति एपिसोड.

• 76k प्रक्षेपवक्र, 350 घंटे, 564 दृश्य, 84 कार्य, तीन महाद्वीपों में 50 संग्राहक।
• मुख्य परिणाम सह-प्रशिक्षण है, न कि स्टैंडअलोन प्रशिक्षण: इन-डोमेन प्रदर्शनों के साथ 50/50 मिश्रित बैचों ने वितरण में 22 प्रतिशत पूर्ण सफलता और उससे बाहर 17 प्रतिशत से अगले सर्वश्रेष्ठ तरीके को हराया।
• IPEC-COMMUNITY/droid_lerobot: 92,233 एपिसोड, 27,044,326 फ्रेम, franka, 15 fps, codebase_version v2.0, 180x320 पर तीन AV1 स्ट्रीम, 392 GB।
• एक 2 GB, 100-एपिसोड का डीबगिंग नमूना gs://gresearch/robotics/droid_100 पर उपलब्ध है। वहीं से शुरू करें।

BridgeData V2

एक हॉबी सेटअप के सबसे करीब: एक WidowX 250 6-DoF आर्म, 24 वातावरणों और 13 कौशलों में 5 Hz पर 60,096 प्रक्षेपवक्र। संरचना पर ध्यान दें: 50,365 विशेषज्ञ टेलीऑपरेटेड प्रदर्शन और एक यादृच्छिक स्क्रिप्टेड पिक-एंड-प्लेस नीति से 9,731, इसलिए लगभग 16 प्रतिशत मानव प्रदर्शन नहीं है, जो इसके लिए मायने रखता है अनुकरण सीखना गुणवत्ता। सामान्य डाउनलोड, IPEC-COMMUNITY/bridge_orig_lerobot, 53,192 एपिसोड और 1,893,026 फ्रेम 5 fps पर रिपोर्ट करता है, robot_type widowx: पेपर के 60,096 से कम, इसलिए किसी एक को उद्धृत करने के बजाय meta/info.json से संख्या पढ़ें।

Open X-Embodiment

उसी अर्थ में कोई डेटासेट नहीं: 34 प्रयोगशालाओं से 60 मौजूदा रोबोट डेटासेट को एक RLDS संग्रह में एकत्रित किया गया है, जिसमें 22 एम्बॉडीमेंट और दस लाख से अधिक ट्रेजेक्टरीज़ शामिल हैं। BridgeData V2 इसके भीतर bridge_orig के रूप में मौजूद है; google_robot स्लाइस, fractal20220817_data, 3 fps पर 87,212 एपिसोड में परिवर्तित होता है।

इस एकत्रीकरण में एक चेतावनी है जिसे पेपर स्पष्ट रूप से बताता है। RT-X प्रयोगों के लिए, लेखकों ने प्रत्येक स्रोत को 7-DoF एंड-इफेक्टर एक्शन में परिवर्तित किया, लेकिन डेटासेट में कोऑर्डिनेट फ़्रेमों को संरेखित नहीं किया, और प्रत्येक रोबोट की मूल नियंत्रण योजना के अनुसार एक्शन मानों को निरपेक्ष या सापेक्ष स्थिति या वेग होने की अनुमति दी। उनका निष्कर्ष है: एक ही एक्शन वेक्टर विभिन्न रोबोटों के लिए बहुत अलग गतियाँ उत्पन्न कर सकता है।

चार भागों में विसंगति

एम्बॉडिमेट बेमेल को आमतौर पर एक अस्पष्ट समस्या माना जाता है। यह चार प्रकार का होता है, वे अलग-अलग तरीके से विफल होते हैं, और उनमें से दो को स्क्रिप्टिंग द्वारा ठीक नहीं किया जा सकता।

1. स्वतंत्रता की कोटियाँ

एक SO-100 में पाँच आर्म जॉइंट्स और एक ग्रिपर होता है। मोटर्स के रूप में गिनने पर यह एक 6-DoF आर्म है, और SmolVLA पेपर इसे यही कहता है; एक पोजिशनिंग मैकेनिज्म के रूप में गिनने पर यह 5-DoF है, और LeRobot इसे अपनी इनवर्स-काइनेमेटिक्स डॉकस्ट्रिंग में यही कहता है, जो 5-DOF SO-101 पर सॉफ्ट-ओरिएंटेशन IK का वर्णन करता है जहाँ कलाई केवल आंशिक रूप से ओरिएंटेशन को ट्रैक करती है। एक Franka में सात पोजिशनिंग जॉइंट्स होते हैं। यह अंतर तय करता है कि कौन सी पोज़ मौजूद हैं: एक 5-DoF आर्म आमतौर पर एक साथ मनमानी स्थिति और ओरिएंटेशन तक नहीं पहुँच सकता है, इसलिए सॉल्वर सबसे करीब का परिणाम देता है, जो प्रदर्शित गति से भिन्न होता है। पृष्ठभूमि: स्वतंत्रता की कोटियाँ.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

तो एक तैयार DROID चेकपॉइंट कोई शॉर्टकट नहीं है। Physical Intelligence, pi05_droid को gs://openpi-assets/checkpoints/pi05_droid पर भेजता है, और वही README जो इसकी व्यापकता की प्रशंसा करता है, चेतावनी देता है कि ये विशेषज्ञ चेकपॉइंट आपके सेटअप के लिए सामान्यीकृत नहीं हो सकते हैं। इसकी स्थिति आठ Franka जॉइंट नंबर हैं और इसकी इमेज कीज़ exterior_image_1_left और wrist_image_left हैं। कोई भी फ़्लैग इसे छह-मोटर SO-100 कमांड में नहीं बदलता है।

2. एक्शन वेक्टर वास्तव में क्या कहता है

आयाम से भी गहरा। LeRobot रूपांतरणों में, तीनों बताते हैं कि ग्रिपर को कार्टेशियन स्पेस में कहाँ जाना चाहिए। एक SO-100 बताता है कि छह सर्वो को कहाँ जाना चाहिए। रूपांतरण के लिए एक किनेमेटिक मॉडल और एक सॉल्वर की आवश्यकता होती है, न कि केवल एक रीशेप की।

LeRobot लापता टुकड़ा भेजता है: SO फॉलोअर में InverseKinematicsEEToJoints और ForwardKinematicsJointsToEE चरणों के साथ एक किनेमेटिक्स प्रोसेसर है। इसकी कुंजियाँ ee.x, ee.y, ee.z के साथ एक रोटेशन वेक्टर ee.wx, ee.wy, ee.wz और ee.gripper_pos हैं, इसलिए ओरिएंटेशन एन्कोडिंग भी फ़ाइलों में रोल-पिच-यॉ से भिन्न है। IK चरण एक orientation_weight लेता है, डिफ़ॉल्ट 0.01, जिसका डॉकस्ट्रिंग कहता है कि अंडर-एक्टुएटेड आर्म्स पर केवल स्थिति-आधारित IK के लिए 0.0 सेट करें। आप ब्रिज बना सकते हैं, लेकिन हर उधार ली गई क्रिया का ओरिएंटेशन आधा अनुमानित ही रहता है।

3. नियंत्रण दर

DROID 15 Hz है, BridgeData V2 5 Hz है, google_robot स्लाइस 3 fps है; pi0 के लेखक अपने मिश्रण के ओपन-सोर्स हिस्से को 2 और 10 Hz के बीच कम-आवृत्ति नियंत्रण के रूप में वर्णित करते हैं। LeRobot का DatasetRecordConfig डिफ़ॉल्ट रूप से fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50 पर सेट है। 5 Hz डेटा पर प्रशिक्षित एक ने सीखा कि एक क्रिया 200 ms को कवर करती है। इसे 30 Hz पर फिर से चलाएं और हाथ रेंगता है; अनाड़ी रूप से फिर से नमूना लें और आप उस फ्रेम को धुंधला कर देंगे जहाँ ग्रिपर बंद होता है। यह के साथ भी बुरी तरह से इंटरैक्ट करता है: 100-स्टेप का एक चंक 5 Hz पर 20 सेकंड और 30 Hz पर 3.3 सेकंड होता है।

4. कैमरे

BridgeData V2 ने हर 50 प्रक्षेपवक्रों पर दो कैमरा पोज़ को यादृच्छिक किया, और इसके प्रोजेक्ट पेज में बताया गया है कि अधिकांश डेटा वैसे भी केवल निश्चित दृश्य ही रखता है। DROID ने समायोज्य ZED 2 माउंट और एक कलाई ZED मिनी का उपयोग किया। आपके पास दो USB वेबकैम हैं जिन्हें आँख से स्थितिबद्ध किया गया है। कैमरा पोज़ एक परेशानी वाला चर नहीं है ; यह बहुत कुछ है जिस पर विज़ुअल एन्कोडर ने ध्यान केंद्रित किया था, और फ़ाइल प्रारूप में कुछ भी आपको यह नहीं बताता कि पोज़ भिन्न हैं।

जब आप डेटा को वैसे भी मर्ज करने का प्रयास करते हैं तो क्या होता है

स्पष्ट योजना है कि कुछ हज़ार DROID एपिसोड और आपके 50 को एक साथ जोड़ा जाए। LeRobot मना कर देता है, और यह इनकार उन तीन चीज़ों का नाम बताता है जो भिन्न हैं।

1. 1
   पूरे 1.7 TB के बजाय 100-एपिसोड का नमूना खींचें।

   संरचना देखने के लिए 2 GB पर्याप्त है।

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS को LeRobot प्रारूप में बदलें।

   openx2lerobot OXE मानक परिवर्तनों को समाहित करता है और रोबोट प्रकार तथा नियंत्रण आवृत्ति को एनोटेट करता है। README इसे convert.sh में रखता है।

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   किसी भी अन्य चीज़ से पहले meta/info.json पढ़ें।

   यह फ़ाइल तय करती है कि आपका बाकी दिन काम करेगा या नहीं।

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   मर्ज का प्रयास करें और त्रुटि पढ़ें।

   मर्ज हर डेटासेट को लोड करता है, फिर validate_all_metadata सूची में पहले के विरुद्ध fps, robot_type और सुविधाओं की जाँच करता है, पहले बेमेल पर त्रुटि उत्पन्न करता है।

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

संदर्भ मान उस डेटासेट से आते हैं जिसे आपने पहले सूचीबद्ध किया था, यही कारण है कि संदेश DROID के 15 के बजाय आपके 30 fps के बारे में शिकायत करता है। fps को ठीक करें और आप robot_type जाँच पर पहुँचेंगे; उसे ठीक करें और आप फीचर जाँच पर पहुँचेंगे, एक्शन के लिए 6 के मुकाबले 7। कोई भी क्रम काम नहीं करता है, और वही गार्ड रिकॉर्ड समय पर sanity_check_dataset_robot_compatibility के माध्यम से चलता है।

तो वास्तव में क्या स्थानांतरित होता है?

वजन (वेट्स), एपिसोड नहीं। हर आधुनिक सामान्यवादी नीति ने प्रीट्रेनिंग में इसका कुछ हिस्सा आत्मसात किया, और जब आप एक जारी किए गए से शुरू करते हैं, तो आप इसे उन लोगों द्वारा पहले से ही समायोजित पाते हैं जिनके पास इसे ठीक से करने के लिए कंप्यूट क्षमता थी। pi0 का पेपर अनुपात के बारे में स्पष्ट है: इसके प्री-ट्रेनिंग मिश्रण का 9.1 प्रतिशत, टाइमस्टेप्स में गिना गया, OXE, Bridge v2 और DROID सहित ओपन-सोर्स डेटा है। यह आंकड़ा pi0 का है; प्रत्येक विक्रेता का मिश्रण भिन्न होता है।

यही कारण है कि SmolVLA एक कम लागत वाली भुजा पर अलग तरह से व्यवहार करता है। इसके पेपर में Hugging Face से 481 सामुदायिक डेटासेट चुने गए हैं, जिन्हें एम्बॉडीमेंट प्रकार, एपिसोड गणना, डेटा गुणवत्ता और फ्रेम कवरेज के आधार पर फ़िल्टर किया गया है: 22.9K एपिसोड, 10.6M फ्रेम, जिनका मूल्यांकन वास्तविक SO-100 और SO-101 भुजाओं पर किया गया है। छोटा और मेल खाता हुआ, बड़े और बेमेल से बेहतर प्रदर्शन करता है। तुलना करें ACT की SmolVLA से.

तीन रास्ते जो अपनाने लायक हैं

पथ A: एक चेकपॉइंट से फाइन-ट्यून करें जिसने पहले ही डेटा को आत्मसात कर लिया है

अधिकांश लोगों को यह रास्ता अपनाना चाहिए। आप कभी भी DROID या Open X-Embodiment को नहीं छूते हैं: एक ऐसी नीति चुनें जिसका प्रीट्रेनिंग पहले ही क्रॉस-एम्बॉडीमेंट डेटा को आत्मसात कर चुका हो, अपने स्वयं के एपिसोड रिकॉर्ड करें, फाइन-ट्यून करें।

ACT एक ईमानदार एज केस है: कोई बेस मॉडल नहीं है, इसलिए कोई भी सार्वजनिक डेटा कभी भी उस तक नहीं पहुँचता। यह स्वचालित रूप से कोई नुकसान नहीं है, क्योंकि 20 मिलीसेकंड प्रति एक्शन स्टेप पर यह उन पाँचों में से एकमात्र है जो एक तेज़ लूप को बंद कर सकता है, जैसा कि ACT पेज बताता है। कार्य के अनुसार चुनें, उपयोग करके सभी पाँचों की तुलना, GR00T N1.7 बनाम Pi0.5, और 85 मॉडलों में 332 बेंचमार्क परिणाम अखाड़ा में।

पथ B: DROID को एक परीक्षण फिक्स्चर के रूप में उपयोग करें

100-एपिसोड का नमूना इस महीने आप जो 2 GB डाउनलोड करेंगे, उसमें सबसे अच्छा है, और यह प्रशिक्षण के लिए नहीं है। यह एक ऐसा डेटासेट है जिसके सही होने की आपको जानकारी है। इस पर अपना कनवर्टर, लोडर और एक छोटा GPU कार्य चलाएँ; जो कुछ भी विफल होता है वह एक इंफ्रास्ट्रक्चर बग है जो तब मिला जब यह सस्ता था। NVIDIA बड़े पैमाने पर भी ऐसा ही करता है: GR00T N1.7 कार्ड में चार पोस्ट-प्रशिक्षित वेरिएंट सूचीबद्ध हैं, SimplerEnv में ब्रिज और फ्रैक्चर के लिए, DROID और LIBERO के लिए।

पाथ C: जानबूझकर अपना खुद का रिकॉर्ड करें

तीस से पचास 76,000 के मुकाबले कम लगता है जब तक आपको याद न हो कि आपके पास अपनी बांह, अपने कैमरे और अपनी मेज के साथ केवल आपके ही हैं। LeRobot के डिफ़ॉल्ट पर, 50 एपिसोड 100 मिनट का वास्तविक समय है। देखें , और .

सार्वजनिक डेटा से एक कार्यशील नीति तक पहुँचने के दो तरीके

प्रत्येक पथ की लागत क्या है

विषमता ही मुख्य बात है: जो पथ सबसे अधिक डेटा उधार लेता है, वह सबसे महंगा होता है और आपके हाथ को हिलाने की संभावना सबसे कम होती है। अपने स्वयं के दो घंटे से भी कम समय की टेलीऑपरेशन किसी और के फ्रैंका के एक टेराबाइट से बेहतर है। अभी तक कोई आर्म नहीं है? /live बिना साइनअप के एक भौतिक SO-100 स्ट्रीम करता है। फिर अपनी पहली पॉलिसी को प्रशिक्षित करें, और SO-100 पर SmolVLA विशिष्ट गाइड के लिए।