SO-100 मा DROID, BridgeData V2 र Open X प्रयोग गर्दै

गुगल क्लाउड बकेटमा एक मिलियन-ट्र्याजेक्टरी सार्वजनिक डेटासेट छ र एउटा SO-100 डेस्कमा छ जसको पार्टपुर्जामा 110 देखि 150 EUR खर्च भयो। किन पहिलोले दोस्रोलाई सिकाउन सक्दैन? यसले आंशिक रूपमा सक्छ, तर लगभग कुनै पनि स्थानान्तरण मानिसहरूले अपेक्षा गरेको ठाउँमा हुँदैन, र सबैभन्दा सजिलो देखिने भागले बिल्कुल काम गर्दैन।

के पछ्याउँछ: भित्र के छ DROID, BridgeData V2 र Open X-Embodiment, जहाँ प्रत्येक कम लागतको 5-DoF आर्मसँग ठोक्किन्छ, र यसको सट्टा के गर्ने। तलका प्रत्येक संख्या यससँग सम्बन्धित पेपर, डेटासेट कार्ड वा स्रोत फाइलबाट आएको हो।

तीनवटा डेटासेटहरूमा वास्तवमा के समावेश छ

DROID

तीन मध्ये सबैभन्दा मानकीकृत। जताततै एउटै रिग: Robotiq 2F-85 ग्रिपर भएको Franka Panda, दुई समायोज्य ZED 2 स्टेरियो क्यामेरा र एउटा नाडी ZED Mini, Meta Quest 2 नियन्त्रकहरूद्वारा टेलिअपरेटेड, Polymetis मार्फत 15 Hz मा संयुक्त र अन्त-प्रभावकारी स्पेसमा रेकर्ड गरिएको। भाषा लेबलहरू पछि tasq.ai मार्फत आए, प्रत्येक एपिसोड मा तीन सम्म।

• 76k trajectories, 350 hours, 564 scenes, 84 tasks, 50 collectors तीन महाद्वीपमा।
• मुख्य नतिजा सह-प्रशिक्षण हो, एक्लो प्रशिक्षण होइन: इन-डोमेन प्रदर्शनहरूसँग 50/50 मिश्रित ब्याचहरूले वितरणमा 22 प्रतिशत निरपेक्ष सफलता र बाहिर 17 प्रतिशतले अर्को उत्कृष्ट विधिलाई हरायो।
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• 2 GB, 100-एपिसोड डिबगिङ नमूना gs://gresearch/robotics/droid_100 मा छ। त्यहाँबाट सुरु गर्नुहोस्।

BridgeData V2

शौकको सेटअपको सबैभन्दा नजिक: एक WidowX 250 6-DoF आर्म, 24 वातावरण र 13 सीपहरूमा 5 Hz मा 60,096 ट्र्याजेक्टरीहरू। संरचनामा ध्यान दिनुहोस्: 50,365 विशेषज्ञ टेलिअपरेटेड प्रदर्शनहरू साथै अनियमित स्क्रिप्टेड पिक-एन्ड-प्लेस नीतिबाट 9,731, त्यसैले लगभग 16 प्रतिशत मानव प्रदर्शन होइन, जुन अनुकरण सिकाइ गुणस्तरको लागि महत्त्वपूर्ण छ। सामान्य डाउनलोड, IPEC-COMMUNITY/bridge_orig_lerobot, ले 53,192 एपिसोड र 1,893,026 फ्रेम 5 fps मा रिपोर्ट गर्दछ, robot_type widowx: पेपरको 60,096 भन्दा कम, त्यसैले कुनै पनि उद्धृत गर्नुको सट्टा meta/info.json बाट गणना पढ्नुहोस्।

Open X-Embodiment

एउटै अर्थमा डेटासेट होइन: ३४ प्रयोगशालाबाट ६० वटा अवस्थित रोबोट डेटासेटहरू २२ वटा एम्बोडिमेन्ट र दश लाखभन्दा बढी ट्र्याजेक्टोरीहरू समेट्दै एउटा RLDS संग्रहमा जम्मा गरियो। BridgeData V2 यसभित्र bridge_orig को रूपमा रहेको छ; google_robot स्लाइस, fractal20220817_data, ३ fps मा ८७,२१२ एपिसोडमा रूपान्तरण हुन्छ।

यस संकलनमा एउटा चेतावनी छ जुन पेपरले स्पष्ट रूपमा उल्लेख गरेको छ। RT-X प्रयोगहरूको लागि लेखकहरूले प्रत्येक स्रोतलाई ७-DoF एन्ड-इफेक्टर कार्यमा रूपान्तरण गर्छन्, तर डेटासेटहरूमा समन्वय फ्रेमहरू पङ्क्तिबद्ध गर्दैनन्, र प्रत्येक रोबोटको मौलिक नियन्त्रण योजना अनुसार कार्य मानहरूलाई निरपेक्ष वा सापेक्ष स्थिति वा वेग हुन अनुमति दिन्छन्। उनीहरूको निष्कर्ष: एउटै कार्य भेक्टरले विभिन्न रोबोटहरूको लागि धेरै फरक गतिहरू उत्पन्न गर्न सक्छ।

बेमेल, चार भागमा

Embodiment mismatch लाई सामान्यतया एउटा अस्पष्ट समस्याको रूपमा लिइन्छ। यो चार प्रकारका हुन्छन्, तिनीहरू फरक-फरक तरिकाले असफल हुन्छन्, र दुईवटा स्क्रिप्टिङद्वारा समाधान गर्न सकिँदैन।

1. स्वतन्त्रताका डिग्रीहरू

एउटा SO-100 मा पाँचवटा आर्म जोइन्ट र एउटा ग्रिपर हुन्छ। मोटरको रूपमा गणना गर्दा यो 6-DoF आर्म हो, र SmolVLA पेपरले यसलाई त्यसरी नै भन्छ; पोजिसनिङ मेकानिजमको रूपमा गणना गर्दा यो 5-DoF हो, र LeRobot ले यसलाई आफ्नो इन्भर्स-काइनेमेटिक्स डकस्ट्रिङमा त्यसरी नै भन्छ, जसले 5-DOF SO-101 मा सफ्ट-ओरिएन्टेसन IK वर्णन गर्दछ जहाँ नाडीले आंशिक रूपमा मात्र ओरिएन्टेसन ट्र्याक गर्दछ। एउटा Franka मा सातवटा पोजिसनिङ जोइन्टहरू छन्। त्यो अन्तरले कुन पोजहरू अवस्थित छन् भनेर निर्धारण गर्दछ: एउटा 5-DoF आर्मले सामान्यतया एकैचोटि मनमानी स्थिति र ओरिएन्टेसनमा पुग्न सक्दैन, त्यसैले सल्भरले यसले पुग्न सक्ने सबैभन्दा नजिकको पोज फर्काउँछ, जुन प्रदर्शन गरिएको भन्दा फरक गति हो। पृष्ठभूमि: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

त्यसैले तयार DROID चेकपोइन्ट कुनै सर्टकट होइन। Physical Intelligence ले pi05_droid लाई gs://openpi-assets/checkpoints/pi05_droid मा पठाउँछ, र यसको व्यापकताको प्रशंसा गर्ने त्यही README ले यी विशेषज्ञ चेकपोइन्टहरू तपाईंको सेटअपमा सामान्यीकरण नहुन सक्ने चेतावनी दिन्छ। यसको अवस्था आठ फ्रान्का जोइन्ट नम्बरहरू हुन् र यसको छवि कुञ्जीहरू exterior_image_1_left र wrist_image_left हुन्। कुनै पनि फ्ल्यागले त्यसलाई छ-मोटर SO-100 कमाण्डमा बदल्दैन।

२. कार्य भेक्टरले वास्तवमा के भन्छ

आयामिकता भन्दा गहिरो। LeRobot रूपान्तरणहरूमा, तीनवटैले ग्रिपर कार्टेसियन स्पेसमा कहाँ जानुपर्छ भनी बताउँछन्। एक SO-100 ले छ वटा सर्भो कहाँ जानुपर्छ भनी बताउँछ। रूपान्तरण गर्नका लागि किनेमेटिक मोडेल र सल्भर चाहिन्छ, रिसेप होइन।

LeRobot ले हराएको टुक्रा पठाउँछ: SO follower सँग InverseKinematicsEEToJoints र ForwardKinematicsJointsToEE चरणहरू भएको किनेमेटिक्स प्रोसेसर छ। यसका कुञ्जीहरू ee.x, ee.y, ee.z साथै एक रोटेशन भेक्टर ee.wx, ee.wy, ee.wz र ee.gripper_pos हुन्, त्यसैले अभिमुखीकरण एन्कोडिङ पनि फाइलहरूमा भएको रोल-पिच-याव भन्दा फरक छ। IK चरणले orientation_weight लिन्छ, जसको पूर्वनिर्धारित मान 0.01 हो, जसको डकस्ट्रिङले कम-सक्रिय हातहरूमा स्थिति-मात्र IK को लागि 0.0 सेट गर्न भन्छ। तपाईं पुल निर्माण गर्न सक्नुहुन्छ, तर प्रत्येक उधारो कार्यको अभिमुखीकरण आधा अनुमानित नै रहन्छ।

३. नियन्त्रण दर

DROID १५ Hz छ, BridgeData V2 ५ Hz, google_robot स्लाइस ३ fps; pi0 का लेखकहरूले उनीहरूको मिश्रणको खुला-स्रोत भागलाई २ र १० Hz बीचको कम-फ्रिक्वेन्सी नियन्त्रणको रूपमा वर्णन गर्छन्। LeRobot को DatasetRecordConfig पूर्वनिर्धारित रूपमा fps ३०, episode_time_s ६०, reset_time_s ६०, num_episodes ५० मा सेट गरिएको छ। ५ Hz डेटामा प्रशिक्षित एउटा ले एउटा कार्यले २०० ms समेट्छ भनी सिक्यो। यसलाई ३० Hz मा रिप्ले गर्दा हात बिस्तारै चल्छ; यसलाई सामान्य रूपमा पुनः नमूना गर्दा ग्रिपर बन्द हुने फ्रेम धमिलो हुन्छ। यसले सँग पनि नराम्रोसँग अन्तरक्रिया गर्छ: १००-चरणको खण्ड ५ Hz मा २० सेकेन्ड हुन्छ, ३० Hz मा ३.३ सेकेन्ड।

4. क्यामेराहरू

BridgeData V2 ले प्रत्येक ५० ट्र्याजेक्टरीमा दुई क्यामेरा पोजहरू अनियमित गर्यो, र यसको परियोजना पृष्ठले धेरैजसो डेटाले निश्चित दृश्य मात्र बोक्छ भनेर नोट गर्छ। DROID ले समायोज्य ZED 2 माउन्टहरू र एउटा नाडी ZED Mini प्रयोग गर्यो। तपाईंसँग आँखाले राखिएका दुई USB वेबक्यामहरू छन्। क्यामेरा पोज एक उपद्रव चर होइन ; यो धेरैजसो भिजुअल एन्कोडरले कुञ्जी गरेको कुरा हो, र फाइल ढाँचामा केही पनि छैन जसले तपाईंलाई पोजहरू फरक छन् भनी बताउँछ।

तपाईंले जे भए पनि डेटा मर्ज गर्ने प्रयास गर्दा के हुन्छ

स्पष्ट योजना भनेको केही हजार DROID एपिसोडहरू र तपाईंको ५० लाई जोड्नु हो। LeRobot ले अस्वीकार गर्छ, र अस्वीकृतिले फरक पार्ने तीन चीजहरूको नाम दिन्छ।

1. 1
   पूरा 1.7 TB होइन, 100-एपिसोडको नमूना तान्नुहोस्

   संरचना हेर्न 2 GB पर्याप्त छ।

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS लाई LeRobot ढाँचामा रूपान्तरण गर्नुहोस्

   openx2lerobot ले OXE मानक रूपान्तरणहरूलाई समेट्छ र रोबोट प्रकार र नियन्त्रण आवृत्तिलाई एनोटेट गर्छ। README ले यसलाई convert.sh मा राख्छ।

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   अरू केही गर्नु अघि meta/info.json पढ्नुहोस्

   यो फाइलले तपाईंको बाँकी दिन काम गर्छ कि गर्दैन भनेर निर्णय गर्छ।

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   मर्ज प्रयास गर्नुहोस् र त्रुटि पढ्नुहोस्

   मर्जले प्रत्येक डेटासेट लोड गर्छ, त्यसपछि validate_all_metadata ले सूचीमा रहेको पहिलो विरुद्ध fps, robot_type र सुविधाहरू जाँच गर्छ, पहिलो बेमेलमा त्रुटि उठाउँछ।

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

सन्दर्भ मानहरू तपाईंले पहिले सूचीबद्ध गर्नुभएको डेटासेटबाट आउँछन्, त्यसैले सन्देशले DROID को १५ को सट्टा तपाईंको ३० fps बारे गुनासो गर्छ। fps ठीक गर्नुहोस् र तपाईं robot_type जाँचमा पुग्नुहुन्छ; त्यो ठीक गर्नुहोस् र तपाईं सुविधा जाँचमा पुग्नुहुन्छ, कार्यका लागि ६ विरुद्ध ७। कुनै पनि क्रमबद्धता सफल हुँदैन, र sanity_check_dataset_robot_compatibility मार्फत रेकर्ड समयमा उही गार्ड चल्छ।

वास्तवमा के स्थानान्तरण हुन्छ?

वजनहरू, एपिसोडहरू होइनन्। प्रत्येक आधुनिक सामान्यवादी नीतिले यसको केही अंश पूर्व-प्रशिक्षणमा अवशोषित गरेको थियो, र जब तपाईं जारी गरिएको बाट, तपाईंले यसलाई पहिले नै कम्प्युट भएका मानिसहरूद्वारा राम्ररी मिलाइएको अवस्थामा प्राप्त गर्नुहुन्छ। pi0 को पेपरले अनुपातको बारेमा स्पष्ट रूपमा बताउँछ: यसको पूर्व-प्रशिक्षण मिश्रणको 9.1 प्रतिशत, टाइमस्टेपमा गणना गर्दा, OXE, Bridge v2 र DROID सहितको खुला स्रोत डेटा हो। त्यो आंकडा pi0 को हो; प्रत्येक विक्रेताको मिश्रण फरक हुन्छ।

यसैले गर्दा SmolVLA कम लागतको आर्ममा फरक तरिकाले व्यवहार गर्छ। यसको पेपरले Hugging Face बाट 481 सामुदायिक डेटासेटहरू चयन गर्छ, जुन एम्बोडिमेन्ट प्रकार, एपिसोड गणना, डेटा गुणस्तर र फ्रेम कभरेजद्वारा फिल्टर गरिएको छ: 22.9K एपिसोड, 10.6M फ्रेम, वास्तविक SO-100 र SO-101 आर्महरूमा मूल्याङ्कन गरिएको। सानो र मिल्दोले ठूलो र नमिल्दोलाई जित्छ। यसमा तुलना गर्नुहोस् ACT against SmolVLA.

लिन लायक तीन मार्गहरू

मार्ग A: डेटा पहिले नै समावेश भएको चेकपोइन्टबाट फाइन-ट्यून गर्नुहोस्

धेरैजसो मानिसहरूले यो मार्ग अपनाउनुपर्छ। तपाईंले DROID वा Open X-Embodiment लाई कहिल्यै छुनुहुन्न: जसको पूर्व-प्रशिक्षणले पहिले नै क्रस-एम्बोडिमेन्ट डेटा अवशोषित गरिसकेको छ, त्यस्तो नीति छान्नुहोस्, आफ्नै एपिसोडहरू रेकर्ड गर्नुहोस्, फाइन-ट्यून गर्नुहोस्।

ACT एक इमानदार किनारा केस हो: कुनै आधार मोडेल छैन, त्यसैले कुनै पनि सार्वजनिक डेटा यसमा कहिल्यै पुग्दैन। यो स्वचालित रूपमा बेफाइदा होइन, किनकि प्रति कार्य चरण 20 ms मा यो पाँच मध्ये एक मात्र हो जसले द्रुत लूप बन्द गर्न सक्छ, जस्तै ACT पृष्ठ, मा उल्लेख छ। कार्य अनुसार छान्नुहोस् पाँचैको तुलना, GR00T N1.7 बनाम Pi0.5, र 85 मोडेलहरूमा 332 बेन्चमार्क परिणामहरू एरिना।

मार्ग B: DROID लाई परीक्षण फिक्स्चरको रूपमा प्रयोग गर्नुहोस्

100-एपिसोडको नमूना यस महिना डाउनलोड गर्ने सबैभन्दा राम्रो 2 GB हो, र यो प्रशिक्षणको लागि होइन। यो एउटा डेटासेट हो जुन तपाईंलाई सही छ भन्ने थाहा छ। यसमा आफ्नो कन्भर्टर, लोडर र छोटो GPU कार्य चलाउनुहोस्; असफल हुने कुनै पनि कुरा सस्तो हुँदा फेला परेको पूर्वाधार बग हो। NVIDIA ले ठूलो मात्रामा पनि त्यही गर्छ: GR00T N1.7 कार्डले SimplerEnv मा Bridge र Fractal, DROID र LIBERO का लागि चार पोस्ट-प्रशिक्षित भेरियन्टहरू सूचीबद्ध गर्दछ।

मार्ग C: आफ्नै, जानाजानी रेकर्ड गर्नुहोस्

तीस देखि पचास ७६,००० को तुलनामा सानो लाग्छ जबसम्म तपाईंलाई याद हुँदैन कि तपाईंका मात्र त्यस्ता हुन् जसमा तपाईंको पाखुरा, क्यामेरा र टेबल छन्। LeRobot को पूर्वनिर्धारित सेटिङहरूमा, ५० एपिसोडहरू १०० मिनेटको वास्तविक समय हो। हेर्नुहोस् , र .

सार्वजनिक डेटाबाट कार्यरत नीतिमा पुग्ने दुई तरिका

प्रत्येक मार्गको लागत

विषमता नै मुख्य कुरा हो: सबैभन्दा बढी डेटा लिने मार्ग सबैभन्दा महँगो हुन्छ र तपाईंको पाखुरा चलाउने सम्भावना कम हुन्छ। तपाईंको आफ्नै दुई घण्टा भन्दा कम टेलिअपरेसन अरू कसैको फ्रान्काको एक टेराबाइट भन्दा राम्रो हुन्छ। अझै पाखुरा छैन? /live ले साइनअप बिना भौतिक SO-100 स्ट्रिम गर्छ। त्यसपछि आफ्नो पहिलो नीति तालिम दिनुहोस्, र SO-100 मा SmolVLA विशिष्ट मार्गनिर्देशनको लागि।