रोबोट नीतियों के लिए सिंथेटिक डेटा: जहाँ सिमुलेशन मदद करता है

हर कुछ महीनों में कोई न कोई यह पता लगाता है कि पचास एपिसोड हाथ से रिकॉर्ड करना धीमा है, और पूछता है कि क्या एक सिम्युलेटर उन्हें इसके बजाय उत्पन्न कर सकता है। यह एक उचित प्रश्न है। ईमानदार जवाब के तीन हिस्से हैं: उत्पन्न डेटा मदद करता है, यह वास्तविक रिकॉर्डिंग की जगह नहीं लेता है, और इन दोनों तथ्यों के बीच का अनुपात पूरी तरह से इस बात पर निर्भर करता है कि आपका किस प्रकार के सिंथेटिक डेटा से मतलब है।

यह पृष्ठ बताता है कि प्रकाशित कार्य ने वास्तव में क्या मापा, आप आज एक कम लागत वाली भुजा पर क्या चला सकते हैं जैसे कि SO-100, और जहाँ सिम-टू-रियल गैप लाभ को खा जाता है। विवरण से पहले, संक्षिप्त संस्करण: जो सिस्टम सबसे बड़े मल्टीप्लायरों की रिपोर्ट करते हैं, वे वास्तविक मानव प्रदर्शनों के एक छोटे सेट को गुणा करते हैं। वे उनकी आवश्यकता को समाप्त नहीं करते हैं।

चार अलग-अलग चीजों को सिंथेटिक डेटा कहा जाता है

संख्याओं की तुलना करने से पहले परिवारों को अलग करना उचित है, क्योंकि 100x गुणक की रिपोर्ट करने वाला एक पेपर और 5 अंकों की सफलता लाभ की रिपोर्ट करने वाला एक पेपर अक्सर एक ही पाइपलाइन को अलग-अलग छोर से वर्णित कर रहे होते हैं। सामान्य बात यह है कि LeRobot dataset में कुछ एक मशीन द्वारा उत्पादित किया गया था न कि एक भौतिक भुजा से रिकॉर्ड किया गया था। जो भिन्न है वह यह है कि कौन सा हिस्सा।

इस लेख के अर्थ में केवल पहले तीन ही सिंथेटिक डेटा हैं। चौथे का उल्लेख करना उचित है क्योंकि इसे उसी बातचीत में बंडल किया जाता है और यह सूची में अब तक की सबसे सस्ती चीज है। यदि आपने अपने ट्रेनर के साथ आने वाले संवर्धनों को पहले से चालू नहीं किया है, तो सिम्युलेटर स्थापित करने से पहले ऐसा करें।

प्रकाशित संख्याएँ वास्तव में क्या कहती हैं

यहाँ साक्ष्य आधार है, जिसमें संख्याएँ वैसी ही हैं जैसी स्रोतों में बताई गई हैं, न कि जैसी प्रेस विज्ञप्तियों में संक्षेप में प्रस्तुत की गई हैं। नीचे दी गई प्रत्येक पंक्ति 23 अगस्त 2026 को पढ़े गए एक पेपर या परियोजना पृष्ठ से ली गई है।

हर ईमानदार एब्लेशन में पैटर्न एक जैसा होता है। सिंथेटिक डेटा सस्ते में कवरेज बढ़ाता है। यह आपके ग्रिपर, आपके सर्वो सैग, आपकी लाइटिंग या आपकी टेबल की ऊंचाई के बारे में ऐसी जानकारी नहीं बनाता है जो कहीं न कहीं वास्तविक प्रदर्शनों में नहीं थी। यदि आपकी पॉलिसी विफल हो जाती है क्योंकि एंड इफेक्टर आधा सेकंड देर से बंद होता है, तो कोई भी सिम्युलेटेड भिन्नता इसे ठीक नहीं कर सकती। वह एक ग्रिपर टाइमिंग समस्या वास्तविक रिकॉर्डिंग में है।

MimicGen का एक निष्कर्ष आपकी अपनी रिकॉर्डिंग सत्रों में ले जाने लायक है, क्योंकि यह सामान्य सलाह के विपरीत है। परियोजना ने स्क्वायर D2 पर दो डेटासेट बनाए, एक को बेहतर-गुणवत्ता वाले मानव ऑपरेटर से 10 डेमो के साथ और दूसरे को खराब-गुणवत्ता वाले ऑपरेटर से 10 डेमो के साथ सीड किया गया, दोनों robomimic मल्टी-ह्यूमन स्क्वायर डेटासेट से लिए गए थे। प्रत्येक पर प्रशिक्षित नीतियों ने तुलनीय परिणाम प्राप्त किए, जिसे लेखकों ने इस बात का संकेत माना कि बड़े पैमाने पर डेटा व्यवस्था में डेटा की गुणवत्ता उतनी मायने नहीं रख सकती है। ध्यान से पढ़ें, यह दस सीड प्रदर्शनों के बारे में एक बयान है, न कि आपके पचास वास्तविक एपिसोड के बारे में। इसका मतलब है कि थोड़ा खराब सीड सेट आपके और एक उपयोगी जेनरेटेड डेटासेट के बीच खड़ी होने वाली चीज़ नहीं है। इसका मतलब यह नहीं है कि जिन वास्तविक एपिसोड पर आप सह-प्रशिक्षण करते हैं वे खराब हो सकते हैं, क्योंकि वे ही वह जानकारी ले जाते हैं जो सिम्युलेटर के पास नहीं है।

सिम-टू-रियल गैप, ठोस रूप से

इस अंतर पर आमतौर पर एक ही मात्रा के रूप में चर्चा की जाती है, जो कि मददगार नहीं है। यह कम से कम पाँच अलग-अलग बेमेल हैं, और 110 से 150 EUR के हॉबी आर्म पर इनका आकार फ्रैंका की तुलना में भिन्न होता है।

• संपर्क और घर्षण। आइजैक लैब स्पष्ट रूप से कहता है कि समान हार्डवेयर और समान आइजैक सिम और फिज़िक्स संस्करण दिए जाने पर सिमुलेशन प्रतिलिपि प्रस्तुत करने योग्य है, लेकिन फ्लोटिंग पॉइंट सटीकता और राउंडिंग त्रुटियों के कारण विभिन्न हार्डवेयर कॉन्फ़िगरेशन में परिणाम भिन्न होते हैं, और फिज़िक्स कपड़े या नरम निकायों जैसे गैर-कठोर निकायों वाले किसी भी दृश्य के लिए नियतिवाद की गारंटी नहीं देता है।
• सक्रियण। 7.4 V पर चलने वाला एक Feetech STS3215 बस सर्वो लोड के तहत झुकता है, उसमें बैकलैश होता है, और गर्म होने पर उसका व्यवहार बदल जाता है। SO-101 के लिए MJCF मॉडल अपने मोटर मापदंडों को एक असंबंधित परियोजना से लेता है, बजाय उन्हें आपके आर्म पर पहचानने के।
• रेंडरिंग। कैमरा शोर, रोलिंग शटर, ऑटो-एक्सपोज़र, और आपकी मेज का सटीक रंग रेंडर में नहीं होते हैं। यह उस अंतर का आधा हिस्सा है जिसे Cosmos-Transfer1 को बंद करने के लिए बनाया गया था: इसका रोबोटिक्स संवर्धन वर्कफ़्लो एक रोबोटिक्स सिंथेटिक उदाहरण को सेगमेंटेशन, गहराई या एज कंडीशनिंग से कई यथार्थवादी उदाहरणों में मैप करता है।
• समय। एक सिम्युलेटर एक निश्चित दर पर चलता है। एक वास्तविक नियंत्रण लूप ऐसा नहीं करता है, और मॉडल स्वयं आपके द्वारा चुने गए मॉडल के आधार पर प्रति एक्शन स्टेप 20 से 485 ms का खर्च आता है। देखें इन्फ्रेंस लेटेंसी।
• वस्तु सांख्यिकी। सिम्युलेटेड दृश्यों को किसी द्वारा लिखी गई वितरण से नमूना लिया जाता है। आपकी रसोई की मेज नहीं है।

एक सिम्युलेटेड SO-100 वास्तव में आपके आर्म के बारे में क्या जानता है

यह वह हिस्सा है जो तय करता है कि उपरोक्त में से कोई भी आपके सप्ताहांत के लायक है या नहीं, और पहली हैरानी यह है कि SO-100 और SO-101 को समान रूप से सेवा नहीं दी जाती है। TheRobotStudio का SO-ARM100 रिपॉजिटरी अपने सिमुलेशन एसेट को इसके तहत रखता है Simulation/। SO100 फ़ोल्डर में एक एकल URDF फ़ाइल है और कुछ नहीं। SO101 फ़ोल्डर में URDF और MuJoCo दोनों फ़ाइलें हैं: scene.xml, so101_new_calib.xml, so101_old_calib.xml, मिलान करने वाले URDFs और एक joints_properties.xml। यदि आप एक काइनेमेटिक चेन के बजाय एक भौतिकी मॉडल चाहते हैं, तो आपको SO-101 फ़ाइलें चाहिए।

इन्हें Onshape में डिज़ाइन किए गए CAD मॉडल से onshape-to-robot प्लगइन के साथ जनरेट किया गया था, जिसका अर्थ है कि काइनेमेटिक्स और विज़ुअल मेश CAD जितने ही अच्छे हैं। डायनामिक्स एक अलग कहानी है, और रिपॉजिटरी का अपना README तीन बातों के बारे में स्पष्ट है। सिमुलेशन और प्लानिंग के दौरान समस्याग्रस्त टकराव व्यवहार के कारण बेस कोलिजन मेश हटा दिए गए थे। STS3215 मोटर गुण SO-101 पर मापने के बजाय Open Duck Mini प्रोजेक्ट से अनुकूलित किए गए हैं। और LeRobot ग्रिपर कन्वेंशन, जहाँ 0 पूरी तरह से बंद है और 100 पूरी तरह से खुला है, अभी तक URDF और MuJoCo फ़ाइलों में स्पष्ट रूप से परिलक्षित नहीं हुआ है। इनमें से हर एक ऐसी जगह है जहाँ उस मॉडल में विशुद्ध रूप से प्रशिक्षित नीति आपके डेस्क पर अलग तरह से व्यवहार करेगी।

डोमेन रैंडमाइजेशन, और यह क्या ठीक नहीं करता है

इस अंतर का मानक उत्तर यह है कि वास्तविकता से मेल खाने की कोशिश करना बंद कर दें और इसके बजाय इतनी विस्तृत डिस्ट्रीब्यूशन पर प्रशिक्षण दें कि वास्तविकता उसके भीतर आ जाए। टोबिन और उनके सहयोगियों ने 2017 में इसका मजबूत संस्करण दिखाया: एक ऑब्जेक्ट डिटेक्टर जिसे केवल गैर-यथार्थवादी यादृच्छिक बनावट वाली सिमुलेटेड छवियों पर प्रशिक्षित किया गया था, जिसमें वास्तविक छवियों पर कोई पूर्व-प्रशिक्षण नहीं था, उसने वास्तविक वस्तुओं को 1.5 सेमी की सटीकता तक स्थानीयकृत किया और विचलित करने वाले तत्वों और आंशिक अवरोधों के प्रति मजबूत बना रहा।

Isaac Lab वही विचार प्रस्तुत करता है जो आप एक पर्यावरण कॉन्फ़िग से संलग्न इवेंट शर्तों के रूप में करते हैं। ये isaaclab.envs.mdp में उनके वास्तविक फ़ंक्शन नामों से नॉब हैं, ताकि आप अनुमान लगाने के बजाय उन्हें पढ़ सकें।

यह सीमा है, और यही वह है जिस पर लोग ठोकर खाते हैं। रैंडमाइजेशन उस वितरण को विस्तृत करता है जिसे नीति ने आपके द्वारा बनाए गए मॉडल के भीतर देखा है। यह एक भौतिक प्रभाव पेश नहीं कर सकता है जिसे सिम्युलेटर प्रतिनिधित्व नहीं करता है। यदि PhysX आपके STS3215 सर्वो के बैकलैश और थर्मल ड्रूप का मॉडलिंग नहीं कर रहा है, तो उनकी कठोरता को रैंडमाइज करने से नीति को बैकलैश के बारे में कुछ भी नहीं सिखाया जाता है। यही कारण है कि एक भुजा जो सिम-प्रशिक्षित नीति के तहत झटके और फिर ढीली हो जाती है वह रैंडमाइजेशन-बजट की समस्या नहीं है। यह एक मॉडलिंग समस्या है।

मैनुअल पथ: Isaac Lab में डेटा उत्पन्न करना

Isaac Gym एक लेगेसी सॉफ्टवेयर है। NVIDIA के अपने पेज का शीर्षक "Isaac Gym - अब अप्रचलित" है और इसमें कहा गया है कि डेवलपर्स इसे डाउनलोड और उपयोग करना जारी रख सकते हैं, लेकिन अब यह समर्थित नहीं है, इसके बजाय Isaac Lab की ओर इशारा किया गया है। यदि आप इतिहास जानना चाहते हैं, तो हमने दोनों को कवर किया है: और । 2026 में नए काम के लिए, Isaac Lab से शुरू करें।

1. 1
   Isaac Sim और Isaac Lab इंस्टॉल करें

   पिप इंस्टॉलेशन पेज बताता है कि निर्देश Isaac Sim 5.X के लिए हैं, जिसके लिए Python 3.11 की आवश्यकता है। सोर्स क्लोन आपको अगले चरणों के लिए आवश्यक स्क्रिप्ट देता है।

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   लगभग दस मानव प्रदर्शन रिकॉर्ड करें

   Isaac Lab का दस्तावेज़ीकरण विशिष्ट है: अगले चरणों को सफल बनाने के लिए लगभग 10 सफल प्रदर्शनों की आवश्यकता है। इसके सुझाव भी उतने ही विशिष्ट हैं। प्रदर्शनों को छोटा रखें, मनमाने अक्षों के साथ चलने के बजाय सीधा रास्ता अपनाएं, और रुकें नहीं, क्योंकि किसी नीति के लिए यह स्पष्ट नहीं होता कि कब और क्यों रुकना है।

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   उप-कार्य सीमाओं को एनोटेट करें

   मिमिक इनपुट प्रदर्शनों को उप-कार्यों में विभाजित करता है ताकि यह खंडों को फिर से समयबद्ध और पुनः लक्षित कर सके। --auto फ़्लैग उन कार्यों के लिए मानव हस्तक्षेप के बिना यह करता है जो स्वचालित एनोटेशन को परिभाषित करते हैं; इसके बिना आप B से रोकते हैं, N से जारी रखते हैं और S से एक सीमा चिह्नित करते हैं। ध्यान दें कि कार्य आईडी में -Mimic प्रत्यय जुड़ जाता है।

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   गुणा किया गया डेटासेट जनरेट करें

   यह वह कदम है जो 10 को 1000 में बदल देता है। मिमिक प्रत्येक उम्मीदवार पर एक बूलियन सफलता मानदंड लागू करता है और केवल उन्हीं को रखता है जिन्होंने कार्य पूरा किया, इसलिए आउटपुट संख्या परीक्षण संख्या से कम होती है। दस्तावेज़ों में उस उम्मीदवार की सफलता दर सरल मामलों में 70 प्रतिशत तक और कठिन कार्यों और जटिल रोबोटों के लिए 1 प्रतिशत से कम बताई गई है: फ्रैंका क्यूब स्टैक के लिए लगभग 50 प्रतिशत, और GR1T2 पिक एंड प्लेस के लिए 65 से 80 प्रतिशत, जहाँ 1000 डेमो में 18 से 40 मिनट लगते हैं (RTX ADA 6000 पर 80 प्रतिशत पर 19 मिनट)।

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5 को LeRobot डेटासेट में परिवर्तित करें

   ऊपर दिया गया सब कुछ रोबोमिमिक-फ्लेवर्ड HDF5 उत्पन्न करता है, और Isaac Lab कोर अपना कोई LeRobot कनवर्टर नहीं भेजता है: इसके दस्तावेज़ केवल यह कहते हैं कि आप जेनरेट किए गए डेटासेट को LeRobot प्रारूप में परिवर्तित कर सकते हैं। दो प्रोजेक्ट वास्तविक कनवर्टर प्रदान करते हैं। IsaacLab-Arena एक GR00T-लक्षित कनवर्टर भेजता है जो पूरी तरह से YAML कॉन्फ़िग द्वारा संचालित होता है, और LeIsaac SO-101 मार्ग के लिए अपनी जोड़ी भेजता है (नीचे देखें)।

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

जनरेशन के प्रयास क्यों विफल होते हैं, और क्या बदलना है

एक उम्मीदवार की सफलता दर जो 70 प्रतिशत और 1 प्रतिशत से कम के बीच झूलती है, कोई रहस्य नहीं है, और Isaac Lab आपको अनुमान लगाने के बजाय सामान्य कमियों को दस्तावेज़ित करता है। उनमें से हर एक ऐसी चीज़ है जिसे आप रिकॉर्डिंग के समय नियंत्रित करते हैं, यही कारण है कि पहली निराशाजनक जनरेशन रन के बाद के बजाय दस सीड डेमोंस्ट्रेशन रिकॉर्ड करने से पहले इस सूची को पढ़ना फायदेमंद है।

• डेमोंस्ट्रेशन बहुत लंबे हैं। एक लंबी समय सीमा नीति के लिए सीखना कठिन होता है। पहले ऑब्जेक्ट के करीब से शुरू करें और गति को कम करें।
• डेमोंस्ट्रेशन सहज नहीं हैं। अनियमित गति को नीति के लिए समझना कठिन है, और बेहतर टेलीऑपरेशन हार्डवेयर बेहतर डेटा देता है: दस्तावेज़ स्पष्ट रूप से कहते हैं कि एक SpaceMouse कीबोर्ड से बेहतर है।
• विराम। विराम सीखना मुश्किल है, क्योंकि नीति के लिए यह स्पष्ट नहीं होता कि कब और क्यों रुकना है। गति को तरल रखें।
• बहुत अधिक उपकार्य। अधिक उपकार्यों का अर्थ है प्रक्षेपवक्र खंडों के बीच अधिक सिलाई, जिससे कम सहज गति और कम जनरेशन सफलता दर मिलती है। उन सीमाओं को एनोटेट करें जहां हाथ के किसी भी चीज़ से टकराने की संभावना कम हो।
• कोई एक्शन नॉइज़ नहीं। एक्शन नॉइज़ परिणामी नीतियों को अधिक मजबूत बनाता है।
• रिकॉर्डिंग बहुत कसकर काटी गई। यदि रिकॉर्डिंग उसी फ्रेम पर रुकती है जिस पर सफलता की शर्त ट्रिगर होती है, तो यह रीप्ले के दौरान फिर से ट्रिगर नहीं हो सकती है। अंत में एक बफर छोड़ें।
• गैर-नियतात्मक रीप्ले। Isaac Lab में भौतिकी env.reset के पार नियतात्मक रूप से प्रतिलिपि प्रस्तुत करने योग्य नहीं है, इसलिए कुछ मानव डेमो रीप्ले पर विफल हो जाते हैं। आपको जितनी आवश्यकता है उससे अधिक एकत्र करें और उन लोगों को रखें जो एनोटेशन से बचते हैं। Mimic-जनरेटेड HDF5 फ़ाइल में जो कुछ भी आता है वह एक सफल डेमो है और इसका उपयोग प्रशिक्षण के लिए किया जा सकता है, भले ही रीप्ले बाद में विफल हो जाए।

सिलाई किए गए उपकार्य खंडों के बीच इंटरपोलेशन चरण का अपना ट्यूनिंग नॉब होता है, और आपको आवश्यक इंटरपोलेशन चरणों की संख्या इस बात पर निर्भर करती है कि रोबोट कितनी तेजी से चलता है और ऑब्जेक्ट रीसेट वितरण कितना व्यापक है। एक बड़े रीसेट वितरण वाला एक जटिल कार्य खंडों के बीच बड़े अंतराल छोड़ता है, जिसे निरंतर गति के रूप में सामने आने के लिए अधिक इंटरपोलेशन चरणों की आवश्यकता होती है। यदि आपके जनरेट किए गए वीडियो में हाथ चरणों के बीच लड़खड़ाता हुआ दिखाई देता है, तो सीड डेमो को दोष देने से पहले देखने वाला पैरामीटर वही है।

SO-101 पर वही पाइपलाइन, वास्तविक लीडर आर्म के साथ

यह इस पृष्ठ को पढ़ने वाले किसी भी व्यक्ति के लिए दिलचस्प है, क्योंकि यह एकमात्र खुला पाइपलाइन है जो एक को Isaac Lab के अंदर रखता है और आपको इसे अपने मौजूदा भौतिक लीडर आर्म से चलाने देता है। LeIsaac, लेखन के समय संस्करण 0.4.0, LeRobot के EnvHub में एकीकृत आधिकारिक अनुकरण-शिक्षण सिमुलेशन प्लेग्राउंड है। इसकी संगतता तालिका में तीन कार्यशील संयोजन सूचीबद्ध हैं; सबसे नया Isaac Sim 5.1 को Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 और Python 3.11 के साथ जोड़ता है, और दस्तावेज़ 50-सीरीज़ कार्डों के लिए Isaac Sim 5.0 या नया संस्करण सुझाते हैं।

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

इसके स्थापित होने के बाद, /dev/ttyACM0 पर लीडर आर्म सिम्युलेटेड फॉलोअर को चलाता है और सीधे HDF5 में रिकॉर्ड करता है। लूप वही है जिसे आप वास्तविक रिकॉर्डिंग से पहले से जानते हैं, बस फॉलोअर PhysX में एक कठोर निकाय है।

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

उनमें से अधिकांश आईडी -Direct-v0 वेरिएंट के रूप में भी मौजूद हैं, और python scripts/environments/list_envs.py वर्तमान सूची प्रिंट करता है। आप HDF5 चक्कर को पूरी तरह से छोड़ भी सकते हैं और तीन फ़्लैग जोड़कर टेलीऑपरेशन के दौरान LeRobot प्रारूप लिख सकते हैं। दो चेतावनियाँ दस्तावेज़ से ही आती हैं: रिकॉर्डर प्रारंभिक अवस्थाओं से अस्थिरता से बचने के लिए प्रत्येक एपिसोड के पहले 5 फ़्रेमों को स्वचालित रूप से छोड़ देता है, और यह टेलीऑपरेशन में थोड़ी देरी का कारण बन सकता है, जो ठीक उसी तरह की चीज़ है जो आपके प्रदर्शनों के चरित्र को चुपचाप बदल देती है। यह केवल उन एपिसोड को भी फ्लश करता है जिन्हें कार्य ने सफल चिह्नित किया है।

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

गुणा चरण फिर उन रिकॉर्डिंग पर चलता है। LeIsaac, Isaac Lab Mimic को चार कमांड में लपेटता है, क्योंकि Mimic एंड-इफेक्टर और ऑब्जेक्ट पोज़ से प्रक्षेपवक्र को सामान्यीकृत करता है: जॉइंट-स्पेस क्रियाओं को IK-आधारित क्रियाओं में परिवर्तित करें, एनोटेट करें, जनरेट करें, फिर जॉइंट स्पेस में वापस परिवर्तित करें।

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

फिर LeRobot में बदलें। यह वह चरण है जहाँ प्लेटफ़ॉर्म का प्रारूप नियम लागू होता है, और LeIsaac में ठीक वही दो कनवर्टर होते हैं जिनकी आपको आवश्यकता है: isaaclab2lerobot.py LeRobot v2 लिखता है, जिसे GR00T लोडर लेते हैं, और isaaclab2lerobotv3.py v3 लिखता है Pi0.5, SmolVLA और ACT के लिए। दोनों स्क्रिप्ट समान तर्क लेती हैं लेकिन अलग-अलग lerobot संस्करणों को पिन करती हैं, और केवल सफल एपिसोड ही परिवर्तित होते हैं।

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

प्रशिक्षित नीति के दो मार्ग

वीडियो वर्ल्ड मॉडल: सबसे नई परत, और सबसे कम मापी गई

DreamGen के पीछे का विचार यह है कि एक वीडियो जनरेटिव मॉडल, जिसे लक्ष्य रोबोट अवतार के अनुकूल बनाया गया है, उन दृश्यों में प्रशंसनीय एपिसोड की कल्पना कर सकता है जहाँ आप कभी नहीं गए। पाइपलाइन में चार चरण हैं: वीडियो वर्ल्ड मॉडल को फाइन-ट्यून करें, फोटोरियलिस्टिक सिंथेटिक रोबोट वीडियो उत्पन्न करें, एक अव्यक्त एक्शन मॉडल या एक व्युत्क्रम डायनामिक्स मॉडल के साथ छद्म-एक्शन सीक्वेंस पुनर्प्राप्त करें, फिर परिणाम पर रोबोट नीति को प्रशिक्षित करें। NVIDIA का GR00T-dreams रिपॉजिटरी ठीक यही लागू करता है।

मुख्य परिणाम वास्तविक है और इसे गंभीरता से लेने लायक है: केवल एक पिक-एंड-प्लेस कार्य से एक ही वातावरण में टेलीऑपरेशन डेटा ने एक मानवाकार रोबोट पर 22 नए व्यवहार उत्पन्न किए, जो देखे गए और अनदेखे दोनों वातावरणों में थे। चेतावनी भी उतनी ही वास्तविक है और तीसरे चरण में निहित है।

सह-प्रशिक्षण वह विधि है जो वास्तव में लाभ दिखाती है

यदि आप साहित्य से एक परिचालन सबक लेते हैं, तो इसे लें। सिम-और-वास्तविक सह-प्रशिक्षण अध्ययन (मद्दुकुरी और सहकर्मी, 2025) ने दो डोमेन, एक रोबोट आर्म और एक ह्यूमनॉइड में, दृष्टि-आधारित रोबोटिक हेरफेर कार्यों को हल करने के लिए सिमुलेशन डेटा का उपयोग करने के लिए एक सरल नुस्खा खोजने का प्रयास किया, और इसका निष्कर्ष यह है कि आप एक मिश्रण पर प्रशिक्षण देते हैं। सिमुलेशन डेटा ने वास्तविक दुनिया के कार्य प्रदर्शन को औसतन 38 प्रतिशत तक बढ़ाया, और पेपर स्पष्ट करता है कि यह सिमुलेशन और वास्तविक दुनिया के डेटा के बीच उल्लेखनीय अंतर होने पर भी कायम रहा।

वह अंतिम खंड 38 प्रतिशत से अधिक मायने रखता है। इसका मतलब है कि सिमुलेशन को उपयोगी होने के लिए एक आदर्श डिजिटल ट्विन होने की आवश्यकता नहीं है, बशर्ते वास्तविक डेटा इसे स्थिर करने के लिए मिश्रण में हो। केवल सिम-स्थानांतरण एक महंगा रास्ता है: वही पेपर बताता है कि केवल सिमुलेशन में एक नीति को प्रशिक्षित करना और इसे वास्तविक दुनिया में स्थानांतरित करना अक्सर वास्तविकता के अंतर को पाटने के लिए पर्याप्त मानवीय प्रयास की मांग करता है। सह-प्रशिक्षण उस अधिकांश प्रयास को छोड़ देता है क्योंकि यह नीति को कभी भी अपने दम पर अंतर को बंद करने के लिए नहीं कहता है।

व्यावहारिक रूप से, इस प्लेटफॉर्म पर, सह-प्रशिक्षण का एक ही मतलब है: एपिसोड के दोनों सेटों को एक ही LeRobot डेटासेट में सुसंगत कैमरा कुंजियों, सुसंगत जॉइंट ऑर्डर और सुसंगत इकाइयों के साथ रखें, फिर एक सामान्य फाइन-ट्यून चलाएँ। प्रशिक्षण फॉर्म में कोई मिश्रण-भार नॉब नहीं है। यदि आप 3:1 सिम-टू-रियल अनुपात चाहते हैं, तो आप इसे डेटासेट में प्रत्येक के कितने एपिसोड डालते हैं, उससे व्यक्त करते हैं।

सिमुलेशन से सबसे सस्ता लाभ प्रशिक्षण डेटा नहीं है

यह मूल्यांकन है। दो की तुलना करने के लिए प्रति कार्य दर्जनों वास्तविक परीक्षण चलाना एक दिन का आर्म टाइम है, और आर्म परीक्षणों के बीच ड्रिफ्ट करता है। SIMPLER (ली और सहकर्मी, 2024) ने ऐसे सिमुलेटेड वातावरण बनाए हैं जिनका उद्देश्य वास्तविक नीतियों को प्रशिक्षित करने के बजाय उन्हें स्कोर करना है, और फिर मापा कि सिम रैंकिंग वास्तविक रैंकिंग का कितनी अच्छी तरह अनुमान लगाती है। एक एकल SIMPLER वातावरण उपभोक्ता RTX 4090 पर 640 गुणा 512 रेज़ोल्यूशन पर प्रति सेकंड 3,500 सिमुलेशन स्टेप्स पर रेंडर होता है, जो 500 Hz सिमुलेशन आवृत्ति के तहत वास्तविक मूल्यांकन पर 7x गति वृद्धि है।

ये छह सामान्य ओपन-सोर्स चेकपॉइंट्स के लिए तीन Google Robot कार्य समूहों पर औसत हैं: विभिन्न प्रशिक्षण चरणों में तीन RT-1 चेकपॉइंट्स, RT-1-X, RT-2-X और Octo-Base। वास्तविक पक्ष एक समान परीक्षण गणना नहीं है, जिसे उद्धृत करने से पहले जानना महत्वपूर्ण है: कोक कैन उठाने के लिए 75 परीक्षण, पास ले जाने के लिए 60, दराज खोलने और बंद करने के कार्यों के लिए 54 और लंबे दराज-और-सेब कार्य के लिए 27। Validation MSE के विरुद्ध तुलना उपयोगी हिस्सा है। सत्यापन हानि द्वारा मॉडल चयन इन चेकपॉइंट्स को खराब रैंक देता है, और विज़ुअल मिलान के तहत 0.924 का Pearson r का मतलब है कि यदि कोई चेकपॉइंट SIMPLER में बेहतर स्कोर करता है तो वह बेंच पर बहुत संभवतः बेहतर स्कोर करेगा। यह एक दोहराने योग्य रातोंरात स्कोरबोर्ड है, और इसके लिए आपको सिम-टू-रियल प्रशिक्षण हस्तांतरण के बारे में कुछ भी मानने की आवश्यकता नहीं है।

यदि आप इन बेंचमार्क संख्याओं के बारे में व्यापक संदर्भ जानना चाहते हैं कि वे आपको एक , के बारे में क्या बताते हैं और क्या नहीं बताते हैं, तो हमने उसे अलग से में लिखा है।

यह प्लेटफॉर्म आपकी कहाँ मदद नहीं करता है

सीमा के बारे में स्पष्ट रहना सभी का समय बचाता है। AY-Robots एक रिकॉर्डिंग, प्रशिक्षण और सेवा मंच है। इसमें कोई सिम्युलेटर नहीं है।

• Isaac Lab नहीं, MimicGen नहीं, कोई वर्ल्ड मॉडल नहीं, कोई सीन ऑथरिंग नहीं। यदि आप जेनरेटेड डेटा चाहते हैं, तो आप इसे कहीं और जेनरेट करते हैं और परिणाम लाते हैं।
• ट्रेनर केवल LeRobot डेटासेट का उपभोग करते हैं और कुछ नहीं। एक सिम्युलेटर एक्सपोर्ट को इनपुट बनने से पहले परिवर्तित करना होगा, और यह सही संस्करण का होना चाहिए: GR00T N1.5 और N1.7 के लिए v2.0 या v2.1, Pi0.5, SmolVLA और ACT के लिए v3.0।
• GR00T का फाइन-ट्यूनिंग एंट्री पॉइंट एक tyro CLI है जो कोई सीड एक्सपोज नहीं करता है, इसलिए GR00T रन बिट-फॉर-बिट रिप्रोड्यूसिबल नहीं होते हैं। यदि आप एक सावधानीपूर्वक सिम-बनाम-रियल एब्लेशन चला रहे हैं, तो यह एक वास्तविक सीमा है। lerobot का अपना डिफ़ॉल्ट सीड 1000 है, और ACT, SmolVLA और Pi0.5 फॉर्म एक सीड फ़ील्ड एक्सपोज करते हैं।
• ग्रेडिएंट एक्यूमुलेशन वास्तव में केवल दो GR00T ट्रेनर के लिए लागू होता है। Pi0.5 और SmolVLA के लिए फ़ील्ड फॉर्म में मौजूद है लेकिन lerobot 0.5.1 में ऐसा कोई फ़्लैग नहीं है, इसलिए यह कुछ नहीं करता है।
• तेज़ कार्यों के लिए इन्फरेंस को सर्वो के बगल में बैठना पड़ता है। कंट्रोल लूप मॉडल के आधार पर प्रति एक्शन स्टेप 20 से 485 ms होता है, और सार्वजनिक-इंटरनेट राउंड ट्रिप जोड़ने से एक काम करने वाली पॉलिसी एक हिचकिचाने वाली पॉलिसी में बदल जाती है। रिमोट इन्फरेंस धीमी पिक-एंड-प्लेस के लिए व्यवहार्य है, तेज़ रिएक्टिव मोशन के लिए नहीं।

एक बजट जिसका आप बचाव कर सकते हैं

दोनों रास्तों को उन संख्याओं के साथ अगल-बगल रखें जो प्रत्येक वास्तव में प्रकाशित करता है, और कम लागत वाले आर्म पर एकल-कार्य परियोजना के लिए निर्णय आमतौर पर अपने आप हो जाता है।

SO-100 पर पहली नीति के लिए, रिकॉर्ड करें। और आपको एक कॉफी की कीमत पर एक सर्व्ड चेकपॉइंट तक पहुंचाते हैं, और आपके पास किसी भी भविष्य के सह-प्रशिक्षण मिश्रण का वास्तविक आधा हिस्सा होगा। जब आपके पास एक कार्यशील बेसलाइन और एक विशिष्ट सामान्यीकरण विफलता हो जिसे आप नाम दे सकते हैं, जैसे कि एक नीति जो ।

एक ऐसी विधि जो साक्ष्य का सम्मान करती है

1. 1
   पहले वास्तविक आधारभूत रिकॉर्ड करें

   SmolVLA के लिए 30 एपिसोड, ACT के लिए 50, GR00T N1.7 और Pi0.5 के लिए भी 50। एक बार प्रशिक्षित करें। जिस भी चीज़ में वह नीति विफल रहती है, वही सिंथेटिक डेटा के लिए आपकी विशिष्टता है।

2. 2
   सामान्यीकरण विफलता का नाम बताएं

   वस्तु की मुद्रा? प्रकाश व्यवस्था? मेज की ऊंचाई? विचलित करने वाले? निर्देश का एक अलग वाक्यांश? सिंथेटिक डेटा इनमें से एक समय में केवल एक में अच्छा होता है, और यदि आप यह नहीं बता सकते कि कौन सा, तो यह बेकार है।

3. 3
   सबसे सस्ता परिवार चुनें जो इसे कवर करता है

   मुद्रा और लेआउट भिन्नता: प्रक्षेपवक्र गुणन। प्रकाश और बनावट: पहले छवि संवर्धन, फिर विश्व मॉडल। पूरी तरह से नए दृश्य: भौतिकी रोलआउट, और मॉडलिंग लागत स्वीकार करें।

4. 4
   उत्पन्न करें, फिर आक्रामक रूप से त्याग दें

   उत्पत्ति के प्रयास विफल होते हैं, और Isaac Lab की अपनी उम्मीदवार सफलता दर कार्य के आधार पर 70 प्रतिशत से लेकर 1 प्रतिशत से भी कम तक होती है। केवल सफल, कार्य-पूरा करने वाले प्रक्षेपवक्रों को रखें, और बैच पर भरोसा करने से पहले एक नमूने को वीडियो के रूप में देखें।

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   सह-प्रशिक्षित करें, प्रतिस्थापित न करें

   उत्पन्न किए गए एपिसोड को वास्तविक एपिसोड के साथ एक ही LeRobot डेटासेट में समान कैमरा कुंजियों और संयुक्त क्रम के साथ मर्ज करें। 38 प्रतिशत का आंकड़ा सह-प्रशिक्षण का आंकड़ा है।

6. 6
   वास्तविक भुजा पर मूल्यांकन करें, और केवल वहीं

   सिम्युलेटेड मूल्यांकन एक अच्छा रैंकिंग संकेत है (SIMPLER के विज़ुअल-मैचिंग सेटअप में पियर्सन r 0.924) लेकिन यह स्वीकृति परीक्षण नहीं है। इस पर विश्वास करने से पहले चेकपॉइंट को बेंच पर चलाएं।

यदि आप वास्तविक रिकॉर्डिंग के लिए एक चेकलिस्ट से शुरू करना चाहते हैं, डेटा संग्रह मार्गदर्शिका, कैमरा प्लेसमेंट को कवर करती है, एक्शन चंकिंग के निहितार्थ और विफलता मोड जो एक अनुकरण शिक्षण डेटासेट को अनुपयोगी बनाते हैं। प्रारूप के विवरण डेटासेट दस्तावेज़ों में हैं, और हाइपरपैरामीटर पक्ष प्रशिक्षण दस्तावेज़ों में है।