रोबोट नीतिहरूको लागि सिंथेटिक डेटा: जहाँ सिमुलेशनले मद्दत गर्छ

हरेक केही महिनामा कसैले पत्ता लगाउँछ कि पचास एपिसोडहरू हातले रेकर्ड गर्नु ढिलो हुन्छ, र सोध्छ कि के एक सिमुलेटरले तिनीहरूलाई उत्पादन गर्न सक्छ। यो एक उचित प्रश्न हो। इमानदार जवाफका तीन भाग छन्: उत्पन्न गरिएको डेटाले मद्दत गर्छ, यसले वास्तविक रेकर्डिङहरूलाई प्रतिस्थापन गर्दैन, र ती दुई तथ्यहरू बीचको अनुपात तपाईंले कुन प्रकारको सिंथेटिक डेटा भन्न खोज्नुभएको हो भन्नेमा पूर्ण रूपमा निर्भर गर्दछ।

यो पृष्ठले प्रकाशित कार्यले वास्तवमा के मापन गर्यो, तपाईंले आज कम लागतको आर्ममा जस्तै SO-100, र जहाँ सिम-टु-रियल ग्यापले लाभहरू खान्छ, त्यसको बारेमा बताउँछ। विस्तृत विवरण अघिको छोटो संस्करण: सबैभन्दा ठूलो गुणकहरू रिपोर्ट गर्ने प्रणालीहरूले वास्तविक मानव प्रदर्शनहरूको सानो सेटलाई गुणा गर्छन्। तिनीहरूले तिनीहरूको आवश्यकतालाई हटाउँदैनन्।

चार फरक चीजहरूलाई सिंथेटिक डेटा भनिन्छ

संख्याहरू तुलना गर्नु अघि परिवारहरूलाई अलग गर्नु उपयुक्त हुन्छ, किनभने 100x गुणक रिपोर्ट गर्ने एउटा पेपर र 5 अंकको सफलता वृद्धि रिपोर्ट गर्ने एउटा पेपरले प्रायः एउटै पाइपलाइनलाई फरक-फरक कोणबाट वर्णन गरिरहेका हुन्छन्। साझा कुरा के हो भने LeRobot dataset मेसिनद्वारा उत्पादन गरिएको थियो न कि भौतिक हातबाट रेकर्ड गरिएको। फरक के हो भने कुन भाग।

यस लेखले भन्न खोजेको अर्थमा पहिलो तीन मात्र सिंथेटिक डेटा हुन्। चौथो उल्लेख गर्न लायक छ किनभने यो एउटै कुराकानीमा बन्डल हुन्छ र सूचीमा सबैभन्दा सस्तो चीज हो। यदि तपाईंले आफ्नो प्रशिक्षकसँग आउने वृद्धिहरू पहिले नै सक्रिय गर्नुभएको छैन भने, सिमुलेटर स्थापना गर्नु अघि त्यो गर्नुहोस्।

प्रकाशित संख्याहरूले वास्तवमा के भन्छन्

यहाँ प्रमाण आधार छ, जसमा संख्याहरू स्रोतहरूले भनेअनुसार छन्, प्रेस विज्ञप्तिहरूले सारांशित गरेअनुसार होइन। तलको प्रत्येक पङ्क्ति 23 अगस्त 2026 मा पढिएको एउटा पेपर वा परियोजना पृष्ठबाट लिइएको हो।

प्रत्येक इमानदार एब्लेसनमा ढाँचा उस्तै हुन्छ। सिंथेटिक डेटाले सस्तोमा कभरेज बढाउँछ। यसले तपाईंको ग्रिपर, तपाईंको सर्भो स्याग, तपाईंको प्रकाश वा तपाईंको टेबलको उचाइको बारेमा जानकारी सिर्जना गर्दैन जुन वास्तविक प्रदर्शनहरूमा कतै थिएन। यदि तपाईंको नीति असफल हुन्छ किनभने अन्त-प्रभावकारी आधा सेकेन्ड ढिलो बन्द हुन्छ, कुनै पनि सिमुलेटेड भिन्नताले यसलाई ठीक गर्दैन। त्यो एउटा ग्रिपर समय समस्या वास्तविक रेकर्डिङहरूमा हो।

एक MimicGen खोज तपाईंको आफ्नै रेकर्डिङ सत्रहरूमा लैजान लायक छ, किनभने यसले सामान्य सल्लाहको विरुद्धमा जान्छ। परियोजनाले स्क्वायर D2 मा दुईवटा डेटासेटहरू उत्पन्न गर्‍यो, एउटा राम्रो-गुणस्तरको मानव अपरेटरबाट 10 डेमोहरू सहित र अर्को खराब-गुणस्तरको अपरेटरबाट 10 डेमोहरू सहित, दुवै robomimic बहु-मानव स्क्वायर डेटासेटबाट लिइएका थिए। प्रत्येकमा प्रशिक्षित नीतिहरूले तुलनात्मक परिणामहरू प्राप्त गरे, जसलाई लेखकहरूले ठूलो-स्तरीय डेटा प्रणालीमा डेटाको गुणस्तर त्यति महत्त्वपूर्ण नहुन सक्छ भन्ने संकेतको रूपमा लिए। ध्यानपूर्वक पढ्नुहोस्, त्यो दस बीज प्रदर्शनहरूको बारेमा कथन हो, तपाईंको पचास वास्तविक एपिसोडहरूको बारेमा होइन। यसको अर्थ अलिकति अव्यवस्थित बीज सेट तपाईं र प्रयोगयोग्य उत्पन्न डेटासेटको बीचमा खडा हुने कुरा होइन। यसको अर्थ तपाईंले सह-प्रशिक्षण गर्ने वास्तविक एपिसोडहरू अव्यवस्थित हुन सक्छन् भन्ने होइन, किनभने ती नै हुन् जसले सिम्युलेटरसँग नभएको जानकारी बोक्छन्।

सिम-टु-रियल ग्याप, ठोस रूपमा

यो खाडललाई सामान्यतया एउटै मात्राको रूपमा छलफल गरिन्छ, जुन अनुपयोगी छ। यो कम्तिमा पाँच अलग-अलग बेमेलहरू हुन्, र तिनीहरूको आकार ११० देखि १५० EUR को हबी आर्ममा फ्रान्काको तुलनामा फरक हुन्छ।

• सम्पर्क र घर्षण। आइज्याक ल्याबले स्पष्ट रूपमा भन्छ कि एउटै हार्डवेयर र एउटै आइज्याक सिम र फिजिक्स संस्करण दिएमा सिमुलेशन पुन: उत्पादन गर्न सकिन्छ, तर फ्लोटिंग पोइन्ट परिशुद्धता र राउन्डिङ त्रुटिहरूको कारणले विभिन्न हार्डवेयर कन्फिगरेसनहरूमा परिणामहरू फरक हुन्छन्, र फिजिक्सले कपडा वा नरम शरीरहरू जस्ता गैर-कठोर शरीरहरू भएको कुनै पनि दृश्यको लागि निर्धारणवादको ग्यारेन्टी गर्दैन।
• सञ्चालन। ७.४ V मा चल्ने Feetech STS3215 बस सर्भो लोड अन्तर्गत झुक्छ, ब्याकल्याश हुन्छ, र तातो हुँदा यसको व्यवहार परिवर्तन हुन्छ। SO-101 को लागि MJCF मोडेलले यसको मोटर प्यारामिटरहरू तपाईंको आर्ममा पहिचान गर्नुको सट्टा असम्बन्धित परियोजनाबाट लिन्छ।
• रेन्डरिङ। क्यामेराको आवाज, रोलिङ शटर, अटो-एक्सपोजर, र तपाईंको टेबलको सही रंग रेन्डरमा हुँदैन। यो खाडलको आधा भाग हो जुन Cosmos-Transfer1 बन्द गर्न निर्माण गरिएको थियो: यसको रोबोटिक्स वृद्धि कार्यप्रवाहले एक रोबोटिक्स सिंथेटिक उदाहरणलाई सेगमेन्टेसन, गहिराई वा किनारा कन्डिसनिङबाट धेरै यथार्थवादी उदाहरणहरूमा नक्सा गर्छ।
• समय। एक सिमुलेटर निश्चित दरमा चल्छ। वास्तविक नियन्त्रण लूप चल्दैन, र मोडेल आफैंले तपाईंले कुन रोज्नुभयो भन्ने आधारमा प्रति कार्य चरण २० देखि ४८५ ms खर्च गर्छ। इन्फरेन्स लेटेन्सी हेर्नुहोस्।
• वस्तु तथ्याङ्क। सिमुलेटेड दृश्यहरू कसैले लेखेको वितरणबाट नमूना गरिन्छ। तपाईंको भान्साको टेबल त्यस्तो होइन।

एक सिमुलेटेड SO-100 ले तपाईंको आर्मको बारेमा वास्तवमा के जान्दछ

यो त्यो भाग हो जसले माथिका मध्ये कुनै पनि तपाईंको सप्ताहन्तको लायक छ कि छैन भनेर निर्णय गर्छ, र पहिलो आश्चर्य यो हो कि SO-100 र SO-101 लाई समान रूपमा सेवा दिइँदैन। TheRobotStudio को SO-ARM100 भण्डारले यसको सिमुलेशन सम्पत्तिहरू Simulation/ अन्तर्गत राख्छ। SO100 फोल्डरमा एउटा मात्र URDF फाइल हुन्छ र अरू केही हुँदैन। SO101 फोल्डरमा URDF र MuJoCo दुवै फाइलहरू हुन्छन्: scene.xml, so101_new_calib.xml, so101_old_calib.xml, मिल्दो URDFs र joints_properties.xml। यदि तपाईंलाई किनेमेटिक चेनको सट्टा भौतिकी मोडेल चाहिन्छ भने, तपाईंलाई SO-101 फाइलहरू चाहिन्छ।

तिनीहरू Onshape मा डिजाइन गरिएको CAD मोडेलबाट onshape-to-robot प्लगइनको साथ उत्पन्न गरिएका थिए, जसको अर्थ किनेमेटिक्स र भिजुअल मेशहरू CAD जत्तिकै राम्रा छन्। डाइनामिक्स फरक कथा हो, र भण्डारको आफ्नै README तीन कुराहरूमा स्पष्ट छ। सिमुलेशन र योजनाको क्रममा समस्याग्रस्त टक्कर व्यवहारका कारण आधार टक्कर मेशहरू हटाइयो। STS3215 मोटर गुणहरू Open Duck Mini परियोजनाबाट अनुकूलित गरिएका छन्, SO-101 मा मापन गर्नुको सट्टा। र LeRobot ग्रिपर कन्भेन्सन, जहाँ 0 पूर्ण रूपमा बन्द छ र 100 पूर्ण रूपमा खुला छ, URDF र MuJoCo फाइलहरूमा स्पष्ट रूपमा अझै प्रतिबिम्बित भएको छैन। ती मध्ये प्रत्येक एउटा यस्तो ठाउँ हो जहाँ त्यो मोडेलमा मात्र प्रशिक्षित नीतिले तपाईंको डेस्कमा फरक व्यवहार गर्नेछ।

डोमेन र्यान्डमाइजेसन, र यसले के ठीक गर्दैन

यो अन्तरको मानक उत्तर भनेको वास्तविकतासँग मेल खाने प्रयास गर्न छोड्नु र यसको सट्टा यति फराकिलो वितरणमा प्रशिक्षण दिनु हो कि वास्तविकता यस भित्र पर्छ। टोबिन र सहकर्मीहरूले 2017 मा यसको बलियो संस्करण देखाए: गैर-वास्तविक अनियमित बनावटका साथ सिमुलेटेड छविहरूमा मात्र प्रशिक्षित गरिएको वस्तु डिटेक्टर, वास्तविक छविहरूमा कुनै पूर्व-प्रशिक्षण बिना, वास्तविक वस्तुहरूलाई 1.5 सेन्टिमिटरको शुद्धतामा स्थानीयकृत गर्यो र विचलित गर्ने कारकहरू र आंशिक अवरोधहरूमा बलियो रह्यो।

Isaac Lab ले तपाईंले वातावरण कन्फिगमा संलग्न गर्ने घटना सर्तहरू जस्तै विचार प्रस्तुत गर्दछ। यी isaaclab.envs.mdp मा तिनीहरूको वास्तविक प्रकार्य नामहरूद्वारा नियन्त्रणहरू हुन्, ताकि तपाईं अनुमान गर्नुको सट्टा तिनीहरूलाई पढ्न सक्नुहुन्छ।

यहाँ सीमा छ, र यो त्यही हो जसमा मानिसहरू अल्झिन्छन्। अनियमितताले तपाईंले बनाएको मोडेल भित्र नीतिले देखेको वितरणलाई फराकिलो बनाउँछ। यसले सिमुलेटरले प्रतिनिधित्व नगर्ने भौतिक प्रभाव प्रस्तुत गर्न सक्दैन। यदि PhysX ले तपाईंको STS3215 सर्भोको ब्याकल्याश र थर्मल ड्रुपलाई मोडेल गरिरहेको छैन भने, तिनीहरूको कठोरतालाई अनियमित बनाउनाले नीतिलाई ब्याकल्याशको बारेमा केही सिकाउँदैन। त्यसैले सिमुलेशन-प्रशिक्षित नीति अन्तर्गत काम्छ र त्यसपछि झुक्छ भन्ने पाखुरा अनियमितता-बजेट समस्या होइन। यो एक मोडेलिङ समस्या हो।

म्यानुअल मार्ग: Isaac Lab मा डेटा उत्पन्न गर्दै

Isaac Gym लिगेसी सफ्टवेयर हो। NVIDIA को आफ्नै पृष्ठको शीर्षक "Isaac Gym - अब अप्रचलित" छ र यसले विकासकर्ताहरूले यसलाई डाउनलोड गरी प्रयोग गर्न जारी राख्न सक्ने तर यसलाई अब समर्थन नगरिने, Isaac Lab लाई सट्टामा देखाउँछ। यदि तपाईं इतिहास जान्न चाहनुहुन्छ भने, हामीले दुवैलाई समेटेका छौं: र । सन् २०२६ मा नयाँ कामको लागि, Isaac Lab बाट सुरु गर्नुहोस्।

1. 1
   Isaac Sim र Isaac Lab स्थापना गर्नुहोस्

   पिप स्थापना पृष्ठले निर्देशनहरू Isaac Sim 5.X को लागि हुन् भनी बताउँछ, जसलाई Python 3.11 चाहिन्छ। स्रोत क्लोनले तपाईंलाई अर्को चरणहरूका लागि आवश्यक स्क्रिप्टहरू दिन्छ।

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   लगभग दस मानव प्रदर्शनहरू रेकर्ड गर्नुहोस्

   Isaac Lab को कागजात विशिष्ट छ: निम्न चरणहरू सफल हुनका लागि लगभग १० सफल प्रदर्शनहरू आवश्यक पर्दछ। यसका सुझावहरू पनि उत्तिकै विशिष्ट छन्। प्रदर्शनहरू छोटो राख्नुहोस्, मनमानी अक्षहरूमा नचली सीधा मार्ग लिनुहोस्, र नरोक्नुहोस्, किनकि नीतिलाई किन र कहिले रोक्ने भन्ने स्पष्ट हुँदैन।

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   उपकार्य सीमाहरू एनोटेट गर्नुहोस्

   Mimic ले इनपुट प्रदर्शनहरूलाई उपकार्यहरूमा विभाजन गर्दछ ताकि यसले खण्डहरूलाई पुनः-समय र पुनः-लक्ष्य गर्न सकोस्। --auto फ्ल्यागले स्वचालित एनोटेशन परिभाषित गर्ने कार्यहरूको लागि मानव हस्तक्षेप बिना यो गर्दछ; यस बिना तपाईं B सँग रोक्नुहुन्छ, N सँग जारी राख्नुहुन्छ र S सँग सीमा चिन्ह लगाउनुहुन्छ। ध्यान दिनुहोस् कि कार्य आईडीले -Mimic प्रत्यय प्राप्त गर्दछ।

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   गुणा गरिएको डेटासेट उत्पन्न गर्नुहोस्

   यो त्यो चरण हो जसले १० लाई १००० मा बदल्छ। Mimic ले प्रत्येक उम्मेदवारमा बुलियन सफलता मापदण्ड लागू गर्दछ र कार्य पूरा गर्नेहरूलाई मात्र राख्छ, त्यसैले आउटपुट गणना परीक्षण गणना भन्दा कम हुन्छ। कागजातहरूले सरल अवस्थामा उम्मेदवार सफलता दर ७० प्रतिशतसम्म र कठिन कार्यहरू र जटिल रोबोटहरूको लागि १ प्रतिशतभन्दा कम राख्छन्: Franka क्यूब स्ट्याकको लागि लगभग ५० प्रतिशत, र GR1T2 पिक एन्ड प्लेसको लागि ६५ देखि ८० प्रतिशत, जहाँ १००० डेमोलाई १८ देखि ४० मिनेट लाग्छ (८० प्रतिशतमा RTX ADA 6000 मा १९ मिनेट)।

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5 लाई LeRobot डेटासेटमा रूपान्तरण गर्नुहोस्

   माथिका सबैले robomimic-फ्लेवर्ड HDF5 उत्पादन गर्दछ, र Isaac Lab कोरले आफ्नै LeRobot कनवर्टर पठाउँदैन: यसका कागजातहरूले मात्र भन्छन् कि तपाईंले उत्पन्न गरिएको डेटासेटलाई LeRobot ढाँचामा रूपान्तरण गर्न सक्नुहुन्छ। दुई परियोजनाहरूले वास्तविक कनवर्टर प्रदान गर्छन्। IsaacLab-Arena ले YAML कन्फिगद्वारा पूर्ण रूपमा सञ्चालित GR00T-लक्षित कनवर्टर पठाउँछ, र LeIsaac ले SO-101 मार्गको लागि आफ्नै जोडी पठाउँछ (तल हेर्नुहोस्)।

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

उत्पादन प्रयासहरू किन असफल हुन्छन्, र के परिवर्तन गर्ने

उम्मेदवारको सफलता दर जुन ७० प्रतिशत र १ प्रतिशतभन्दा कमको बीचमा उतारचढाव हुन्छ, त्यो रहस्य होइन, र आइज्याक ल्याबले तपाईंलाई अनुमान गर्न छोड्नुको सट्टा सामान्य त्रुटिहरू दस्तावेज गर्दछ। ती सबै रेकर्डिङको समयमा तपाईंले नियन्त्रण गर्ने कुराहरू हुन्, त्यसैले पहिलो निराशाजनक जेनेरेसन रन पछि भन्दा दस सीड प्रदर्शनहरू रेकर्ड गर्नु अघि यो सूची पढ्नु लाभदायक हुन्छ।

• प्रदर्शनहरू धेरै लामो छन्। लामो समय क्षितिज नीतिलाई सिक्न गाह्रो हुन्छ। पहिलो वस्तुको नजिकबाट सुरु गर्नुहोस् र गतिलाई कम गर्नुहोस्।
• प्रदर्शनहरू चिल्लो छैनन्। अनियमित गति नीतिलाई बुझ्न गाह्रो हुन्छ, र राम्रो टेलिअपरेसन हार्डवेयरले राम्रो डेटा दिन्छ: कागजातहरूले स्पष्ट रूपमा भन्छन् कि स्पेसमाउसले किबोर्डलाई जित्छ।
• विरामहरू। विरामहरू सिक्न गाह्रो हुन्छ, किनभने नीतिलाई किन र कहिले रोक्ने भन्ने स्पष्ट हुँदैन। गतिलाई तरल राख्नुहोस्।
• धेरै उपकार्यहरू। धेरै उपकार्यहरूको अर्थ ट्र्याजेक्टोरी खण्डहरू बीच धेरै सिलाई हुन्छ, जसले कम चिल्लो गति र कम जेनेरेसन सफलता दर दिन्छ। सीमाहरू जहाँ पाखुरा कुनै पनि चीजसँग ठोक्किने सम्भावना कम हुन्छ, त्यहाँ टिप्पणी गर्नुहोस्।
• कुनै कार्य आवाज छैन। कार्य आवाजले परिणामी नीतिहरूलाई अझ बलियो बनाउँछ।
• रेकर्डिङ धेरै कडा काटिएको। यदि रेकर्डिङ सफलताको सर्त ट्रिगर हुने ठ्याक्कै फ्रेममा रोकिन्छ भने, यो रिप्लेको समयमा पुन: ट्रिगर नहुन सक्छ। अन्त्यमा बफर छोड्नुहोस्।
• गैर-निर्धारित रिप्ले। आइज्याक ल्याबमा भौतिक विज्ञान env.reset भरि निश्चित रूपमा पुन: उत्पादन योग्य छैन, त्यसैले केही मानव डेमोहरू रिप्लेमा असफल हुन्छन्। तपाईंलाई आवश्यक भन्दा बढी सङ्कलन गर्नुहोस् र एनोटेशनबाट बच्नेहरूलाई राख्नुहोस्। Mimic-उत्पन्न HDF5 फाइलमा पर्ने सबै कुरा एक सफल डेमो हो र रिप्ले पछि असफल भए पनि प्रशिक्षणको लागि प्रयोग गर्न सकिन्छ।

सिलाई गरिएका उपकार्य खण्डहरू बीचको इन्टरपोलेसन चरणको आफ्नै ट्युनिङ नब हुन्छ, र तपाईंलाई आवश्यक पर्ने इन्टरपोलेसन चरणहरूको संख्या रोबोट कति छिटो चल्छ र वस्तु रिसेट वितरण कति फराकिलो छ भन्नेमा निर्भर गर्दछ। ठूलो रिसेट वितरण भएको जटिल कार्यले खण्डहरू बीच ठूला खाली ठाउँहरू छोड्छ, जसलाई निरन्तर गतिमा आउन थप इन्टरपोलेसन चरणहरू चाहिन्छ। यदि तपाईंको उत्पन्न भिडियोहरूले पाखुरा चरणहरू बीच लर्किरहेको देखाउँछ भने, सीड डेमोहरूलाई दोष दिनु अघि हेर्नुपर्ने प्यारामिटर त्यो हो।

SO-101 मा उही पाइपलाइन, वास्तविक नेता पाखुराको साथ

यो यस पृष्ठ पढ्ने जो कोहीका लागि पनि रोचक छ, किनकि यो एक मात्र खुला पाइपलाइन हो जसले Isaac Lab भित्र राख्छ र तपाईंले पहिले नै स्वामित्वमा रहेको भौतिक लिडर आर्मले यसलाई चलाउन दिन्छ। लेख्ने समयमा LeIsaac, संस्करण 0.4.0, LeRobot को EnvHub मा एकीकृत आधिकारिक नक्कल-सिकाइ सिमुलेशन प्लेग्राउन्ड हो। यसको अनुकूलता तालिकाले तीनवटा कार्यशील संयोजनहरू सूचीबद्ध गर्दछ; सबैभन्दा नयाँले Isaac Sim 5.1 लाई Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 र Python 3.11 सँग जोड्छ, र कागजातहरूले 50-श्रृंखला कार्डहरूको लागि Isaac Sim 5.0 वा नयाँ सिफारिस गर्दछ।

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

त्यो स्थापित भएपछि, /dev/ttyACM0 मा रहेको लिडर आर्मले सिमुलेटेड फलोअरलाई चलाउँछ र सिधै HDF5 मा रेकर्ड गर्छ। लूप वास्तविक रेकर्डिङबाट तपाईंले पहिले नै थाहा पाएको जस्तै हो, केवल फलोअर PhysX मा एक कठोर शरीर हो।

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

ती मध्ये धेरै ID हरू -Direct-v0 भेरियन्टको रूपमा पनि अवस्थित छन्, र python scripts/environments/list_envs.py ले हालको सूची प्रिन्ट गर्दछ। तपाईं HDF5 को बाटो पूर्ण रूपमा छोडेर तीनवटा झण्डा थपेर टेलिअपरेसनको समयमा LeRobot ढाँचामा लेख्न सक्नुहुन्छ। दुईवटा चेतावनीहरू कागजातबाटै आउँछन्: रेकर्डरले प्रारम्भिक अवस्थाहरूबाट अस्थिरताबाट बच्न प्रत्येक एपिसोडको पहिलो ५ फ्रेमहरू स्वचालित रूपमा छोड्छ, र यसले टेलिअपरेसनमा हल्का ढिलाइ गराउन सक्छ, जुन तपाईंको प्रदर्शनको चरित्रलाई चुपचाप परिवर्तन गर्ने कुरा हो। यसले कार्य सफल भएको चिन्ह लगाइएका एपिसोडहरू मात्र फ्लश गर्दछ।

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

गुणन चरण त्यसपछि ती रेकर्डिङहरूमा चल्छ। LeIsaac ले Isaac Lab Mimic लाई चार आदेशहरूमा समेट्छ, किनभने Mimic ले अन्तिम-प्रभावकारी र वस्तुको पोजबाट ट्र्याजेक्टरीहरू सामान्यीकरण गर्दछ: जोइन्ट-स्पेस कार्यहरूलाई IK-आधारित कार्यहरूमा रूपान्तरण गर्नुहोस्, एनोटेट गर्नुहोस्, उत्पन्न गर्नुहोस्, त्यसपछि जोइन्ट स्पेसमा फिर्ता रूपान्तरण गर्नुहोस्।

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

त्यसपछि LeRobot मा रूपान्तरण गर्नुहोस्। यो त्यो चरण हो जहाँ प्लेटफर्मको ढाँचा नियमले असर गर्छ, र LeIsaac ले तपाईंलाई चाहिने दुईवटा कन्भर्टरहरू उपलब्ध गराउँछ: isaaclab2lerobot.py ले LeRobot v2 लेख्छ, जुन GR00T लोडरहरूले लिन्छन्, र isaaclab2lerobotv3.py ले v3 लेख्छ Pi0.5, SmolVLA र ACT। दुई स्क्रिप्टहरूले समान तर्कहरू लिन्छन् तर फरक lerobot संस्करणहरू प्रयोग गर्छन्, र सफल एपिसोडहरू मात्र रूपान्तरण गरिन्छन्।

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

प्रशिक्षित नीतिमा पुग्ने दुई मार्गहरू

भिडियो विश्व मोडेलहरू: सबैभन्दा नयाँ तह, र सबैभन्दा कम मापन गरिएको

DreamGen पछाडिको विचार यो हो कि एक भिडियो जेनेरेटिभ मोडेल, लक्षित रोबोटको अवतारमा अनुकूलित, तपाईंले कहिल्यै भ्रमण नगरेका दृश्यहरूमा सम्भावित एपिसोडहरू कल्पना गर्न सक्छ। पाइपलाइनमा चार चरणहरू छन्: भिडियो विश्व मोडेललाई फाइन-ट्यून गर्ने, फोटोरियलिस्टिक सिंथेटिक रोबोट भिडियोहरू उत्पन्न गर्ने, लुकेको कार्य मोडेल वा उल्टो गतिशीलता मोडेलको साथ छद्म-कार्य अनुक्रमहरू पुन: प्राप्त गर्ने, त्यसपछि परिणाममा रोबोट नीतिलाई तालिम दिने। NVIDIA को GR00T-dreams भण्डारले ठ्याक्कै त्यही लागू गर्दछ।

मुख्य नतिजा वास्तविक छ र यसलाई गम्भीरतापूर्वक लिन लायक छ: एउटै वातावरणमा एउटा मात्र पिक-एन्ड-प्लेस कार्यबाट प्राप्त टेलिओपरेशन डेटाले मानवोइडमा, देखिएका र नदेखिएका दुवै वातावरणमा २२ नयाँ व्यवहारहरू उत्पादन गर्‍यो। चेतावनी पनि उत्तिकै वास्तविक छ र तेस्रो चरणमा पर्छ।

सह-प्रशिक्षण नै वास्तविक लाभ देखाउने विधि हो

साहित्यबाट एउटा मात्र परिचालन पाठ सिक्नुहुन्छ भने, यो सिक्नुहोस्। सिम-र-वास्तविक सह-प्रशिक्षण अध्ययन (मद्दुकुरी र सहकर्मीहरू, २०२५) ले दृष्टि-आधारित रोबोटिक हेरफेर कार्यहरू समाधान गर्न सिमुलेशन डेटा प्रयोग गर्ने एउटा सरल विधि पत्ता लगाउन सुरु गर्यो, दुई डोमेनहरूमा, एउटा रोबोट पाखुरा र एउटा ह्युमनोइड, र यसको निष्कर्ष यो हो कि तपाईंले मिश्रणमा प्रशिक्षण दिनुहोस्। सिमुलेशन डेटाले वास्तविक-विश्व कार्य प्रदर्शनलाई औसत ३८ प्रतिशतले बढायो, र पेपरले स्पष्ट रूपमा भन्छ कि यो सिमुलेशन र वास्तविक-विश्व डेटा बीच उल्लेखनीय भिन्नताहरू हुँदा पनि कायम रह्यो।

त्यो अन्तिम खण्ड ३८ प्रतिशत भन्दा बढी महत्त्वपूर्ण छ। यसको अर्थ सिमुलेशन उपयोगी हुनको लागि पूर्ण डिजिटल ट्विन हुनुपर्दैन, यदि वास्तविक डेटा यसलाई स्थिर गर्न मिश्रणमा छ भने। सिम-मात्र स्थानान्तरण महँगो मार्ग हो: सोही पेपरले भन्छ कि नीतिलाई सिमुलेशनमा मात्र प्रशिक्षण दिनु र यसलाई वास्तविक संसारमा स्थानान्तरण गर्दा वास्तविकताको अन्तरलाई कम गर्न प्रायः पर्याप्त मानवीय प्रयास चाहिन्छ। सह-प्रशिक्षणले नीतिलाई आफैंले अन्तर बन्द गर्न नसोधी धेरैजसो प्रयासलाई छोड्छ।

व्यावहारिक रूपमा, यस प्लेटफर्ममा, सह-प्रशिक्षणको अर्थ एउटै कुरा हो: दुवै एपिसोड सेटहरू एउटैमा राख्नुहोस् LeRobot dataset सुसंगत क्यामेरा कुञ्जीहरू, सुसंगत जोइन्ट अर्डर र सुसंगत एकाइहरूसँग, त्यसपछि सामान्य चलाउनुहोस् फाइन-ट्यून। प्रशिक्षण फारममा कुनै मिश्रण-वजन नब छैन। यदि तपाईं 3:1 सिम-टु-रियल अनुपात चाहनुहुन्छ भने, तपाईंले प्रत्येकका कति एपिसोडहरू डेटासेटमा राख्नुहुन्छ भन्ने कुराले त्यसलाई व्यक्त गर्नुहुन्छ।

सिमुलेशनबाट सबैभन्दा सस्तो जित प्रशिक्षण डेटा होइन

यो मूल्याङ्कन हो। दुईवटा तुलना गर्न प्रत्येक कार्यका लागि दर्जनौं वास्तविक परीक्षणहरू चलाउनु एक दिनको आर्म समय हो, र आर्म परीक्षणहरू बीचमा सर्छ। SIMPLER (ली र सहकर्मीहरू, २०२४) ले सिमुलेटेड वातावरणहरू निर्माण गर्‍यो जसको उद्देश्य वास्तविक नीतिहरूलाई प्रशिक्षण दिनुको सट्टा स्कोर गर्नु हो, र त्यसपछि सिम र्याङ्किङले वास्तविकलाई कति राम्रोसँग भविष्यवाणी गर्छ भनेर नाप्यो। एउटा SIMPLER वातावरणले उपभोक्ता RTX 4090 मा 640 बाइ 512 रिजोल्युसनमा प्रति सेकेन्ड 3,500 सिमुलेशन स्टेप्स रेन्डर गर्छ, जुन 500 Hz सिमुलेशन फ्रिक्वेन्सी अन्तर्गत वास्तविक मूल्याङ्कन भन्दा 7 गुणा छिटो छ।

ती छवटा सामान्य खुला स्रोत चेकपोइन्टहरूका लागि तीनवटा Google Robot कार्य समूहहरूमा औसत हुन्: विभिन्न प्रशिक्षण चरणहरूमा तीनवटा RT-1 चेकपोइन्टहरू, RT-1-X, RT-2-X र Octo-Base। वास्तविक पक्ष एक समान परीक्षण गणना होइन, जुन उद्धृत गर्नु अघि जान्न लायक छ: कोक क्यान उठाउनका लागि 75 परीक्षण, नजिक सार्नका लागि 60, दराज खोल्ने र बन्द गर्ने कार्यहरूका लागि 54 र लामो दराज-र-स्याउ कार्यका लागि 27। मान्यता MSE विरुद्धको तुलना उपयोगी भाग हो। मान्यता हानिद्वारा मोडेल चयनले यी चेकपोइन्टहरूलाई नराम्रोसँग क्रमबद्ध गर्छ, र भिजुअल मिलान अन्तर्गत 0.924 को पियर्सन r को अर्थ हो कि यदि कुनै चेकपोइन्टले SIMPLER मा राम्रो स्कोर गर्छ भने यसले बेन्चमा धेरै सम्भावना राम्रो स्कोर गर्छ। त्यो एक दोहोर्याउन मिल्ने रातभरको स्कोरबोर्ड हो, र यसले तपाईंलाई सिम-टु-रियल प्रशिक्षण स्थानान्तरणको बारेमा केही पनि विश्वास गर्न आवश्यक पर्दैन।

यी बेन्चमार्क संख्याहरूले भिजन-भाषा-कार्य मोडेलको बारेमा के बताउँछन् र के बताउँदैनन् भन्ने बारे विस्तृत जानकारी चाहनुहुन्छ भने, हामीले त्यसलाई छुट्टै VLA सिंहावलोकनमा लेखेका छौं।

यो प्लेटफर्मले तपाईंलाई कहाँ मद्दत गर्दैन

सीमाबारे स्पष्ट हुनुले सबैको समय बचाउँछ। AY-Robots एउटा रेकर्डिङ, तालिम र सेवा प्रदान गर्ने प्लेटफर्म हो। यसमा कुनै सिमुलेटर छैन।

• कुनै Isaac Lab छैन, कुनै MimicGen छैन, कुनै विश्व मोडेल छैन, कुनै दृश्य लेखन छैन। यदि तपाईं उत्पन्न डाटा चाहनुहुन्छ भने, तपाईं यसलाई अन्यत्र उत्पन्न गर्नुहुन्छ र परिणाम ल्याउनुहुन्छ।
• प्रशिक्षकहरूले LeRobot डेटासेटहरू मात्र उपभोग गर्छन्। एक सिम्युलेटर निर्यातलाई इनपुट हुनु अघि रूपान्तरण गर्नुपर्छ, र यो सही संस्करण हुनुपर्छ: GR00T N1.5 र N1.7 को लागि v2.0 वा v2.1, Pi0.5, SmolVLA र ACT को लागि v3.0।
• GR00T को फाइन-ट्यूनिङ प्रवेश बिन्दु एक tyro CLI हो जसले कुनै सीड देखाउँदैन, त्यसैले GR00T रनहरू बिट-फर-बिट पुनरुत्पादन योग्य छैनन्। यदि तपाईं सावधानीपूर्वक सिम-बनाम-वास्तविक एब्लेसन चलाउँदै हुनुहुन्छ भने, त्यो एक वास्तविक सीमा हो। lerobot को आफ्नै पूर्वनिर्धारित सीड 1000 हो, र ACT, SmolVLA र Pi0.5 फारमहरूले सीड फिल्ड देखाउँछन्।
• ग्रेडियन्ट संचय केवल दुई GR00T प्रशिक्षकहरूको लागि मात्र लागू हुन्छ। Pi0.5 र SmolVLA को लागि फिल्ड फारममा अवस्थित छ तर lerobot 0.5.1 मा त्यस्तो कुनै फ्ल्याग छैन, त्यसैले यसले केही गर्दैन।
• छिटो कार्यहरूको लागि अनुमान सर्भोको छेउमा बस्नुपर्छ। नियन्त्रण लूप मोडेलमा निर्भर गर्दै प्रति कार्य चरण 20 देखि 485 ms हुन्छ, र सार्वजनिक-इन्टरनेट राउन्ड ट्रिपहरू थप्दा काम गर्ने नीतिलाई हिचकिचाउने नीतिमा परिणत गर्दछ। रिमोट अनुमान ढिलो पिक-एन्ड-प्लेसको लागि सम्भव छ, छिटो प्रतिक्रियात्मक गतिको लागि होइन।

तपाईंले रक्षा गर्न सक्ने बजेट

दुई मार्गहरूलाई प्रत्येकले वास्तवमा प्रकाशित गर्ने संख्याहरूसँग सँगै राख्नुहोस्, र कम लागतको हातमा एकल-कार्य परियोजनाको लागि निर्णय सामान्यतया आफैं हुन्छ।

SO-100 मा पहिलो नीतिको लागि, रेकर्ड गर्नुहोस्। र ले तपाईंलाई कफीको मूल्यमा एक सेवा गरिएको चेकपोइन्टमा पुर्‍याउँछ, र तपाईंसँग भविष्यको कुनै पनि सह-तालिम मिश्रणको वास्तविक आधा भाग हुनेछ। तपाईंसँग काम गर्ने आधाररेखा र तपाईंले नाम दिन सक्ने एक विशिष्ट सामान्यीकरण विफलता हुँदा सिमुलेटर प्रयोग गर्नुहोस्, जस्तै एउटा नीति जुन ।

प्रमाणलाई सम्मान गर्ने एउटा विधि

1. 1
   पहिले वास्तविक आधारभूत रेकर्ड गर्नुहोस्

   SmolVLA का लागि 30 एपिसोड, ACT का लागि 50, GR00T N1.7 र Pi0.5 का लागि पनि 50। एक पटक तालिम दिनुहोस्। त्यो नीतिले जेमा असफल हुन्छ, त्यही नै तपाईंको सिंथेटिक डेटाको लागि विशिष्टता हो।

2. 2
   सामान्यीकरण असफलताको नाम दिनुहोस्

   वस्तुको स्थिति? प्रकाश? टेबलको उचाइ? विचलित गर्ने वस्तुहरू? निर्देशनको फरक वाक्यांश? सिंथेटिक डेटा एक पटकमा यी मध्ये एउटामा मात्र राम्रो हुन्छ, र यदि तपाईंले कुन हो भन्न सक्नुहुन्न भने यो बेकार हुन्छ।

3. 3
   यसलाई समेट्ने सबैभन्दा सस्तो परिवार छान्नुहोस्

   स्थिति र लेआउट भिन्नता: ट्र्याजेक्टोरी गुणन। प्रकाश र बनावट: पहिले छवि वृद्धि, दोस्रोमा विश्व मोडेल। पूर्ण नयाँ दृश्यहरू: भौतिकी रोलआउटहरू, र मोडेलिङ लागत स्वीकार गर्नुहोस्।

4. 4
   उत्पन्न गर्नुहोस्, त्यसपछि आक्रामक रूपमा फ्याँक्नुहोस्

   उत्पन्न गर्ने प्रयासहरू असफल हुन्छन्, र Isaac Lab को आफ्नै उम्मेदवार सफलता दर कार्य अनुसार 70 प्रतिशतबाट 1 प्रतिशत भन्दा कममा झर्छ। केवल सफल, कार्य-पूरा गर्ने ट्र्याजेक्टोरीहरू राख्नुहोस्, र ब्याचमा विश्वास गर्नु अघि भिडियोको रूपमा नमूनालाई आँखाले हेर्नुहोस्।

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   सह-तालिम दिनुहोस्, प्रतिस्थापन नगर्नुहोस्

   उत्पन्न गरिएका एपिसोडहरूलाई वास्तविक एपिसोडहरूसँग एउटै LeRobot डेटासेटमा समान क्यामेरा कुञ्जीहरू र जोइन्ट अर्डरिंगका साथ मर्ज गर्नुहोस्। 38 प्रतिशतको आंकडा सह-तालिमको आंकडा हो।

6. 6
   वास्तविक हातमा मूल्याङ्कन गर्नुहोस्, र त्यहाँ मात्र

   सिमुलेटेड मूल्याङ्कन एक राम्रो र्याङ्किङ संकेत हो (SIMPLER को भिजुअल-म्याचिङ सेटअपमा Pearson r 0.924) तर यो स्वीकृति परीक्षण होइन। यसमा विश्वास गर्नु अघि बेन्चमा चेकपोइन्ट चलाउनुहोस्।

यदि तपाईं वास्तविक रेकर्डिङहरूका लागि चेकलिस्टबाट सुरु गर्न चाहनुहुन्छ भने, क्यामेरा प्लेसमेन्ट, का प्रभावहरू र असफलता मोडहरू जसले एक डेटासेटलाई अनुपयोगी बनाउँछ। ढाँचाको विवरणहरू मा छन्, र हाइपरप्यारामिटर पक्ष मा छन्।