रोबोट धोरणांसाठी कृत्रिम डेटा: जिथे सिम्युलेशन मदत करते

दर काही महिन्यांनी कोणीतरी हे लक्षात घेतो की पन्नास एपिसोड हाताने रेकॉर्ड करणे संथ आहे, आणि विचारतो की सिम्युलेटर त्याऐवजी ते तयार करू शकते का. हा एक योग्य प्रश्न आहे. प्रामाणिक उत्तराचे तीन भाग आहेत: तयार केलेला डेटा मदत करतो, तो वास्तविक रेकॉर्डिंगची जागा घेत नाही, आणि या दोन तथ्यांमधील गुणोत्तर तुम्ही कोणत्या प्रकारच्या सिंथेटिक डेटाचा अर्थ लावता यावर पूर्णपणे अवलंबून असते.

हे पृष्ठ प्रकाशित कामात प्रत्यक्षात काय मोजले गेले, तुम्ही आज SO-100 सारख्या कमी किमतीच्या आर्मवर काय चालवू शकता, आणि सिम-टू-रिअल गॅप कुठे फायदे खाऊन टाकते हे स्पष्ट करते. तपशिलापूर्वीची थोडक्यात आवृत्ती: सर्वात मोठे मल्टीप्लायर नोंदवणारे सिस्टम वास्तविक मानवी प्रदर्शनांच्या लहान संचाला गुणाकार करतात. ते त्यांची गरज दूर करत नाहीत.

चार वेगवेगळ्या गोष्टींना सिंथेटिक डेटा म्हटले जाते

संख्यांची तुलना करण्यापूर्वी, कुटुंबांना वेगळे करणे महत्त्वाचे आहे, कारण 100x गुणक (multiplier) नोंदवणारा एक पेपर आणि 5 पॉइंट यश वाढ नोंदवणारा दुसरा पेपर अनेकदा एकाच पाइपलाइनचे वर्णन वेगवेगळ्या दृष्टिकोनातून करत असतात. सामान्य धागा असा आहे की, LeRobot डेटासेट हे भौतिक हाताने रेकॉर्ड करण्याऐवजी मशीनद्वारे तयार केले गेले होते. फरक कोणत्या भागात आहे हे महत्त्वाचे आहे.

या लेखाचा अर्थ आहे त्याप्रमाणे, पहिले तीनच सिंथेटिक डेटा आहेत. चौथे नमूद करण्यासारखे आहे कारण ते त्याच संभाषणात समाविष्ट केले जाते आणि यादीतील सर्वात स्वस्त गोष्ट आहे. जर तुम्ही तुमच्या ट्रेनरसोबत येणारे ऑगमेंटेशन्स आधीच चालू केले नसतील, तर सिम्युलेटर स्थापित करण्यापूर्वी ते करा.

प्रकाशित आकडेवारी प्रत्यक्षात काय सांगते

येथे पुरावा आधार आहे, ज्यामध्ये आकडेवारी स्त्रोतांनी सांगितल्याप्रमाणे आहे, प्रेस रिलीझमध्ये सारांशित केल्याप्रमाणे नाही. खालील प्रत्येक पंक्ती 23 ऑगस्ट 2026 रोजी वाचलेल्या पेपर किंवा प्रोजेक्ट पेजमधून आली आहे.

प्रत्येक प्रामाणिक ॲब्लेशनमधील नमुना सारखाच असतो. सिंथेटिक डेटा स्वस्तात कव्हरेज वाढवतो. तो तुमच्या ग्रिपरबद्दल, तुमच्या सर्वो सॅगबद्दल, तुमच्या लाइटिंगबद्दल किंवा तुमच्या टेबलाच्या उंचीबद्दल अशी माहिती तयार करत नाही जी वास्तविक प्रदर्शनांमध्ये कुठेतरी नव्हती. जर तुमची पॉलिसी अयशस्वी होते कारण एंड इफेक्टर अर्धा सेकंद उशिरा बंद होतो, तर कितीही सिम्युलेटेड भिन्नता ते दुरुस्त करू शकत नाही. ती एक ग्रिपर टाइमिंग समस्या वास्तविक रेकॉर्डिंगमधील आहे.

MimicGen चा एक निष्कर्ष तुमच्या स्वतःच्या रेकॉर्डिंग सत्रांमध्ये वापरण्यासारखा आहे, कारण तो नेहमीच्या सल्ल्याच्या विरुद्ध आहे. या प्रकल्पाने Square D2 वर दोन डेटासेट तयार केले, एक चांगल्या-गुणवत्तेच्या मानवी ऑपरेटरच्या 10 डेमोसह आणि दुसरा कमी-गुणवत्तेच्या ऑपरेटरच्या 10 डेमोसह, दोन्ही robomimic मल्टी-ह्यूमन स्क्वेअर डेटासेटमधून घेतले होते. प्रत्येकावर प्रशिक्षित केलेल्या पॉलिसींनी तुलनात्मक परिणाम साधले, ज्याला लेखकांनी मोठ्या प्रमाणात डेटाच्या परिस्थितीत डेटाची गुणवत्ता तितकी महत्त्वाची नसते याचे लक्षण मानले. काळजीपूर्वक वाचा, हे दहा सीड प्रदर्शनांबद्दलचे विधान आहे, तुमच्या पन्नास वास्तविक एपिसोड्सबद्दल नाही. याचा अर्थ असा की थोडासा खराब सीड सेट तुमच्या आणि वापरण्यायोग्य जनरेटेड डेटासेटमध्ये अडथळा नाही. याचा अर्थ असा नाही की तुम्ही ज्या वास्तविक एपिसोड्सवर सह-प्रशिक्षण करता ते खराब असू शकतात, कारण तेच सिम्युलेटरकडे नसलेली माहिती घेऊन जातात.

सिम-टू-रिअल गॅप, प्रत्यक्षात

ही तफावत सहसा एकच प्रमाण म्हणून चर्चिली जाते, जे निरुपयोगी आहे. यात किमान पाच वेगवेगळ्या विसंगती आहेत आणि 110 ते 150 EUR च्या हॉबी आर्मवर त्यांचे आकार फ्रँकावरील आकारांपेक्षा भिन्न असतात.

• संपर्क आणि घर्षण. आयझॅक लॅब स्पष्टपणे सांगते की समान हार्डवेअर आणि समान आयझॅक सिम आणि फिझएक्स आवृत्ती दिल्यास सिम्युलेशन पुनरुत्पादित करता येते, परंतु फ्लोटिंग पॉइंट अचूकता आणि राउंडिंग त्रुटींमुळे वेगवेगळ्या हार्डवेअर कॉन्फिगरेशनमध्ये परिणाम भिन्न असतात आणि फिझएक्स कापड किंवा सॉफ्ट बॉडीसारख्या नॉन-रिजिड बॉडी असलेल्या कोणत्याही दृश्यासाठी निश्चिततेची हमी देत नाही.
• क्रियान्वयन. 7.4 V वर चालणारे Feetech STS3215 बस सर्वो लोडखाली झुकते, त्यात बॅकलॅश असतो आणि ते गरम झाल्यावर त्याचे वर्तन बदलते. SO-101 साठीचे MJCF मॉडेल तुमच्या आर्मवर मोटर पॅरामीटर्स ओळखण्याऐवजी एका असंबंधित प्रकल्पातून ते घेते.
• रेंडरिंग. कॅमेरा आवाज, रोलिंग शटर, ऑटो-एक्सपोजर आणि तुमच्या टेबलाचा अचूक रंग रेंडरमध्ये नसतो. ही तफावतीचा तो अर्धा भाग आहे जो Cosmos-Transfer1 बंद करण्यासाठी तयार केला गेला होता: त्याची रोबोटिक्स ऑगमेंटेशन वर्कफ्लो एका रोबोटिक्स सिंथेटिक उदाहरणाला सेगमेंटेशन, डेप्थ किंवा एज कंडिशनिंगमधून अनेक वास्तविक उदाहरणांमध्ये मॅप करते.
• वेळेचे नियोजन. एक सिम्युलेटर निश्चित दराने पाऊले टाकते. एक वास्तविक नियंत्रण लूप तसे करत नाही आणि तुम्ही निवडलेल्या मॉडेलनुसार प्रत्येक कृतीसाठी 20 ते 485 ms खर्च येतो. इन्फरन्स लेटन्सी पहा.
• वस्तूंची आकडेवारी. सिम्युलेटेड दृश्ये कोणीतरी लिहिलेल्या वितरणातून नमुने म्हणून घेतली जातात. तुमचे स्वयंपाकघरातील टेबल तसे नसते.

सिम्युलेटेड SO-100 ला तुमच्या आर्मबद्दल प्रत्यक्षात काय माहिती आहे

हा तो भाग आहे जो वरीलपैकी काही तुमच्या वीकेंडसाठी योग्य आहे की नाही हे ठरवतो आणि पहिले आश्चर्य म्हणजे SO-100 आणि SO-101 यांना समान सेवा दिली जात नाही. TheRobotStudio च्या SO-ARM100 रिपॉझिटरीमध्ये तिचे सिम्युलेशन ॲसेट्स Simulation/ अंतर्गत ठेवलेले आहेत. SO100 फोल्डरमध्ये एकच URDF फाइल आहे आणि दुसरे काहीही नाही. SO101 फोल्डरमध्ये URDF आणि MuJoCo दोन्ही फाइल्स आहेत: scene.xml, so101_new_calib.xml, so101_old_calib.xml, जुळणाऱ्या URDFs आणि joints_properties.xml. जर तुम्हाला कायनेटिक चेनऐवजी फिजिक्स मॉडेल हवे असेल, तर तुम्हाला SO-101 फाइल्स हव्या आहेत.

ते Onshape मध्ये डिझाइन केलेल्या CAD मॉडेलमधून onshape-to-robot प्लगइन वापरून तयार केले गेले होते, याचा अर्थ किनेमॅटिक्स आणि व्हिज्युअल मेश CAD इतकेच चांगले आहेत. डायनॅमिक्स ही एक वेगळी गोष्ट आहे आणि रिपॉझिटरीच्या स्वतःच्या README मध्ये तीन गोष्टींबद्दल स्पष्टपणे सांगितले आहे. सिम्युलेशन आणि प्लॅनिंग दरम्यान समस्याप्रधान टक्कर वर्तनामुळे बेस टक्कर मेश काढले गेले. STS3215 मोटरचे गुणधर्म SO-101 वर मोजण्याऐवजी Open Duck Mini प्रकल्पातून घेतले आहेत. आणि LeRobot ग्रिपरची परंपरा, जिथे 0 पूर्णपणे बंद आहे आणि 100 पूर्णपणे उघडे आहे, ते URDF आणि MuJoCo फाइल्समध्ये अद्याप स्पष्टपणे प्रतिबिंबित झालेले नाही. यापैकी प्रत्येक अशी जागा आहे जिथे त्या मॉडेलमध्ये पूर्णपणे प्रशिक्षित केलेली पॉलिसी तुमच्या डेस्कवर वेगळ्या प्रकारे वागेल.

डोमेन रँडमायझेशन आणि ते काय दुरुस्त करत नाही

या अंतरावरचे मानक उत्तर म्हणजे वास्तवाशी जुळवून घेण्याचा प्रयत्न थांबवणे आणि त्याऐवजी इतक्या विस्तृत वितरणावर प्रशिक्षण देणे की वास्तव त्यात समाविष्ट होईल. टोबिन आणि सहकाऱ्यांनी 2017 मध्ये याची एक मजबूत आवृत्ती दर्शविली: केवळ अवास्तविक यादृच्छिक पोतांसह सिम्युलेटेड प्रतिमांवर प्रशिक्षित केलेला ऑब्जेक्ट डिटेक्टर, वास्तविक प्रतिमांवर कोणतेही पूर्व-प्रशिक्षण नसतानाही, वास्तविक वस्तू 1.5 सेमीच्या अचूकतेने शोधू शकला आणि विचलित करणाऱ्या गोष्टी आणि आंशिक अडथळ्यांना प्रतिरोधक राहिला.

इसाक लॅब (Isaac Lab) त्याच कल्पनांना उघड करते ज्या तुम्ही पर्यावरण कॉन्फिगमध्ये जोडलेल्या इव्हेंट टर्म्सप्रमाणे आहेत. हे नॉब्स त्यांच्या वास्तविक फंक्शन नावांनी आहेत isaaclab.envs.mdp, जेणेकरून तुम्ही त्यांचा अंदाज लावण्याऐवजी त्यांना वाचू शकता.

ही मर्यादा आहे, आणि लोक याच गोष्टीवर अडखळतात. रँडमायझेशन (Randomization) तुम्ही तयार केलेल्या मॉडेलमध्ये पॉलिसीने पाहिलेल्या वितरणाला विस्तृत करते. सिम्युलेटर ज्या भौतिक परिणामाचे प्रतिनिधित्व करत नाही, तो परिणाम ते सादर करू शकत नाही. जर PhysX तुमच्या STS3215 सर्व्होच्या बॅकलॅश आणि थर्मल ड्रूपचे मॉडेलिंग करत नसेल, तर त्यांची कडकपणा रँडमायझेशन केल्याने पॉलिसीला बॅकलॅशबद्दल काहीही शिकायला मिळत नाही. म्हणूनच, सिम-प्रशिक्षित पॉलिसीखाली असा हात रँडमायझेशन-बजेटची समस्या नाही. ही मॉडेलिंगची समस्या आहे.

मॅन्युअल मार्ग: इसाक लॅबमध्ये डेटा तयार करणे

आयझॅक जिम हे जुने सॉफ्टवेअर आहे. NVIDIA च्या स्वतःच्या पानावर "Isaac Gym - आता अप्रचलित" असे शीर्षक आहे आणि त्यात म्हटले आहे की विकसक ते डाउनलोड करून वापरणे सुरू ठेवू शकतात, परंतु त्याला यापुढे समर्थन दिले जाणार नाही, त्याऐवजी Isaac Lab कडे निर्देश केले आहे. तुम्हाला इतिहास हवा असल्यास, आम्ही दोन्ही कव्हर केले आहेत: आणि . 2026 मधील नवीन कामासाठी, Isaac Lab पासून सुरुवात करा.

1. 1
   Isaac Sim आणि Isaac Lab स्थापित करा

   पिप इन्स्टॉलेशन पेजवर असे नमूद केले आहे की सूचना Isaac Sim 5.X साठी आहेत, ज्यासाठी Python 3.11 आवश्यक आहे. सोर्स क्लोन तुम्हाला पुढील चरणांसाठी आवश्यक असलेल्या स्क्रिप्ट्स देतो.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   सुमारे दहा मानवी प्रात्यक्षिके रेकॉर्ड करा

   Isaac Lab चे दस्तऐवज विशिष्ट आहे: पुढील चरणांमध्ये यशस्वी होण्यासाठी सुमारे 10 यशस्वी प्रात्यक्षिके आवश्यक आहेत. त्याच्या सूचना तितक्याच विशिष्ट आहेत. प्रात्यक्षिके लहान ठेवा, अनियंत्रित अक्षांवर न फिरता थेट मार्ग घ्या आणि थांबू नका, कारण धोरणाला कधी आणि का थांबायचे हे स्पष्ट नसते.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   उपकार्याच्या सीमा चिन्हांकित करा

   मिमिक इनपुट प्रात्यक्षिकांना उपकार्यांमध्ये (subtasks) विभाजित करते जेणेकरून ते विभागांना पुन्हा वेळ देऊ शकेल आणि पुन्हा लक्ष्य करू शकेल. --auto फ्लॅग स्वयंचलित एनोटेशन परिभाषित करणाऱ्या कार्यांसाठी मानवी हस्तक्षेपाशिवाय हे करते; त्याशिवाय तुम्ही B ने थांबता, N ने पुढे जाता आणि S ने सीमा चिन्हांकित करता. लक्षात घ्या की कार्य आयडीला -Mimic प्रत्यय मिळतो.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   गुणाकार केलेला डेटासेट तयार करा

   हे ते पाऊल आहे जे 10 ला 1000 मध्ये रूपांतरित करते. मिमिक प्रत्येक उमेदवाराला बुलियन यश निकष लागू करते आणि केवळ तेच ठेवते ज्यांनी कार्य पूर्ण केले, त्यामुळे आउटपुट संख्या चाचणी संख्येपेक्षा कमी असते. दस्तऐवजांनुसार, सोप्या प्रकरणांमध्ये उमेदवाराचा यश दर 70 टक्क्यांपर्यंत असतो आणि कठीण कार्ये आणि जटिल रोबोट्ससाठी 1 टक्क्यांपेक्षा कमी असतो: फ्रँका क्यूब स्टॅकसाठी सुमारे 50 टक्के, आणि GR1T2 पिक अँड प्लेससाठी 65 ते 80 टक्के, जिथे 1000 प्रात्यक्षिकांना 18 ते 40 मिनिटे लागतात (RTX ADA 6000 वर 80 टक्के क्षमतेने 19 मिनिटे).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5 ला LeRobot डेटासेटमध्ये रूपांतरित करा

   वरील सर्व robomimic-फ्लेवर्ड HDF5 तयार करते, आणि Isaac Lab कोरकडे स्वतःचा LeRobot कनवर्टर नाही: त्याचे दस्तऐवज फक्त असे सांगतात की तुम्ही तयार केलेला डेटासेट LeRobot फॉरमॅटमध्ये रूपांतरित करू शकता. दोन प्रकल्प वास्तविक कनवर्टर पुरवतात. IsaacLab-Arena एक GR00T-लक्ष्यित कनवर्टर पुरवते जे पूर्णपणे YAML कॉन्फिगद्वारे चालवले जाते, आणि LeIsaac SO-101 मार्गासाठी (खाली पहा) स्वतःची जोडी पुरवते.

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

जनरेशनचे प्रयत्न का अयशस्वी होतात आणि काय बदलावे

70 टक्के आणि 1 टक्क्यांपेक्षा कमी यांच्यात बदलणारा यशस्वी उमेदवाराचा दर काही रहस्य नाही, आणि आयझॅक लॅब तुम्हाला अंदाज लावण्याऐवजी सामान्य चुकांची नोंद करते. त्यापैकी प्रत्येक गोष्ट रेकॉर्डिंग करताना तुमच्या नियंत्रणात असते, म्हणूनच पहिल्या निराशाजनक जनरेशन रननंतर नव्हे, तर दहा सीड डेमॉन्स्ट्रेशन रेकॉर्ड करण्यापूर्वी ही यादी वाचणे फायदेशीर ठरते.

• डेमॉन्स्ट्रेशन खूप लांब आहेत. जास्त वेळेचा कालावधी धोरणासाठी शिकणे कठीण करतो. पहिल्या वस्तूच्या जवळून सुरुवात करा आणि हालचाल कमी करा.
• डेमॉन्स्ट्रेशन गुळगुळीत नाहीत. अनियमित हालचाल धोरणासाठी समजून घेणे कठीण आहे, आणि चांगले टेलिऑपरेशन हार्डवेअर चांगला डेटा देते: डॉक्स स्पष्टपणे सांगतात की स्पेसमाऊस कीबोर्डपेक्षा चांगले आहे.
• थांबणे. थांबणे शिकणे कठीण आहे, कारण धोरणासाठी कधी आणि का थांबावे हे स्पष्ट नसते. हालचाल प्रवाही ठेवा.
• खूप जास्त उपकार्य. जास्त उपकार्य म्हणजे ट्रॅजेक्टरी सेगमेंटमध्ये जास्त जोडणी, ज्यामुळे कमी गुळगुळीत हालचाल आणि कमी जनरेशन यश दर मिळतो. जिथे हात कशाशीही धडकण्याची शक्यता नाही अशा सीमा चिन्हांकित करा.
• कृतीमध्ये आवाज नाही. कृतीतील आवाज परिणामी धोरणांना अधिक मजबूत बनवतो.
• रेकॉर्डिंग खूप घट्ट कापले आहे. जर रेकॉर्डिंग यशस्वी टर्म ट्रिगर होणाऱ्या अचूक फ्रेमवर थांबले, तर ते रिप्ले दरम्यान पुन्हा ट्रिगर होऊ शकत नाही. शेवटी एक बफर सोडा.
• नॉन-डिटर्मिनिस्टिक रिप्ले. आयझॅक लॅबमधील भौतिकशास्त्र env.reset मध्ये निश्चितपणे पुनरुत्पादित करता येत नाही, त्यामुळे काही मानवी डेमो रिप्लेवर अयशस्वी होतात. तुम्हाला आवश्यकतेपेक्षा जास्त गोळा करा आणि एनोटेशनमध्ये टिकून राहिलेले ठेवा. मिमिक-जनरेटेड HDF5 फाइलमध्ये येणारी प्रत्येक गोष्ट एक यशस्वी डेमो आहे आणि रिप्ले नंतर अयशस्वी झाला तरी प्रशिक्षणासाठी वापरली जाऊ शकते.

जोडलेल्या उपकार्य सेगमेंटमधील इंटरपोलेशन स्टेपचे स्वतःचे ट्यूनिंग नॉब असते, आणि तुम्हाला आवश्यक असलेल्या इंटरपोलेशन स्टेप्सची संख्या रोबोट किती वेगाने फिरतो आणि ऑब्जेक्ट रीसेट वितरण किती विस्तृत आहे यावर अवलंबून असते. मोठ्या रीसेट वितरणासह एक जटिल कार्य सेगमेंटमध्ये मोठे अंतर सोडते, ज्यासाठी सतत हालचाल म्हणून बाहेर येण्यासाठी अधिक इंटरपोलेशन स्टेप्सची आवश्यकता असते. जर तुमच्या जनरेटेड व्हिडिओंमध्ये हात टप्प्याटप्प्याने अडखळताना दिसत असेल, तर सीड डेमोला दोष देण्यापूर्वी तो पॅरामीटर तपासा.

SO-101 वर तीच पाइपलाइन, वास्तविक लीडर आर्मसह

हे या पानावर वाचणाऱ्या प्रत्येकासाठी मनोरंजक आहे, कारण ही एकमेव खुली पाइपलाइन आहे जी एक SO-101 Isaac Lab मध्ये ठेवते आणि तुमच्याकडे असलेल्या भौतिक लीडर आर्मने तुम्हाला ते चालवू देते. LeIsaac, लिहिण्याच्या वेळी आवृत्ती 0.4.0, हे LeRobot च्या EnvHub मध्ये समाकलित केलेले अधिकृत अनुकरण-शिक्षण सिम्युलेशन प्लेग्राउंड आहे. त्याच्या सुसंगतता सारणीमध्ये तीन कार्यरत संयोजने सूचीबद्ध आहेत; सर्वात नवीन Isaac Sim 5.1 ला Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 आणि Python 3.11 सह जोडते, आणि दस्तऐवज 50-मालिका कार्डसाठी Isaac Sim 5.0 किंवा नवीनची शिफारस करतात.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

ते स्थापित झाल्यावर, /dev/ttyACM0 वरील लीडर आर्म सिम्युलेटेड फॉलोअरला चालवतो आणि थेट HDF5 मध्ये रेकॉर्ड करतो. हे लीडर-फॉलोअर लूप तोच आहे जो तुम्हाला वास्तविक रेकॉर्डिंगमधून आधीच माहित आहे, फक्त फॉलोअर PhysX मधील एक कठोर बॉडी आहे.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

त्यापैकी बहुतेक आयडी -Direct-v0 व्हेरिएंट म्हणून देखील अस्तित्वात आहेत, आणि python scripts/environments/list_envs.py सध्याची यादी प्रिंट करते. तुम्ही HDF5 चा मार्ग पूर्णपणे वगळून तीन फ्लॅग जोडून टेलिऑपरेशन दरम्यान LeRobot फॉरमॅटमध्ये लिहू शकता. दोन चेतावण्या दस्तऐवजीकरणातूनच येतात: रेकॉर्डर प्रारंभिक स्थितीतील अस्थिरता टाळण्यासाठी प्रत्येक एपिसोडच्या पहिल्या 5 फ्रेम्स आपोआप वगळतो, आणि यामुळे टेलिऑपरेशनमध्ये थोडा विलंब होऊ शकतो, ज्यामुळे तुमच्या प्रदर्शनांचे स्वरूप हळूवारपणे बदलते. तसेच, ते केवळ यशस्वी म्हणून चिन्हांकित केलेले एपिसोड्स फ्लश करते.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

गुणाकाराची पायरी नंतर त्या रेकॉर्डिंगवर चालते. LeIsaac आयझॅक लॅब मिमिकला चार कमांडमध्ये गुंडाळतो, कारण मिमिक एंड-इफेक्टर आणि ऑब्जेक्ट पोझेसमधून ट्रॅजेक्टरीज सामान्य करतो: जॉइंट-स्पेस ॲक्शन्सना IK-आधारित ॲक्शन्समध्ये रूपांतरित करा, एनोटेट करा, जनरेट करा, नंतर पुन्हा जॉइंट स्पेसमध्ये रूपांतरित करा.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

नंतर LeRobot मध्ये रूपांतरित करा. ही अशी पायरी आहे जिथे प्लॅटफॉर्मचा फॉरमॅट नियम लागू होतो आणि LeIsaac तुम्हाला आवश्यक असलेले दोन कन्व्हर्टर पुरवतो: isaaclab2lerobot.py LeRobot v2 लिहितो, जे GR00T लोडर वापरतात, आणि isaaclab2lerobotv3.py साठी v3 लिहितो Pi0.5, SmolVLA आणि ACT. हे दोन्ही स्क्रिप्ट समान आर्ग्युमेंट्स घेतात परंतु भिन्न lerobot आवृत्त्या वापरतात आणि केवळ यशस्वी एपिसोड्स रूपांतरित केले जातात.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

प्रशिक्षित धोरणाचे दोन मार्ग

व्हिडिओ वर्ल्ड मॉडेल्स: सर्वात नवीन स्तर आणि सर्वात कमी मोजलेले

DreamGen मागील कल्पना अशी आहे की, लक्ष्य रोबोटच्या अवताराशी जुळवून घेतलेले व्हिडिओ जनरेटिव्ह मॉडेल, तुम्ही कधीही भेट न दिलेल्या दृश्यांमध्ये संभाव्य एपिसोड्सची कल्पना करू शकते. या पाइपलाइनमध्ये चार टप्पे आहेत: व्हिडिओ वर्ल्ड मॉडेलला फाइन-ट्यून करणे, फोटोरिअलिस्टिक सिंथेटिक रोबोट व्हिडिओ तयार करणे, लॅटेंट ॲक्शन मॉडेल किंवा इन्व्हर्स डायनॅमिक्स मॉडेलसह स्यूडो-ॲक्शन सीक्वेन्स पुनर्प्राप्त करणे, आणि नंतर परिणामावर रोबोट धोरणाला प्रशिक्षण देणे. NVIDIA चे GR00T-dreams रिपॉझिटरी नेमके हेच लागू करते.

मुख्य परिणाम खरा आहे आणि तो गांभीर्याने घेण्यासारखा आहे: एकाच पिक-अँड-प्लेस कार्यासाठी एकाच वातावरणातील टेलिऑपरेशन डेटाने मानवाकृती रोबोटवर, पाहिलेल्या आणि न पाहिलेल्या दोन्ही वातावरणात, 22 नवीन वर्तन निर्माण केले. परंतु मर्यादा देखील तितकीच खरी आहे आणि ती तिसऱ्या टप्प्यात आहे.

सह-प्रशिक्षण (Co-training) ही अशी रेसिपी आहे जी प्रत्यक्षात फायदे दर्शवते

साहित्यातून एकच कार्यात्मक धडा घ्यायचा असेल, तर हा घ्या. सिम-आणि-वास्तव सह-प्रशिक्षण अभ्यास (मद्दुकुरी आणि सहकारी, २०२५) ने दृष्टी-आधारित रोबोटिक हाताळणी कार्ये सोडवण्यासाठी सिम्युलेशन डेटा वापरण्याची एक सोपी पद्धत शोधण्याचा प्रयत्न केला, ज्यात रोबोट आर्म आणि ह्युमनॉइड अशा दोन क्षेत्रांचा समावेश होता, आणि त्याचा निष्कर्ष असा आहे की तुम्ही मिश्रणावर प्रशिक्षण देता. सिम्युलेशन डेटाने वास्तविक-जगातील कार्याची कार्यक्षमता सरासरी ३८ टक्क्यांनी वाढवली, आणि पेपरमध्ये स्पष्टपणे नमूद केले आहे की सिम्युलेशन आणि वास्तविक-जगातील डेटामध्ये लक्षणीय फरक असतानाही हे सत्य होते.

तो शेवटचा मुद्दा ३८ टक्क्यांपेक्षा जास्त महत्त्वाचा आहे. याचा अर्थ असा की सिम्युलेशन उपयुक्त होण्यासाठी परिपूर्ण डिजिटल ट्विन असण्याची गरज नाही, जर वास्तविक डेटा त्याला आधार देण्यासाठी मिश्रणात असेल. केवळ सिम्युलेशन-आधारित हस्तांतरण हा एक महागडा मार्ग आहे: त्याच पेपरमध्ये असे म्हटले आहे की केवळ सिम्युलेशनमध्ये धोरणाचे प्रशिक्षण देणे आणि ते वास्तविक जगात हस्तांतरित करणे यासाठी वास्तविकतेतील अंतर भरून काढण्यासाठी अनेकदा मोठ्या मानवी प्रयत्नांची आवश्यकता असते. सह-प्रशिक्षणामुळे धोरणाला स्वतःहून अंतर भरून काढण्यास न सांगता त्यातील बहुतेक प्रयत्न टाळले जातात.

व्यवहारतः, या प्लॅटफॉर्मवर, सह-प्रशिक्षण (co-training) म्हणजे एकच गोष्ट: दोन्ही एपिसोडचे संच एकाच LeRobot डेटासेट सुसंगत कॅमेरा कीज, सुसंगत जॉइंट ऑर्डर आणि सुसंगत युनिट्ससह ठेवा, आणि नंतर सामान्य फाइन-ट्यून चालवा. प्रशिक्षण फॉर्ममध्ये मिश्रण-वजन (mixture-weight) नॉब नाही. जर तुम्हाला 3:1 सिम-टू-रिअल गुणोत्तर हवे असेल, तर तुम्ही डेटासेटमध्ये प्रत्येक प्रकारचे किती एपिसोड ठेवता यावरून ते व्यक्त करता.

सिम्युलेशनमधून सर्वात स्वस्त विजय प्रशिक्षण डेटा नाही

ते मूल्यांकन आहे. दोनची तुलना करण्यासाठी प्रत्येक कार्यासाठी डझनभर वास्तविक चाचण्या चालवणे म्हणजे एक दिवसाचा आर्म टाइम आहे आणि आर्म चाचण्यांदरम्यान सरकतो. SIMPLER (ली आणि सहकारी, 2024) ने सिम्युलेटेड वातावरण तयार केले आहे ज्याचा उद्देश वास्तविक धोरणांना प्रशिक्षण देण्याऐवजी त्यांना स्कोअर करणे आहे आणि नंतर सिम रँकिंग वास्तविक रँकिंगचे किती चांगले भाकीत करते हे मोजले. एकच SIMPLER वातावरण ग्राहक RTX 4090 वर 640 बाय 512 रिझोल्यूशनवर प्रति सेकंद 3,500 सिम्युलेशन स्टेप्सवर रेंडर होते, जे 500 Hz सिम्युलेशन फ्रिक्वेन्सी अंतर्गत वास्तविक मूल्यांकनापेक्षा 7 पट वेगवान आहे.

हे सहा सामान्य ओपन-सोर्स चेकपॉइंट्ससाठी तीन Google रोबोट टास्क गटांवरील सरासरी आहेत: वेगवेगळ्या प्रशिक्षण टप्प्यांवरील तीन RT-1 चेकपॉइंट्स, RT-1-X, RT-2-X आणि Octo-Base. वास्तविक बाजू एकसमान चाचणी संख्या नाही, जी तुम्ही उद्धृत करण्यापूर्वी जाणून घेणे महत्त्वाचे आहे: कोक कॅन उचलण्यासाठी 75 चाचण्या, जवळ जाण्यासाठी 60, ड्रॉवर उघडण्यासाठी आणि बंद करण्यासाठी 54 आणि लांब ड्रॉवर-आणि-सफरचंद कार्यासाठी 27. व्हॅलिडेशन MSE विरुद्धची तुलना हा उपयुक्त भाग आहे. व्हॅलिडेशन लॉसद्वारे मॉडेल निवड या चेकपॉइंट्सना खराब रँक देते आणि व्हिज्युअल मॅचिंग अंतर्गत 0.924 चा पियर्सन आर म्हणजे जर एखाद्या चेकपॉइंटने SIMPLER मध्ये चांगले गुण मिळवले तर ते बेंचवर खूप चांगले गुण मिळवण्याची शक्यता आहे. हा एक पुनरावृत्ती करण्यायोग्य रात्रभर स्कोअरबोर्ड आहे आणि त्यासाठी तुम्हाला सिम-टू-रियल प्रशिक्षण हस्तांतरणाबद्दल काहीही विश्वास ठेवण्याची आवश्यकता नाही.

या बेंचमार्क संख्या तुम्हाला व्हिजन-लँग्वेज-ॲक्शन मॉडेल बद्दल काय सांगतात आणि काय नाही, याचा विस्तृत संदर्भ हवा असल्यास, आम्ही ते स्वतंत्रपणे VLA विहंगावलोकन मध्ये लिहिले आहे.

हे प्लॅटफॉर्म तुम्हाला कुठे मदत करत नाही

मर्यादांबद्दल स्पष्ट असणे प्रत्येकाचा वेळ वाचवते. AY-Robots हे रेकॉर्डिंग, प्रशिक्षण आणि सेवा देणारे प्लॅटफॉर्म आहे. त्यात कोणताही सिम्युलेटर नाही.

• आयझॅक लॅब नाही, मिमिकजेन नाही, वर्ल्ड मॉडेल नाही, सीन ऑथरिंग नाही. तुम्हाला जनरेटेड डेटा हवा असल्यास, तो तुम्ही इतरत्र जनरेट करा आणि परिणाम आणा.
• ट्रेनर्स केवळ LeRobot डेटासेट वापरतात. सिम्युलेटर एक्सपोर्ट इनपुट होण्यापूर्वी रूपांतरित करणे आवश्यक आहे आणि ते योग्य आवृत्तीचे असणे आवश्यक आहे: GR00T N1.5 आणि N1.7 साठी v2.0 किंवा v2.1, Pi0.5, SmolVLA आणि ACT साठी v3.0.
• GR00T चा फाइन-ट्यूनिंग एंट्री पॉइंट एक टायरो CLI आहे जो कोणताही सीड उघड करत नाही, त्यामुळे GR00T रन बिट-फॉर-बिट पुनरुत्पादक नाहीत. जर तुम्ही काळजीपूर्वक सिम-विरुद्ध-वास्तव ॲब्लेशन चालवत असाल, तर ही एक खरी मर्यादा आहे. lerobot चा स्वतःचा डीफॉल्ट सीड 1000 आहे आणि ACT, SmolVLA आणि Pi0.5 फॉर्ममध्ये सीड फील्ड उघड केले जाते.
• ग्रेडियंट ॲक्युमुलेशन केवळ दोन GR00T ट्रेनर्ससाठीच लागू केले जाते. Pi0.5 आणि SmolVLA साठी हे फील्ड फॉर्ममध्ये अस्तित्वात आहे, परंतु lerobot 0.5.1 मध्ये असा कोणताही फ्लॅग नाही, त्यामुळे ते काहीही करत नाही.
• जलद कार्यांसाठी इन्फरन्स सर्व्होच्या शेजारी असणे आवश्यक आहे. मॉडेलनुसार नियंत्रण लूप प्रति ॲक्शन स्टेप 20 ते 485 ms असतो आणि सार्वजनिक-इंटरनेट राऊंड ट्रिप्स जोडल्याने कार्यरत पॉलिसी संकोचशील बनते. रिमोट इन्फरन्स हळू पिक-अँड-प्लेससाठी व्यवहार्य आहे, जलद प्रतिक्रियाशील गतीसाठी नाही.

तुम्ही समर्थन करू शकता असे बजेट

प्रत्येक मार्ग प्रत्यक्षात प्रकाशित करत असलेल्या संख्यांसह दोन्ही मार्ग शेजारी-शेजारी ठेवा आणि कमी किमतीच्या आर्मवरील सिंगल-टास्क प्रोजेक्टसाठी निर्णय सहसा आपोआप होतो.

SO-100 वरील पहिल्या पॉलिसीसाठी, रेकॉर्ड करा. आणि तुम्हाला कॉफीच्या किमतीत सर्व्ह केलेला चेकपॉईंट मिळवून देईल, आणि भविष्यातील कोणत्याही सह-प्रशिक्षण मिश्रणाचा वास्तविक अर्धा भाग तुमच्याकडे असेल. जेव्हा तुमच्याकडे कार्यरत बेसलाइन आणि तुम्ही नाव देऊ शकता असे विशिष्ट सामान्यीकरण अपयश असेल, तेव्हा सिम्युलेटर वापरा, जसे की अशी पॉलिसी जी .

पुराव्याचा आदर करणारी एक कृती

1. 1
   वास्तविक बेसलाइन प्रथम रेकॉर्ड करा

   SmolVLA साठी 30 एपिसोड, ACT साठी 50, GR00T N1.7 आणि Pi0.5 साठी 50. एकदा प्रशिक्षण द्या. ती पॉलिसी ज्यामध्ये अयशस्वी होते, ती तुमच्या सिंथेटिक डेटासाठीची विशिष्टता आहे.

2. 2
   सामान्यीकरण अपयशाचे नाव द्या

   वस्तूची स्थिती? प्रकाशयोजना? टेबलाची उंची? विचलित करणारे घटक? सूचनांची वेगळी मांडणी? सिंथेटिक डेटा एका वेळी यापैकी फक्त एका गोष्टीत चांगला असतो आणि तुम्ही कोणता आहे हे सांगू शकत नसल्यास निरुपयोगी ठरतो.

3. 3
   ते कव्हर करणारा सर्वात स्वस्त गट निवडा

   स्थिती आणि मांडणीतील भिन्नता: ट्रॅजेक्टरी गुणाकार. प्रकाशयोजना आणि पोत: प्रथम प्रतिमा ऑगमेंटेशन, नंतर वर्ल्ड मॉडेल. संपूर्ण नवीन दृश्ये: फिजिक्स रोलआउट्स, आणि मॉडेलिंग खर्च स्वीकारा.

4. 4
   तयार करा, नंतर आक्रमकपणे टाकून द्या

   जनरेशनचे प्रयत्न अयशस्वी होतात आणि Isaac Lab चा स्वतःचा उमेदवार यश दर कार्यावर अवलंबून 70 टक्क्यांपासून 1 टक्क्यांपेक्षा कमीपर्यंत असतो. केवळ यशस्वी, कार्य पूर्ण करणाऱ्या ट्रॅजेक्टरीज ठेवा आणि बॅचवर विश्वास ठेवण्यापूर्वी व्हिडिओ म्हणून नमुना तपासा.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   सह-प्रशिक्षण करा, बदलू नका

   तयार केलेले एपिसोड वास्तविक एपिसोडसह एकाच LeRobot डेटासेटमध्ये समान कॅमेरा की आणि जॉइंट ऑर्डरिंगसह विलीन करा. 38 टक्के हा सह-प्रशिक्षणाचा आकडा आहे.

6. 6
   वास्तविक आर्मवर मूल्यांकन करा, आणि फक्त तिथेच

   सिम्युलेटेड मूल्यांकन एक चांगला रँकिंग सिग्नल आहे (SIMPLER च्या व्हिज्युअल-मॅचिंग सेटअपमध्ये Pearson r 0.924) परंतु ती स्वीकृती चाचणी नाही. त्यावर विश्वास ठेवण्यापूर्वी बेंचवर चेकपॉईंट चालवा.

जर तुम्हाला वास्तविक रेकॉर्डिंगसाठी चेकलिस्टपासून सुरुवात करायची असेल, तर कॅमेरा प्लेसमेंट, चे परिणाम आणि अपयशाचे प्रकार जे डेटासेट निरुपयोगी बनवतात. फॉरमॅटबद्दलचे तपशील , आणि हायपरपॅरामीटर बाजू .