ரோபோ கொள்கைகளுக்கான செயற்கை தரவு: உருவகப்படுத்துதல் எங்கு உதவுகிறது

ஒவ்வொரு சில மாதங்களுக்கும் யாராவது ஐம்பது எபிசோடுகள் பதிவுகளைக் கையால் பதிவு செய்வது மெதுவாக இருப்பதை உணர்ந்து, அதற்குப் பதிலாக ஒரு சிமுலேட்டர் அவற்றை உருவாக்க முடியுமா என்று கேட்கிறார்கள். இது ஒரு நியாயமான கேள்வி. நேர்மையான பதில் மூன்று பகுதிகளைக் கொண்டது: உருவாக்கப்பட்ட தரவு உதவுகிறது, அது உண்மையான பதிவுகளை மாற்றாது, மேலும் இந்த இரண்டு உண்மைகளுக்கு இடையிலான விகிதம் நீங்கள் எந்த வகையான செயற்கை தரவை அர்த்தப்படுத்துகிறீர்கள் என்பதைப் பொறுத்தது.

இந்த பக்கம் வெளியிடப்பட்ட வேலை உண்மையில் எதை அளவிட்டது, குறைந்த விலை ரோபோ கையில் இன்று நீங்கள் எதை இயக்கலாம் என்பதை விளக்குகிறது, SO-100 போன்ற, மற்றும் சிம்-டு-ரியல் இடைவெளி எங்கு லாபத்தை விழுங்குகிறது என்பதையும் விளக்குகிறது. சுருக்கமான பதிப்பு, விவரங்களுக்கு முன்: மிகப்பெரிய பெருக்கிகளைக் கூறும் அமைப்புகள் ஒரு சிறிய அளவிலான உண்மையான மனித விளக்கக்காட்சிகளைப் பெருக்குகின்றன. அவை அவற்றின் தேவையை நீக்கவில்லை.

நான்கு வெவ்வேறு விஷயங்கள் செயற்கை தரவு என அழைக்கப்படுகின்றன

எண்களை ஒப்பிடுவதற்கு முன், குடும்பங்களைப் பிரிப்பது மதிப்புமிக்கது, ஏனெனில் 100x பெருக்கியைப் புகாரளிக்கும் ஒரு ஆய்வுக் கட்டுரையும், 5 புள்ளி வெற்றி அதிகரிப்பைப் புகாரளிக்கும் ஒரு ஆய்வுக் கட்டுரையும் பெரும்பாலும் ஒரே பைப்லைனை வெவ்வேறு கோணங்களில் இருந்து விவரிக்கின்றன. பொதுவான அம்சம் என்னவென்றால், LeRobot தரவுத்தொகுப்பு ஒரு இயந்திரத்தால் தயாரிக்கப்பட்டது, ஒரு இயற்பியல் கையிலிருந்து பதிவு செய்யப்படவில்லை. எது வேறுபடுகிறது என்பது எந்தப் பகுதி என்பதுதான்.

இந்தக் கட்டுரை குறிப்பிடும் அர்த்தத்தில் முதல் மூன்று மட்டுமே செயற்கை தரவு. நான்காவது குறிப்பிடத் தக்கது, ஏனெனில் இது அதே உரையாடலில் சேர்க்கப்பட்டு, பட்டியலில் உள்ளவற்றில் மிக மலிவானது. உங்கள் பயிற்சியாளர் வழங்கும் விரிவாக்கங்களை நீங்கள் இன்னும் இயக்கவில்லை என்றால், ஒரு சிமுலேட்டரை நிறுவும் முன் அதைச் செய்யுங்கள்.

வெளியிடப்பட்ட எண்கள் உண்மையில் என்ன சொல்கின்றன

ஆதாரங்களின் அடிப்படையில் எண்கள் இங்கே கொடுக்கப்பட்டுள்ளன, பத்திரிகை வெளியீடுகள் சுருக்கமாகக் கூறுவதற்குப் பதிலாக, மூலங்கள் குறிப்பிடுவது போலவே அவை உள்ளன. கீழே உள்ள ஒவ்வொரு வரிசையும் 23 ஆகஸ்ட் 2026 அன்று படிக்கப்பட்ட ஒரு கட்டுரை அல்லது திட்டப் பக்கத்திலிருந்து எடுக்கப்பட்டது.

ஒவ்வொரு நேர்மையான பகுப்பாய்விலும் உள்ள முறை ஒன்றுதான். செயற்கை தரவு குறைந்த செலவில் கவரேஜை விரிவுபடுத்துகிறது. உண்மையான செயல்விளக்கங்களில் இல்லாத உங்கள் கிரிப்பர், சர்வோ சாய்வு, விளக்கு அல்லது மேசை உயரம் பற்றிய தகவல்களை இது உருவாக்காது. உங்கள் கொள்கை தோல்வியடைகிறது ஏனெனில் இறுதி இயக்கி அரை வினாடி தாமதமாக மூடுவதால், எந்த அளவு உருவகப்படுத்தப்பட்ட மாறுபாடும் அதை சரிசெய்யாது. அது உண்மையான பதிவுகளில் உள்ள ஒரு கிரிப்பர் நேரப் பிரச்சனை.

MimicGen கண்டுபிடிப்புகளில் ஒன்று உங்கள் சொந்த பதிவு அமர்வுகளில் எடுத்துச் செல்லத்தக்கது, ஏனெனில் இது வழக்கமான ஆலோசனைகளுக்கு எதிரானது. இந்த திட்டம் Square D2 இல் இரண்டு தரவுத்தொகுப்புகளை உருவாக்கியது, ஒன்று சிறந்த தரமான மனித ஆபரேட்டரிடமிருந்து 10 டெமோக்களுடன் விதைக்கப்பட்டது, மற்றொன்று மோசமான தரமான ஆபரேட்டரிடமிருந்து 10 டெமோக்களுடன் விதைக்கப்பட்டது, இவை இரண்டும் robomimic multi-human Square தரவுத்தொகுப்பிலிருந்து எடுக்கப்பட்டவை. ஒவ்வொன்றிலும் பயிற்சி பெற்ற கொள்கைகள் ஒப்பிடக்கூடிய முடிவுகளை அடைந்தன, இதை ஆசிரியர்கள் பெரிய அளவிலான தரவு ஆட்சியில் தரவு தரம் அவ்வளவு முக்கியமில்லை என்பதற்கான அறிகுறியாகக் கருதினர். கவனமாகப் படியுங்கள், இது பத்து விதை டெமோக்களைப் பற்றிய ஒரு அறிக்கை, உங்கள் ஐம்பது உண்மையான எபிசோட்களைப் பற்றியது அல்ல. இதன் பொருள் சற்று ஒழுங்கற்ற விதை தொகுப்பு உங்களுக்கும் பயன்படுத்தக்கூடிய உருவாக்கப்பட்ட தரவுத்தொகுப்பிற்கும் இடையில் நிற்கும் விஷயம் அல்ல. நீங்கள் இணைந்து பயிற்சி செய்யும் உண்மையான எபிசோட்கள் ஒழுங்கற்றதாக இருக்கலாம் என்று அர்த்தமல்ல, ஏனெனில் அவை சிமுலேட்டரில் இல்லாத தகவல்களைக் கொண்டு செல்கின்றன.

சிம்-டு-ரியல் இடைவெளி, குறிப்பாக

இந்த இடைவெளி பொதுவாக ஒரு ஒற்றை அளவாக விவாதிக்கப்படுகிறது, இது உதவாது. இது குறைந்தபட்சம் ஐந்து தனித்தனி பொருந்தாத தன்மைகளைக் கொண்டுள்ளது, மேலும் அவை 110 முதல் 150 EUR வரையிலான பொழுதுபோக்கு ரோபோ கைகளில் ஒரு ஃபிராங்கா ரோபோவில் இருப்பதை விட வெவ்வேறு அளவுகளில் உள்ளன.

• தொடர்பு மற்றும் உராய்வு. ஒரே வன்பொருள் மற்றும் ஒரே ஐசக் சிம் மற்றும் பிசிக்ஸ் பதிப்பு கொடுக்கப்பட்டால், உருவகப்படுத்துதல் மீண்டும் உருவாக்கக்கூடியது என்று ஐசக் லேப் தெளிவாகக் கூறுகிறது, ஆனால் மிதக்கும் புள்ளி துல்லியம் மற்றும் வட்டமிடும் பிழைகள் காரணமாக வெவ்வேறு வன்பொருள் உள்ளமைவுகளில் முடிவுகள் மாறுபடும், மேலும் துணி அல்லது மென்மையான உடல்கள் போன்ற கடினமற்ற உடல்களைக் கொண்ட எந்தவொரு காட்சிக்கும் பிசிக்ஸ் நிர்ணயத்தன்மையை உத்தரவாதம் செய்யாது.
• செயல்பாடு. 7.4 V இல் இயங்கும் ஒரு Feetech STS3215 பஸ் சர்வோ சுமையின் கீழ் வளைகிறது, பின்னடைவைக் கொண்டுள்ளது, மேலும் அது சூடாகும் போது அதன் நடத்தை மாறுகிறது. SO-101 க்கான MJCF மாதிரி அதன் மோட்டார் அளவுருக்களை உங்கள் கையில் அடையாளம் காண்பதற்குப் பதிலாக ஒரு தொடர்பில்லாத திட்டத்திலிருந்து கடன் வாங்குகிறது.
• ரெண்டரிங். கேமரா இரைச்சல், ரோலிங் ஷட்டர், தானியங்கி வெளிப்பாடு மற்றும் உங்கள் மேசையின் சரியான நிறம் ரெண்டரில் இல்லை. இது Cosmos-Transfer1 மூட கட்டப்பட்ட இடைவெளியின் பாதி: அதன் ரோபோடிக்ஸ் விரிவாக்க பணிப்பாய்வு ஒரு ரோபோடிக்ஸ் செயற்கை உதாரணத்தை பிரித்தல், ஆழம் அல்லது விளிம்பு நிலைப்படுத்தலில் இருந்து பல யதார்த்தமான உதாரணங்களுக்கு வரைபடமாக்குகிறது.
• நேரம். ஒரு சிமுலேட்டர் ஒரு நிலையான விகிதத்தில் செயல்படுகிறது. ஒரு உண்மையான கட்டுப்பாட்டு சுழற்சி அவ்வாறு செய்யாது, மேலும் நீங்கள் தேர்ந்தெடுத்ததைப் பொறுத்து ஒரு செயல் படிக்கு மாதிரிக்கு 20 முதல் 485 ms வரை செலவாகும். inference latency ஐப் பார்க்கவும்.
• பொருள் புள்ளிவிவரங்கள். உருவகப்படுத்தப்பட்ட காட்சிகள் யாரோ ஒருவர் எழுதிய விநியோகத்திலிருந்து மாதிரி எடுக்கப்படுகின்றன. உங்கள் சமையலறை மேசை அவ்வாறு இல்லை.

உருவகப்படுத்தப்பட்ட SO-100 உங்கள் கையைப் பற்றி உண்மையில் என்ன அறிந்திருக்கிறது

மேலே உள்ள எதுவும் உங்கள் வார இறுதிக்கு மதிப்புள்ளதா என்பதை இது தீர்மானிக்கும் பகுதி, மேலும் முதல் ஆச்சரியம் என்னவென்றால், SO-100 மற்றும் SO-101 சமமாக சேவை செய்யப்படவில்லை. TheRobotStudio இன் SO-ARM100 களஞ்சியம் அதன் உருவகப்படுத்துதல் சொத்துக்களை Simulation/ இன் கீழ் வைத்திருக்கிறது. SO100 கோப்புறை ஒரு ஒற்றை URDF கோப்பை மட்டுமே கொண்டுள்ளது. SO101 கோப்புறை URDF மற்றும் MuJoCo கோப்புகள் இரண்டையும் கொண்டுள்ளது: scene.xml, so101_new_calib.xml, so101_old_calib.xml, பொருந்தும் URDFகள் மற்றும் ஒரு joints_properties.xml. நீங்கள் ஒரு இயக்கவியல் சங்கிலியை விட ஒரு இயற்பியல் மாதிரியை விரும்பினால், நீங்கள் SO-101 கோப்புகளை விரும்புகிறீர்கள்.

அவை Onshape இல் வடிவமைக்கப்பட்ட CAD மாதிரியிலிருந்து onshape-to-robot சொருகி மூலம் உருவாக்கப்பட்டன, அதாவது இயக்கவியல் மற்றும் காட்சி வலைகள் CAD ஐப் போலவே சிறப்பாக இருக்கும். இயக்கவியல் ஒரு வேறுபட்ட கதை, மேலும் களஞ்சியத்தின் README மூன்று விஷயங்களைப் பற்றி வெளிப்படையாகக் கூறுகிறது. உருவகப்படுத்துதல் மற்றும் திட்டமிடலின் போது சிக்கலான மோதல் நடத்தை காரணமாக அடிப்படை மோதல் வலைகள் அகற்றப்பட்டன. STS3215 மோட்டார் பண்புகள் SO-101 இல் அளவிடப்படுவதற்குப் பதிலாக Open Duck Mini திட்டத்திலிருந்து தழுவி எடுக்கப்பட்டுள்ளன. மேலும் LeRobot கிரிப்பர் மரபு, இதில் 0 முழுமையாக மூடப்பட்டதாகவும் 100 முழுமையாக திறந்ததாகவும் இருக்கும், இது URDF மற்றும் MuJoCo கோப்புகளில் இன்னும் வெளிப்படையாகப் பிரதிபலிக்கவில்லை. இவை ஒவ்வொன்றும், அந்த மாதிரியில் மட்டுமே பயிற்சி பெற்ற ஒரு கொள்கை உங்கள் மேசையில் வித்தியாசமாக செயல்படும் ஒரு இடமாகும்.

டொமைன் ரேண்டமைசேஷன், மற்றும் அது சரிசெய்யாதவை

இந்த இடைவெளிக்கான நிலையான பதில், யதார்த்தத்துடன் பொருந்துவதை நிறுத்திவிட்டு, யதார்த்தம் அதற்குள் விழும் அளவுக்கு பரந்த விநியோகத்தில் பயிற்சி அளிப்பதாகும். டோபின் மற்றும் சகாக்கள் 2017 இல் இதன் வலுவான பதிப்பைக் காட்டினர்: யதார்த்தமற்ற சீரற்ற அமைப்புகளுடன் உருவகப்படுத்தப்பட்ட படங்களில் மட்டுமே பயிற்சி பெற்ற ஒரு பொருள் கண்டறிதல், உண்மையான படங்களில் எந்த முன் பயிற்சியும் இல்லாமல், உண்மையான பொருட்களை 1.5 செ.மீ துல்லியத்துடன் கண்டறிந்து, கவனச்சிதறல்கள் மற்றும் பகுதி மறைப்புகளுக்கு வலுவாக இருந்தது.

Isaac Lab ஆனது, நீங்கள் ஒரு சூழல் உள்ளமைவுடன் இணைக்கும் நிகழ்வுச் சொற்களைப் போன்ற அதே கருத்தை வெளிப்படுத்துகிறது. இவை, அவற்றின் உண்மையான செயல்பாட்டுப் பெயர்களால், isaaclab.envs.mdp இல் உள்ளன, எனவே நீங்கள் யூகிக்காமல் அவற்றைப் படித்துப் பார்க்கலாம்.

இதுதான் வரம்பு, மக்கள் தடுமாறும் ஒரு விஷயம் இதுதான். நீங்கள் உருவாக்கிய மாதிரியில் கொள்கை கண்ட விநியோகத்தை சீரற்றமயமாக்கல் விரிவுபடுத்துகிறது. சிமுலேட்டர் குறிப்பிடாத ஒரு இயற்பியல் விளைவை இது அறிமுகப்படுத்த முடியாது. உங்கள் STS3215 சர்வோக்களின் பின்னடைவு மற்றும் வெப்பச் சரிவை PhysX மாதிரியாக்கவில்லை என்றால், அவற்றின் விறைப்புத்தன்மையை சீரற்றமயமாக்குவது பின்னடைவு பற்றி கொள்கைக்கு எதையும் கற்றுக்கொடுக்காது. அதனால்தான் ஒரு கை ஒரு சிம்-பயிற்சி பெற்ற கொள்கையின் கீழ் சீரற்றமயமாக்கல்-பட்ஜெட் பிரச்சனை அல்ல. இது ஒரு மாதிரியாக்கல் பிரச்சனை.

கையேடு வழி: ஐசக் லேபில் தரவை உருவாக்குதல்

ஐசக் ஜிம் ஒரு மரபு மென்பொருள். NVIDIA-வின் சொந்தப் பக்கத்தில் "Isaac Gym - இப்போது கைவிடப்பட்டது" என்று தலைப்பிடப்பட்டுள்ளது, மேலும் டெவலப்பர்கள் அதை பதிவிறக்கம் செய்து தொடர்ந்து பயன்படுத்தலாம், ஆனால் அதற்கு ஆதரவு இல்லை என்றும், அதற்குப் பதிலாக ஐசக் லேப்-ஐப் பயன்படுத்தவும் என்று கூறுகிறது. வரலாற்றை அறிய விரும்பினால், நாங்கள் இரண்டையும் உள்ளடக்கியுள்ளோம்: மற்றும் . 2026-ல் புதிய பணிகளுக்கு, ஐசக் லேப்-ல் தொடங்கவும்.

1. 1
   ஐசக் சிம் மற்றும் ஐசக் லேப்-ஐ நிறுவவும்

   pip நிறுவல் பக்கம், இந்த வழிமுறைகள் Isaac Sim 5.X-க்கானவை என்றும், அதற்கு Python 3.11 தேவை என்றும் கூறுகிறது. மூல குறியீட்டை குளோன் செய்வது அடுத்த படிகளுக்குத் தேவையான ஸ்கிரிப்ட்களை உங்களுக்கு வழங்குகிறது.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   சுமார் பத்து மனித செயல்விளக்கங்களைப் பதிவு செய்யவும்

   ஐசக் லேப் ஆவணங்கள் குறிப்பிட்டவை: பின்வரும் படிகள் வெற்றிபெற சுமார் 10 வெற்றிகரமான செயல்விளக்கங்கள் தேவை. அதன் குறிப்புகள் சமமாக குறிப்பிட்டவை. செயல்விளக்கங்களைச் சுருக்கமாக வைத்திருங்கள், தன்னிச்சையான அச்சுகளில் நகர்வதற்குப் பதிலாக நேரடிப் பாதையைத் தேர்ந்தெடுங்கள், மேலும் இடைநிறுத்த வேண்டாம், ஏனெனில் ஒரு கொள்கைக்கு ஏன், எப்போது இடைநிறுத்த வேண்டும் என்பது தெளிவாகத் தெரியாது.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   துணைப்பணி எல்லைகளைக் குறிக்கவும்

   Mimic உள்ளீட்டு செயல்விளக்கங்களை துணைப் பணிகளாகப் பிரிக்கிறது, இதனால் அது பிரிவுகளை மீண்டும் நேரம் மற்றும் மீண்டும் இலக்கு வைக்க முடியும். --auto கொடி, தானியங்கி குறிப்பீட்டை வரையறுக்கும் பணிகளுக்கு மனித தலையீடு இல்லாமல் இதைச் செய்கிறது; அது இல்லாமல் நீங்கள் B உடன் இடைநிறுத்தலாம், N உடன் தொடரலாம் மற்றும் S உடன் ஒரு எல்லையைக் குறிக்கலாம். பணி ஐடிக்கு -Mimic பின்னொட்டு சேர்க்கப்படுவதைக் கவனிக்கவும்.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   பெருக்கப்பட்ட தரவுத்தொகுப்பை உருவாக்கவும்

   இது 10-ஐ 1000 ஆக மாற்றும் படி. Mimic ஒவ்வொரு வேட்பாளருக்கும் ஒரு பூலியன் வெற்றி அளவுகோலைப் பயன்படுத்துகிறது மற்றும் பணியை முடித்தவற்றை மட்டுமே வைத்திருக்கிறது, எனவே வெளியீட்டு எண்ணிக்கை சோதனைகளின் எண்ணிக்கையை விட குறைவாக இருக்கும். ஆவணங்கள் அந்த வேட்பாளர் வெற்றி விகிதத்தை எளிய சந்தர்ப்பங்களில் 70 சதவீதம் வரையிலும், கடினமான பணிகள் மற்றும் சிக்கலான ரோபோக்களுக்கு 1 சதவீதத்திற்கும் குறைவாகவும் குறிப்பிடுகின்றன: Franka கியூப் ஸ்டேக்கிற்கு சுமார் 50 சதவீதம், மற்றும் GR1T2 பிக் அண்ட் பிளேஸிற்கு 65 முதல் 80 சதவீதம் வரை, அங்கு 1000 டெமோக்கள் 18 முதல் 40 நிமிடங்கள் ஆகும் (80 சதவீதத்தில் RTX ADA 6000 இல் 19 நிமிடங்கள்).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5-ஐ ஒரு LeRobot தரவுத்தொகுப்பாக மாற்றவும்

   மேலே உள்ள அனைத்தும் robomimic-சுவையுடைய HDF5-ஐ உருவாக்குகிறது, மேலும் ஐசக் லேப் கோர் அதன் சொந்த LeRobot மாற்றி எதையும் அனுப்பவில்லை: அதன் ஆவணங்கள் உருவாக்கப்பட்ட தரவுத்தொகுப்பை LeRobot வடிவத்திற்கு மாற்றலாம் என்று மட்டுமே கூறுகின்றன. இரண்டு திட்டங்கள் உண்மையான மாற்றியை வழங்குகின்றன. IsaacLab-Arena ஒரு YAML உள்ளமைவால் முழுமையாக இயக்கப்படும் GR00T-ஐ இலக்காகக் கொண்ட ஒன்றை வழங்குகிறது, மேலும் LeIsaac SO-101 வழித்தடத்திற்கான அதன் சொந்த ஜோடியை வழங்குகிறது (கீழே காண்க).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

உருவாக்கும் முயற்சிகள் ஏன் தோல்வியடைகின்றன, மற்றும் எதை மாற்ற வேண்டும்

70 சதவீதத்திற்கும் 1 சதவீதத்திற்கும் குறைவாகவும் ஊசலாடும் ஒரு வேட்பாளர் வெற்றி விகிதம் ஒரு மர்மம் அல்ல, மேலும் ஐசக் லேப் பொதுவான சிக்கல்களை நீங்கள் யூகிக்க விடாமல் ஆவணப்படுத்துகிறது. அவை ஒவ்வொன்றும் பதிவு செய்யும் நேரத்தில் நீங்கள் கட்டுப்படுத்தும் ஒன்று, அதனால்தான் முதல் ஏமாற்றமளிக்கும் தலைமுறை ஓட்டத்திற்குப் பிறகு அல்லாமல், பத்து விதை விளக்கக்காட்சிகளைப் பதிவு செய்வதற்கு முன் இந்த பட்டியலைப் படிப்பது பயனுள்ளது.

• விளக்கக்காட்சிகள் மிக நீளமாக உள்ளன. நீண்ட கால எல்லை ஒரு கொள்கைக்கு கற்றுக்கொள்வது கடினம். முதல் பொருளுக்கு அருகில் தொடங்கி இயக்கத்தைக் குறைக்கவும்.
• விளக்கக்காட்சிகள் சீராக இல்லை. ஒழுங்கற்ற இயக்கத்தை ஒரு கொள்கையால் புரிந்துகொள்வது கடினம், மேலும் சிறந்த டெலிஆபரேஷன் வன்பொருள் சிறந்த தரவை வழங்குகிறது: ஒரு SpaceMouse ஒரு விசைப்பலகையை விட சிறந்தது என்று ஆவணங்கள் தெளிவாகக் கூறுகின்றன.
• இடைநிறுத்தங்கள். இடைநிறுத்தங்களைக் கற்றுக்கொள்வது கடினம், ஏனெனில் ஒரு கொள்கைக்கு ஏன், எப்போது இடைநிறுத்த வேண்டும் என்பது தெளிவாகத் தெரியவில்லை. இயக்கத்தை சீராக வைத்திருங்கள்.
• அதிக துணைப்பணிகள். அதிக துணைப்பணிகள் என்பது பாதை பிரிவுகளுக்கு இடையில் அதிக இணைப்பைக் குறிக்கிறது, இது குறைவான சீரான இயக்கம் மற்றும் குறைந்த தலைமுறை வெற்றி விகிதத்தை அளிக்கிறது. கை எதனுடனும் மோத வாய்ப்பில்லாத எல்லைகளைக் குறிக்கவும்.
• செயல்பாட்டு இரைச்சல் இல்லை. செயல்பாட்டு இரைச்சல் விளைவாக வரும் கொள்கைகளை மிகவும் வலுவானதாக ஆக்குகிறது.
• பதிவு மிக இறுக்கமாக வெட்டப்பட்டது. வெற்றிச் சொல் தூண்டப்படும் சரியான சட்டகத்தில் பதிவு நிறுத்தப்பட்டால், அது மீண்டும் இயக்கத்தின் போது மீண்டும் தூண்டப்படாமல் போகலாம். இறுதியில் ஒரு இடையகத்தை விடவும்.
• நிர்ணயிக்க முடியாத மறுபயன்பாடு. ஐசக் லேபில் உள்ள இயற்பியல் env.reset முழுவதும் நிர்ணயிக்கப்பட்ட முறையில் மீண்டும் உருவாக்க முடியாது, எனவே சில மனித டெமோக்கள் மறுபயன்பாட்டில் தோல்வியடைகின்றன. உங்களுக்குத் தேவையானதை விட அதிகமாகச் சேகரித்து, குறிப்பீட்டில் தப்பிப்பிழைத்தவற்றை வைத்திருங்கள். Mimic-உருவாக்கப்பட்ட HDF5 கோப்பில் உள்ள அனைத்தும் ஒரு வெற்றிகரமான டெமோ ஆகும், மேலும் மறுபயன்பாடு பின்னர் தோல்வியடைந்தாலும் பயிற்சிக்கு பயன்படுத்தப்படலாம்.

இணைக்கப்பட்ட துணைப்பணிப் பிரிவுகளுக்கு இடையிலான இடைக்கணிப்பு படிக்கு அதன் சொந்த சரிசெய்தல் குமிழ் உள்ளது, மேலும் உங்களுக்குத் தேவையான இடைக்கணிப்பு படிகளின் எண்ணிக்கை ரோபோ எவ்வளவு வேகமாக நகர்கிறது மற்றும் பொருள் மீட்டமைப்பு விநியோகம் எவ்வளவு அகலமாக உள்ளது என்பதைப் பொறுத்து மாறுபடும். ஒரு பெரிய மீட்டமைப்பு விநியோகத்துடன் கூடிய ஒரு சிக்கலான பணி பிரிவுகளுக்கு இடையில் பெரிய இடைவெளிகளை விட்டுச்செல்கிறது, இது தொடர்ச்சியான இயக்கமாக வெளிவர அதிக இடைக்கணிப்பு படிகள் தேவைப்படுகிறது. உங்கள் உருவாக்கப்பட்ட வீடியோக்கள் கை கட்டங்களுக்கு இடையில் தடுமாறுவதைக் காட்டினால், விதை டெமோக்களைக் குறை கூறுவதற்கு முன் பார்க்க வேண்டிய அளவுரு அது.

SO-101 இல் அதே பைப்லைன், உண்மையான லீடர் கையுடன்

இந்தப் பக்கத்தைப் படிக்கும் எவருக்கும் இது சுவாரஸ்யமானது, ஏனெனில் இது ஒரு ஐசக் லேபிற்குள் வைத்து, உங்களிடம் ஏற்கனவே உள்ள இயற்பியல் லீடர் ஆர்ம் மூலம் அதை இயக்க அனுமதிக்கும் ஒரே திறந்த பைப்லைன் ஆகும். இந்தக் கட்டுரையை எழுதும் நேரத்தில் LeIsaac, பதிப்பு 0.4.0, LeRobot இன் EnvHub உடன் ஒருங்கிணைக்கப்பட்ட அதிகாரப்பூர்வ பிரதிபலிப்பு-கற்றல் உருவகப்படுத்துதல் விளையாட்டு மைதானமாகும். அதன் இணக்கத்தன்மை அட்டவணை மூன்று வேலை செய்யும் சேர்க்கைகளை பட்டியலிடுகிறது; புதியது ஐசக் சிம் 5.1 ஐ ஐசக் லேப் v2.3.0, CUDA 12.8, PyTorch 2.7.0 மற்றும் Python 3.11 உடன் இணைக்கிறது, மேலும் ஆவணங்கள் 50-சீரிஸ் கார்டுகளுக்கு ஐசக் சிம் 5.0 அல்லது புதிய பதிப்பை பரிந்துரைக்கின்றன.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

அது நிறுவப்பட்டவுடன், /dev/ttyACM0 இல் உள்ள லீடர் ஆர்ம் உருவகப்படுத்தப்பட்ட ஃபாலோவரை இயக்குகிறது மற்றும் நேரடியாக HDF5 இல் பதிவு செய்கிறது. லூப் என்பது உண்மையான பதிவிலிருந்து உங்களுக்கு ஏற்கனவே தெரிந்த ஒன்றுதான், ஃபாலோவர் மட்டும் PhysX இல் ஒரு திடமான உடல்.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

அந்த பெரும்பாலான IDகள் ஒரு -Direct-v0 மாறுபாட்டிலும் உள்ளன, மேலும் python scripts/environments/list_envs.py தற்போதைய பட்டியலை அச்சிடுகிறது. நீங்கள் HDF5 ஐ முழுமையாகத் தவிர்த்து, மூன்று கொடிகளைச் சேர்ப்பதன் மூலம் தொலை இயக்கத்தின் போது LeRobot வடிவத்தில் எழுதலாம். ஆவணத்திலிருந்தே இரண்டு எச்சரிக்கைகள் வருகின்றன: ஆரம்ப நிலைகளில் இருந்து ஏற்படும் நிலையற்ற தன்மையைத் தவிர்க்க, ஒவ்வொரு எபிசோடின் முதல் 5 பிரேம்களை ரெக்கார்டர் தானாகவே தவிர்க்கிறது, மேலும் இது தொலை இயக்கத்தில் சிறிய தாமதங்களை ஏற்படுத்தலாம், இது உங்கள் விளக்கங்களின் தன்மையை அமைதியாக மாற்றும் ஒரு விஷயமாகும். பணி வெற்றிகரமாகக் குறிக்கப்பட்ட எபிசோட்களை மட்டுமே இது வெளியேற்றுகிறது.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

பெருக்கல் படி பின்னர் அந்த பதிவுகளில் இயங்குகிறது. LeIsaac, Isaac Lab Mimic ஐ நான்கு கட்டளைகளில் இணைக்கிறது, ஏனெனில் Mimic ஆனது இறுதி-செயல்பாட்டாளர் மற்றும் பொருள் நிலைகளில் இருந்து பாதைகளை பொதுமைப்படுத்துகிறது: கூட்டு-இடைவெளி செயல்களை IK-அடிப்படையிலான செயல்களாக மாற்றுதல், குறிப்புரைத்தல், உருவாக்குதல், பின்னர் கூட்டு இடைவெளிக்கு மீண்டும் மாற்றுதல்.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

பின்னர் LeRobot ஆக மாற்றவும். இது தளத்தின் வடிவமைப்பு விதி பொருந்தும் படி, LeIsaac உங்களுக்குத் தேவையான இரண்டு மாற்றிகளை (converters) சரியாக வழங்குகிறது: isaaclab2lerobot.py LeRobot v2 ஐ எழுதுகிறது, இது GR00T லோடர்கள் எடுக்கும் வடிவம், மற்றும் isaaclab2lerobotv3.py v3 ஐ எழுதுகிறது , மற்றும் . இந்த இரண்டு ஸ்கிரிப்ட்களும் ஒரே மாதிரியான வாதங்களை (arguments) எடுத்துக்கொள்கின்றன, ஆனால் வெவ்வேறு lerobot பதிப்புகளைப் பயன்படுத்துகின்றன, மேலும் வெற்றிகரமான எபிசோடுகள் மட்டுமே மாற்றப்படுகின்றன.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

பயிற்சி பெற்ற கொள்கைக்கு இரண்டு வழிகள்

வீடியோ உலக மாதிரிகள்: புதிய அடுக்கு, மற்றும் குறைவாக அளவிடப்பட்டது

DreamGen-இன் பின்னணியில் உள்ள யோசனை என்னவென்றால், இலக்கு ரோபோவின் உருவத்திற்கு ஏற்ற ஒரு வீடியோ ஜெனரேட்டிவ் மாடல், நீங்கள் ஒருபோதும் பார்வையிடாத காட்சிகளில் நம்பத்தகுந்த அத்தியாயங்களை கற்பனை செய்ய முடியும். இந்த பைப்லைன் நான்கு நிலைகளைக் கொண்டுள்ளது: வீடியோ உலக மாடலை ஃபைன்-ட்யூன் செய்தல், புகைப்பட யதார்த்தமான செயற்கை ரோபோ வீடியோக்களை உருவாக்குதல், ஒரு மறைமுக செயல் மாதிரி அல்லது தலைகீழ் இயக்கவியல் மாதிரி மூலம் போலி-செயல் வரிசைகளை மீட்டெடுத்தல், பின்னர் முடிவின் அடிப்படையில் ரோபோ கொள்கைக்கு பயிற்சி அளித்தல். NVIDIA-இன் GR00T-dreams களஞ்சியம் அதை சரியாக செயல்படுத்துகிறது.

தலைப்புச் செய்தி உண்மையானது மற்றும் தீவிரமாக எடுத்துக்கொள்ளத்தக்கது: ஒரே ஒரு சூழலில் ஒரு ஒற்றை எடுக்கும் மற்றும் வைக்கும் பணியிலிருந்து பெறப்பட்ட தொலைதூர இயக்கத் தரவு, காணப்பட்ட மற்றும் காணப்படாத சூழல்கள் இரண்டிலும், ஒரு மனித உருவத்தில் 22 புதிய நடத்தைகளை உருவாக்கியது. எச்சரிக்கை சமமாக உண்மையானது மற்றும் மூன்றாவது கட்டத்தில் உள்ளது.

இணை-பயிற்சி என்பது உண்மையில் ஆதாயங்களைக் காட்டும் செய்முறையாகும்

இலக்கியத்திலிருந்து ஒரு செயல்பாட்டுப் பாடத்தை நீங்கள் எடுத்துக்கொண்டால், இதை எடுத்துக்கொள்ளுங்கள். சிம்-மற்றும்-உண்மை இணைப் பயிற்சி ஆய்வு (மட்டுக்கூரி மற்றும் சகாக்கள், 2025) பார்வை அடிப்படையிலான ரோபோ கையாளுதல் பணிகளைத் தீர்க்க உருவகப்படுத்துதல் தரவைப் பயன்படுத்துவதற்கான ஒரு எளிய செய்முறையைக் கண்டறிய முயன்றது, இது ஒரு ரோபோ கை மற்றும் ஒரு ஹியூமனாய்டு என இரண்டு களங்களில் மேற்கொள்ளப்பட்டது, மேலும் அதன் முடிவு என்னவென்றால், நீங்கள் ஒரு கலவையில் பயிற்சி செய்ய வேண்டும். உருவகப்படுத்துதல் தரவு நிஜ உலகப் பணி செயல்திறனை சராசரியாக 38 சதவீதம் மேம்படுத்தியது, மேலும் உருவகப்படுத்துதல் மற்றும் நிஜ உலகத் தரவுகளுக்கு இடையே குறிப்பிடத்தக்க வேறுபாடுகள் இருந்தபோதிலும் இது நிலைத்திருந்தது என்று ஆய்வறிக்கை தெளிவாகக் கூறுகிறது.

அந்த கடைசி வாக்கியம் 38 சதவீதத்தை விட முக்கியமானது. நிஜ தரவு கலவையில் அதை நிலைநிறுத்த இருக்கும் பட்சத்தில், உருவகப்படுத்துதல் பயனுள்ளதாக இருக்க ஒரு சரியான டிஜிட்டல் இரட்டையாக இருக்க வேண்டியதில்லை என்று இது அர்த்தப்படுத்துகிறது. சிம்-மட்டும் பரிமாற்றம் என்பது விலையுயர்ந்த பாதை: ஒரு கொள்கையை உருவகப்படுத்துதலில் மட்டுமே பயிற்சி செய்து அதை நிஜ உலகிற்கு மாற்றுவது, யதார்த்த இடைவெளியைக் குறைக்க கணிசமான மனித முயற்சியைக் கோருகிறது என்று அதே ஆய்வறிக்கை கூறுகிறது. இணைப் பயிற்சி, கொள்கையை தானாகவே இடைவெளியைக் குறைக்கச் சொல்லாததன் மூலம் பெரும்பாலான முயற்சியைத் தவிர்க்கிறது.

நடைமுறையில், இந்த தளத்தில், இணைப் பயிற்சி என்பது ஒரு விஷயத்தைக் குறிக்கிறது: இரண்டு எபிசோட் தொகுப்புகளையும் ஒரே LeRobot தரவுத்தொகுப்பு இல் சீரான கேமரா விசைகள், சீரான மூட்டு வரிசை மற்றும் சீரான அலகுகளுடன் வைத்து, பின்னர் ஒரு சாதாரண ஃபைன்-ட்யூன். பயிற்சி படிவத்தில் கலவை-எடை குமிழ் இல்லை. நீங்கள் 3:1 சிம்-டு-ரியல் விகிதத்தை விரும்பினால், தரவுத்தொகுப்பில் நீங்கள் எத்தனை எபிசோட்களை வைக்கிறீர்கள் என்பதன் மூலம் அதை வெளிப்படுத்துகிறீர்கள்.

சிமுலேஷனில் இருந்து கிடைக்கும் மலிவான வெற்றி பயிற்சி தரவு அல்ல

அது மதிப்பீடு. இரண்டு ஒப்பிடுவதற்கு ஒரு பணிக்கு டஜன் கணக்கான உண்மையான சோதனைகளை இயக்குவது ஒரு நாள் கை நேரம், மேலும் சோதனைகளுக்கு இடையில் கை நகர்கிறது. SIMPLER (Li மற்றும் சகாக்கள், 2024) உண்மையான கொள்கைகளுக்குப் பயிற்சி அளிப்பதை விட அவற்றை மதிப்பிடும் நோக்கத்துடன் உருவகப்படுத்தப்பட்ட சூழல்களை உருவாக்கியது, பின்னர் சிம் தரவரிசை உண்மையான தரவரிசையை எவ்வளவு சிறப்பாகக் கணிக்கிறது என்பதை அளவிட்டது. ஒரு தனி SIMPLER சூழல் ஒரு நுகர்வோர் RTX 4090 இல் 640 x 512 தெளிவுத்திறனில் வினாடிக்கு 3,500 சிமுலேஷன் படிகளில் ரெண்டர் செய்கிறது, இது 500 Hz சிமுலேஷன் அதிர்வெண்ணின் கீழ் உண்மையான மதிப்பீட்டை விட 7 மடங்கு வேகமானது.

இவை ஆறு பொதுவான ஓப்பன் சோர்ஸ் செக்பாயிண்ட்களுக்கான மூன்று Google Robot பணி குழுக்களின் சராசரிகள்: வெவ்வேறு பயிற்சி நிலைகளில் மூன்று RT-1 செக்பாயிண்ட்கள், RT-1-X, RT-2-X மற்றும் Octo-Base. உண்மையான தரப்பு சீரான சோதனை எண்ணிக்கையைக் கொண்டிருக்கவில்லை, இதை மேற்கோள் காட்டுவதற்கு முன் தெரிந்து கொள்வது அவசியம்: கோக் கேனை எடுக்க 75 சோதனைகள், அருகில் நகர்த்த 60, டிராயரைத் திறக்க மற்றும் மூட 54 சோதனைகள் மற்றும் நீண்ட டிராயர்-மற்றும்-ஆப்பிள் பணிக்கு 27 சோதனைகள். சரிபார்ப்பு MSE உடன் ஒப்பிடுவது பயனுள்ள பகுதியாகும். சரிபார்ப்பு இழப்பால் மாதிரி தேர்வு இந்த செக்பாயிண்ட்களை மோசமாக தரவரிசைப்படுத்துகிறது, மேலும் காட்சி பொருத்தத்தின் கீழ் 0.924 Pearson r என்பது ஒரு செக்பாயிண்ட் SIMPLER இல் சிறப்பாக மதிப்பெண் பெற்றால், அது பெஞ்சிலும் சிறப்பாக மதிப்பெண் பெறும் என்று அர்த்தம். இது மீண்டும் மீண்டும் செய்யக்கூடிய ஒரு இரவுநேர ஸ்கோர்போர்டு, மேலும் சிம்-டு-ரியல் பயிற்சி பரிமாற்றம் பற்றி நீங்கள் எதையும் நம்ப வேண்டியதில்லை.

இந்த அளவுகோல் எண்கள் ஒரு பார்வை-மொழி-செயல் மாதிரி பற்றி உங்களுக்கு என்ன சொல்கின்றன, என்ன சொல்லவில்லை என்பது குறித்த பரந்த சூழலை நீங்கள் அறிய விரும்பினால், அதை நாங்கள் தனித்தனியாக VLA கண்ணோட்டம் இல் எழுதியுள்ளோம்.

இந்த தளம் உங்களுக்கு எங்கு உதவாது

எல்லைகளைப் பற்றி தெளிவாக இருப்பது அனைவருக்கும் நேரத்தை மிச்சப்படுத்துகிறது. AY-Robots என்பது பதிவுசெய்தல், பயிற்சி அளித்தல் மற்றும் சேவை செய்யும் தளமாகும். இதில் எந்த சிமுலேட்டரும் இல்லை.

• Isaac Lab இல்லை, MimicGen இல்லை, உலக மாதிரி இல்லை, காட்சி உருவாக்கம் இல்லை. உங்களுக்கு உருவாக்கப்பட்ட தரவு தேவைப்பட்டால், அதை வேறு எங்காவது உருவாக்கி முடிவுகளைக் கொண்டு வாருங்கள்.
• பயிற்சியாளர்கள் LeRobot தரவுத்தொகுப்புகளை மட்டுமே பயன்படுத்துகிறார்கள். ஒரு சிமுலேட்டர் ஏற்றுமதி உள்ளீடாக மாறுவதற்கு முன் மாற்றப்பட வேண்டும், மேலும் அது சரியான பதிப்பாக இருக்க வேண்டும்: GR00T N1.5 மற்றும் N1.7 க்கு v2.0 அல்லது v2.1, Pi0.5, SmolVLA மற்றும் ACT க்கு v3.0.
• GR00T இன் ஃபைன்-ட்யூனிங் நுழைவுப் புள்ளி ஒரு tyro CLI ஆகும், இது எந்த விதையையும் வெளிப்படுத்தாது, எனவே GR00T இயக்கங்கள் பிட்-க்கு-பிட் மறுஉருவாக்கம் செய்ய முடியாதவை. நீங்கள் ஒரு கவனமான சிம்-வெர்சஸ்-ரியல் அபிலேஷனை இயக்கினால், அது ஒரு உண்மையான வரம்பு. lerobot இன் சொந்த இயல்புநிலை விதை 1000 ஆகும், மேலும் ACT, SmolVLA மற்றும் Pi0.5 வடிவங்கள் ஒரு விதை புலத்தை வெளிப்படுத்துகின்றன.
• கிரேடியன்ட் குவிப்பு உண்மையில் இரண்டு GR00T பயிற்சியாளர்களுக்கு மட்டுமே பயன்படுத்தப்படுகிறது. Pi0.5 மற்றும் SmolVLA க்கு, புலம் வடிவத்தில் உள்ளது, ஆனால் lerobot 0.5.1 இல் அத்தகைய கொடி இல்லை, எனவே அது எதையும் செய்யாது.
• வேகமான பணிகளுக்கு, இன்ஃபரன்ஸ் சர்வோக்களுக்கு அடுத்ததாக இருக்க வேண்டும். கட்டுப்பாட்டு சுழற்சி மாதிரியைப் பொறுத்து ஒரு செயல் படிக்கு 20 முதல் 485 ms ஆகும், மேலும் பொது இணைய ரவுண்ட் ட்ரிப்களைச் சேர்ப்பது ஒரு செயல்படும் கொள்கையை தயக்கமானதாக மாற்றுகிறது. ரிமோட் இன்ஃபரன்ஸ் மெதுவான பிக்-அண்ட்-பிளேஸுக்கு சாத்தியமானது, வேகமான எதிர்வினை இயக்கத்திற்கு அல்ல.

நீங்கள் பாதுகாக்கக்கூடிய ஒரு பட்ஜெட்

ஒவ்வொன்றும் உண்மையில் வெளியிடும் எண்களுடன் இரண்டு வழிகளையும் அருகருகே வைத்தால், குறைந்த செலவில் இயங்கும் ஒரு ஒற்றைப் பணி திட்டத்திற்கான முடிவு பொதுவாக தானாகவே எடுக்கப்படும்.

SO-100 இல் முதல் கொள்கைக்கு, பதிவு செய்யவும். மற்றும் ஒரு காபியின் விலையில் ஒரு சேவை செய்யப்பட்ட செக்பாயிண்ட்டை உங்களுக்குக் கிடைக்கும், மேலும் எதிர்கால இணைப் பயிற்சி கலவையின் உண்மையான பாதியை நீங்கள் பெறுவீர்கள். உங்களிடம் ஒரு செயல்படும் அடிப்படை மற்றும் நீங்கள் பெயரிடக்கூடிய ஒரு குறிப்பிட்ட பொதுமைப்படுத்தல் தோல்வி இருக்கும்போது சிமுலேட்டரை அணுகவும், உதாரணமாக ஒரு கொள்கை .

ஆதாரத்தை மதிக்கும் ஒரு செய்முறை

1. 1
   முதலில் உண்மையான அடிப்படையைப் பதிவு செய்யவும்

   30 episodes for SmolVLA, 50 for ACT, GR00T N1.7 மற்றும் Pi0.5 க்கு. ஒருமுறை பயிற்சி அளிக்கவும். அந்த கொள்கை எதில் தோல்வியடைகிறதோ அதுவே உங்கள் செயற்கை தரவுகளுக்கான விவரக்குறிப்பு.

2. 2
   பொதுமைப்படுத்தல் தோல்வியை பெயரிடுங்கள்

   பொருளின் நிலை? வெளிச்சம்? மேசை உயரம்? கவனச்சிதறல்கள்? அறிவுறுத்தலின் வேறுபட்ட சொற்றொடர்? செயற்கை தரவு இவற்றில் ஒரே நேரத்தில் ஒன்றில் மட்டுமே சிறந்தது, எது என்று உங்களால் சொல்ல முடியாவிட்டால் பயனற்றது.

3. 3
   அதை உள்ளடக்கும் மலிவான குடும்பத்தைத் தேர்ந்தெடுக்கவும்

   நிலை மற்றும் அமைப்பு மாறுபாடு: பாதை பெருக்கம். வெளிச்சம் மற்றும் அமைப்பு: முதலில் பட விரிவாக்கம், இரண்டாவதாக உலக மாதிரி. முற்றிலும் புதிய காட்சிகள்: இயற்பியல் உருவகப்படுத்துதல்கள், மற்றும் மாதிரி செலவை ஏற்றுக்கொள்ளவும்.

4. 4
   உருவாக்கி, பின்னர் தீவிரமாக நிராகரிக்கவும்

   உருவாக்கும் முயற்சிகள் தோல்வியடைகின்றன, மேலும் Isaac Lab இன் சொந்த வேட்பாளர் வெற்றி விகிதம் பணியைப் பொறுத்து 70 சதவீதத்திலிருந்து 1 சதவீதத்திற்கும் குறைவாக மாறுபடும். வெற்றிகரமான, பணியை முடிக்கும் பாதைகளை மட்டுமே வைத்துக்கொள்ளுங்கள், மேலும் தொகுப்பை நம்புவதற்கு முன் ஒரு மாதிரியை வீடியோவாகப் பாருங்கள்.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   இணைப் பயிற்சி அளிக்கவும், மாற்ற வேண்டாம்

   உருவாக்கப்பட்ட எபிசோட்களை உண்மையானவற்றுடன் ஒரே LeRobot தரவுத்தொகுப்பில் ஒரே மாதிரியான கேமரா விசைகள் மற்றும் கூட்டு வரிசையுடன் இணைக்கவும். 38 சதவீத எண்ணிக்கை ஒரு இணைப் பயிற்சி எண்ணிக்கை.

6. 6
   உண்மையான கையில் மட்டுமே மதிப்பீடு செய்யவும்

   உருவகப்படுத்தப்பட்ட மதிப்பீடு ஒரு நல்ல தரவரிசை சமிக்ஞை (SIMPLER இன் காட்சி-பொருந்தும் அமைப்பில் பியர்சன் r 0.924) ஆனால் அது ஏற்றுக்கொள்ளும் சோதனை அல்ல. அதை நம்புவதற்கு முன் சோதனைச் சாவடியை பெஞ்சில் இயக்கவும்.

உண்மையான பதிவுகளுக்கான சரிபார்ப்புப் பட்டியலிலிருந்து தொடங்க விரும்பினால், கேமரா வைப்பு, தாக்கங்கள் மற்றும் ஒரு தரவுத்தொகுப்பை பயன்படுத்த முடியாததாக்கும் தோல்வி முறைகள். வடிவத்தின் விவரங்கள் , மற்றும் ஹைப்பர்பாராமீட்டர் பக்கம் .