டேட்டாசெட்களுடன் வேலை செய்தல்

LeRobot டேட்டாசெட் ஃபார்மேட்

AY-Robots அனைத்து டெமான்ஸ்ட்ரேஷன் டேட்டாவையும் Hugging Face பராமரிக்கும் LeRobot டேட்டாசெட் ஃபார்மேட்டில் சேமிக்கிறது. நடைமுறை நன்மை போர்ட்டபிலிட்டி: இங்கே பதிவு செய்யப்பட்ட ஒரு டேட்டாசெட் நேரடியாக LeRobot-அடிப்படையிலான பயிற்சி கோடில் லோட் ஆகிறது, வேறு எங்காவது அதே ஃபார்மேட்டில் பதிவு செய்யப்பட்ட டேட்டாசெட்களை எந்த மாற்றமும் இல்லாமல் தளத்தில் அப்லோட் செய்து பயன்படுத்தலாம்.

ஒரு டேட்டாசெட் என்பது எபிசோட்களின் தொகுப்பு. ஒரு எபிசோட் என்பது ஒரு பணிக்கான ஒரு முழுமையான முயற்சி, ஒரு நிர்ணயிக்கப்பட்ட தொடக்க நிலையிலிருந்து நீங்கள் பதிவை நிறுத்திய புள்ளி வரை. டிஸ்க்கில், ஒரு எபிசோட் மூன்று வகையான கோப்புகளாக பிரிக்கப்படுகிறது: எண் ஸ்ட்ரீம்களைக் கொண்ட ஒரு Parquet கோப்பு, ஒவ்வொரு கேமராவுக்கும் ஒரு வீடியோ கோப்பு, அனைத்தையும் இணைக்கும் மெட்டாடேட்டா.

info.json இல் உள்ள ஃபீச்சர் ஸ்கீமா உங்கள் டேட்டாவைப் புரிந்துகொள்ள பயிற்சி கோட் படிக்கும் விஷயம்: எந்த அப்சர்வேஷன் கீக்கள் உள்ளன, அவற்றின் வடிவங்கள், பதிவு விகிதம். இரண்டு டேட்டாசெட்கள் அவற்றின் ஸ்கீமாக்கள் ஒத்துப்போகும்போது மட்டுமே பொருந்தும், இணைத்தல் சரிபார்ப்பு சரியாக இதைத்தான் சரிபார்க்கிறது.

ஜாயிண்ட் மதிப்புகள் சதவீதங்கள், டிகிரிகள் அல்ல

AY-Robots டேட்டாசெட்களில் உள்ள அனைத்து ஜாயிண்ட் மதிப்புகளும் LeRobot-நார்மலைஸ் செய்யப்பட்டவை: ஒவ்வொரு மதிப்பும் -100 முதல் 100 வரை இருக்கும், அந்த ஜாயிண்டின் கேலிபரேட் செய்யப்பட்ட வரம்பின் சதவீதத்தை குறிக்கிறது, டிகிரிகளில் ஒரு கோணம் அல்ல. 0 என்பது கேலிபரேட் செய்யப்பட்ட வரம்பின் மையம், -100 மற்றும் 100 அதன் வரம்புகள்.

டாஷ்போர்டில் கிளவுட் டேட்டாசெட்கள்

Dashboard > Datasets உங்கள் கிளவுட் டேட்டாசெட்களை எபிசோட் எண்ணிக்கைகள், கோப்பு அளவுகள், சேகரிப்பு நிலையுடன் பட்டியலிடுகிறது. ஒரு டெலிஆபரேஷன் செஷன் டேட்டாவைப் பதிவு செய்யும்போது டேட்டாசெட்கள் தானாகவே உருவாகின்றன, நீங்கள் ஒன்றைத் தெளிவாக உருவாக்கி டெஸ்க்டாப் கிளையன்டிலிருந்து பதிவுகளை அப்லோட் செய்து அதை நிரப்பலாம்.

• உருவாக்குதல்: புதிய டேட்டாசெட்கள் செஷன்களிலிருந்து தானாகவே தோன்றும், அல்லது ஒரு காலியான ஒன்றை உருவாக்கி அதில் அப்லோட் செய்யவும்.
• மறுபெயரிடுதல்: எப்போது வேண்டுமானாலும் காட்சிப் பெயரை மாற்றவும்; இந்த மாற்றம் உண்மையான டேட்டாவைத் தொடாது.
• நீக்குதல்: டேட்டாசெட்டையும் அதன் அனைத்து எபிசோட்கள் மற்றும் கோப்புகளையும் அகற்றுகிறது. நீக்குதல் நிரந்தரமானது, எனவே டேட்டா மீண்டும் தேவைப்படலாம் என்று நினைத்தால் முதலில் ஒரு ஆர்க்கைவை பதிவிறக்கவும்.

எபிசோட் ப்ரௌசர்

ஒரு டேட்டாசெட்டைத் திறப்பது உங்களை எபிசோட் ப்ரௌசருக்கு அழைத்துச் செல்கிறது. ஒவ்வொரு எபிசோட்டுக்கும் அதன் கேமரா ஸ்ட்ரீம்களுக்கான ஒரு வீடியோ பிளேயரும், எபிசோட் முழுவதும் நார்மலைஸ் செய்யப்பட்ட ஜாயிண்ட் மதிப்புகளை வரைபடமாக்கும் ஒத்திசைக்கப்பட்ட ஜாயிண்ட் சார்ட்களும் உள்ளன. வீடியோவை ஸ்க்ரப் செய்வது சார்ட் கர்சரையும் அதனுடன் நகர்த்துகிறது, இது பிரச்சினைகளை விரைவாகக் கண்டறிய உதவுகிறது: ஒரு சுணக்கமான அணுகுமுறை சார்ட்களில் ஸ்பைக்குகளாகத் தோன்றும், தோல்வியடைந்த ஒரு பிடிப்பு வீடியோவைப் பார்ப்பதற்கு முன்பே கிரிப்பர் சேனலில் தெரியும்.

எபிசோட் லேபிள்கள்: Success, Recovery, Failure

ஒவ்வொரு எபிசோட்டும் மூன்று லேபிள்களில் ஒன்றை சுமக்கலாம். Success என்பது பணியின் தூய்மையான டெமான்ஸ்ட்ரேஷனைக் குறிக்கிறது. Recovery என்பது முயற்சியின் நடுவில் ஏதோ தவறாகி நீங்கள் அதை சரிசெய்த ஒரு எபிசோட்டைக் குறிக்கிறது; இவை மதிப்புமிக்கவை, ஏனெனில் அவை ஒரு பாலிசிக்கு மீண்டும் பாதைக்குத் திரும்புவது எப்படி என்று கற்றுத்தருகின்றன. Failure என்பது இலக்கை எட்டாத எபிசோட்களைக் குறிக்கிறது, இவை பொதுவாக பயிற்சியிலிருந்து வெளியே வைக்கப்பட வேண்டும். நீங்கள் மறுஆய்வு செய்யும்போதே லேபிள் செய்வது, மோசமான டெமான்ஸ்ட்ரேஷன்களிலிருந்து அமைதியாகக் கற்றுக்கொண்ட ஒரு பாலிசியை பிழைதிருத்துவதை விட மிகவும் மலிவானது.

டேட்டாசெட்களை இணைத்தல்

இணைத்தல் பல பதிவுகளை ஒரு பெரிய டேட்டாசெட்டாக இணைக்கிறது, உதாரணமாக அதே பணியில் ஒரு வார செஷன்கள் அல்லது இரண்டு கேலிபரேட் செய்யப்பட்ட ஆர்ம்களிலிருந்து பதிவுகள். இணைத்தல் பல tar.gz ஆர்க்கைவ்களை எடுக்கிறது, ஒவ்வொன்றிலும் ஒரு LeRobot டேட்டாசெட் உள்ளது, மறு-இண்டெக்ஸ் செய்யப்பட்ட எபிசோட்களுடன் ஒரு ஒற்றை டேட்டாசெட்டை உருவாக்குகிறது.

1. 1
   ஆர்க்கைவ்களைத் தயார் செய்யவும்

   ஒவ்வொரு உள்ளீடும் அதன் meta அடைவு உட்பட ஒரு tar.gz ஆர்க்கைவாக பேக் செய்யப்பட்ட ஒரு முழுமையான LeRobot டேட்டாசெட்டாக இருக்க வேண்டும். info.json இல்லாத பகுதி ஆர்க்கைவ்களை சரிபார்க்க முடியாது, அவை நிராகரிக்கப்படும்.

2. 2
   பல ஆர்க்கைவ்களை அப்லோட் செய்யவும்

   Dashboard > Datasets இல், ஒரு இணைத்தலைத் தொடங்கி, ஒரே படியில் நீங்கள் இணைக்க விரும்பும் அனைத்து tar.gz ஆர்க்கைவ்களையும் தேர்ந்தெடுக்கவும்.

3. 3
   சரிபார்ப்பு

   அனைத்து உள்ளீடுகளிலும் fps, ஃபீச்சர் ஸ்கீமா, robot_type பொருந்துகிறதா என்று தளம் சரிபார்க்கிறது. மூன்றில் ஏதேனும் வேறுபட்டால், பொருந்தாத விஷயத்தைப் பெயரிட்டு இணைத்தல் நிராகரிக்கப்படும், ஏனெனில் ஒத்திசைவற்ற ஸ்ட்ரீம்களைக் கொண்ட ஒரு இணைந்த டேட்டாசெட் பயிற்சியை அமைதியாக சிதைக்கும்.

4. 4
   முடிவை ஆய்வு செய்யவும்

   இணைக்கப்பட்ட டேட்டாசெட் இணைந்த எபிசோட் எண்ணிக்கையுடன் உங்கள் பட்டியலில் தோன்றும். அதன் மீது பயிற்சி பெறுவதற்கு முன் எபிசோட் ப்ரௌசரைத் திறந்து ஒவ்வொரு மூலத்திலிருந்தும் சில எபிசோட்களை பரிசோதனை செய்யவும்.

இந்த மூன்று பொருந்தும் தன்மை விதிகள் வேண்டுமென்றே கடுமையானவை. ஃப்ரேம் விகித வேறுபாடுகள் ஒவ்வொரு டைம்ஸ்டெப்பின் அர்த்தத்தையும் மாற்றுகின்றன, ஸ்கீமா வேறுபாடுகள் லோடர்களை முழுவதுமாக உடைக்கின்றன, ரோபோ வகைகளைக் கலப்பது எந்த ஒரு பாலிசியும் செயல்பட முடியாத ஒரு டேட்டாசெட்டை உருவாக்குகிறது. ஒரே மாடலின் வெவ்வேறு ஆர்ம்களிலிருந்து டேட்டாவை இணைக்க வேண்டும் என்றால், அது சரி: robot_type மாடலைக் குறிக்கிறது, இயற்பியல் யூனிட்டை அல்ல.

டேட்டாசெட் மார்க்கெட்பிளேஸ்

மார்க்கெட்பிளேஸ் மற்றவர்கள் பதிவு செய்த டேட்டாசெட்களை வாங்கவும், உங்களுடையதை விற்கவும் அனுமதிக்கிறது. வாங்கப்பட்ட டேட்டாசெட்கள் உங்கள் சொந்த பதிவுகளின் அதே LeRobot அமைப்பில் உங்கள் டாஷ்போர்டில் வருகின்றன, எனவே அவை எபிசோட் ப்ரௌசர், இணைத்தல், பயிற்சியுடன் எந்த கூடுதல் படிகளும் இல்லாமல் வேலை செய்கின்றன.

நீங்கள் விற்றால், பட்டியலிடுவதற்கு முன் க்யூரேட் செய்யுங்கள். எபிசோட்களை மறுஆய்வு செய்யுங்கள், அவற்றை நேர்மையாக லேபிள் செய்யுங்கள், பணி ஸ்ட்ரிங்குகள் பதிவுகளில் உண்மையில் என்ன நடக்கிறது என்பதை விவரிக்கின்றன என்பதை உறுதிசெய்யுங்கள். உங்கள் டேட்டாசெட்டை மதிப்பிடும் ஒரு வாங்குபவர் நீங்கள் பார்க்கும் அதே எபிசோட் ப்ரௌசரைப் பார்க்கிறார், தூய்மையான லேபிள்கள் மற்றும் சீரான டெமான்ஸ்ட்ரேஷன்கள் கொண்ட டேட்டாசெட்கள் நீங்கள் ஒருபோதும் பதிவு செய்த அனைத்தையும் மொத்தமாக கொட்டுவதை விட மதிப்புமிக்கவை.

அடிக்கடி கேட்கப்படும் கேள்விகள்