डेटासेट के साथ काम करना

LeRobot डेटासेट फ़ॉर्मैट

AY-Robots सभी डेमोंस्ट्रेशन डेटा को Hugging Face द्वारा बनाए रखे गए LeRobot डेटासेट फ़ॉर्मैट में स्टोर करता है। इसका व्यावहारिक फ़ायदा पोर्टेबिलिटी है: यहां रिकॉर्ड किया गया डेटासेट सीधे LeRobot-आधारित ट्रेनिंग कोड में लोड होता है, और कहीं और उसी फ़ॉर्मैट में रिकॉर्ड किए गए डेटासेट बिना किसी कन्वर्ज़न के प्लेटफ़ॉर्म पर अपलोड और इस्तेमाल किए जा सकते हैं।

एक डेटासेट एपिसोड का संग्रह है। एक एपिसोड किसी टास्क का एक पूरा प्रयास है, एक तय शुरुआती स्थिति से लेकर उस बिंदु तक जहां आपने रिकॉर्डिंग रोकी। डिस्क पर, एक एपिसोड तीन तरह की फ़ाइलों में बंटा होता है: न्यूमेरिक स्ट्रीम वाली एक Parquet फ़ाइल, हर कैमरे के लिए एक वीडियो फ़ाइल, और सब कुछ जोड़ने वाला मेटाडेटा।

info.json में मौजूद feature schema वही है जिसे ट्रेनिंग कोड आपका डेटा समझने के लिए पढ़ता है: कौन-कौन से observation key मौजूद हैं, उनके shape, और रिकॉर्डिंग की दर। दो डेटासेट तभी संगत हैं जब उनका schema मेल खाता हो, और मर्ज वेलिडेशन ठीक यही जांचता है।

जॉइंट वैल्यू प्रतिशत हैं, डिग्री नहीं

AY-Robots डेटासेट में सभी जॉइंट वैल्यू LeRobot-नॉर्मलाइज़्ड हैं: हर वैल्यू -100 से 100 के बीच होती है और उस जॉइंट की कैलिब्रेटेड रेंज के प्रतिशत को दर्शाती है, न कि डिग्री में कोई एंगल। 0 की रीडिंग कैलिब्रेटेड रेंज के बीच का बिंदु है, -100 और 100 इसकी सीमाएं हैं।

डैशबोर्ड में क्लाउड डेटासेट

Dashboard > Datasets आपके क्लाउड डेटासेट को एपिसोड काउंट, फ़ाइल साइज़, और संग्रह स्थिति के साथ सूचीबद्ध करता है। टेलीऑपरेशन सेशन डेटा रिकॉर्ड करने पर डेटासेट अपने आप बनते हैं, और आप एक को साफ़ तौर पर बना भी सकते हैं और डेस्कटॉप क्लाइंट से रिकॉर्डिंग अपलोड करके उसे भर सकते हैं।

• बनाएं: नए डेटासेट सेशन से अपने आप दिखते हैं, या एक खाली बनाएं और उसमें अपलोड करें।
• नाम बदलें: कभी भी डिस्प्ले नाम बदलें; यह बदलाव खुद डेटा को नहीं छूता।
• हटाएं: डेटासेट और उसके सभी एपिसोड व फ़ाइलों को हटा देता है। हटाना स्थायी है, इसलिए अगर डेटा दोबारा चाहिए हो सकता है तो पहले एक आर्काइव डाउनलोड कर लें।

एपिसोड ब्राउज़र

किसी डेटासेट को खोलने पर आप एपिसोड ब्राउज़र में पहुंचते हैं। हर एपिसोड में उसके कैमरा स्ट्रीम के लिए एक वीडियो प्लेयर और सिंक्रोनाइज़्ड जॉइंट चार्ट होते हैं जो पूरे एपिसोड में नॉर्मलाइज़्ड जॉइंट वैल्यू को प्लॉट करते हैं। वीडियो को स्क्रब करने पर चार्ट कर्सर भी साथ हिलता है, जिससे समस्याएं पकड़ना तेज़ हो जाता है: झटकेदार अप्रोच चार्ट में स्पाइक के रूप में दिखता है, वीडियो देखने से पहले ही असफल ग्रास्प ग्रिपर चैनल में दिख जाता है।

एपिसोड लेबल: Success, Recovery, Failure

हर एपिसोड तीन में से एक लेबल ले सकता है। Success किसी टास्क के साफ़-सुथरे डेमोंस्ट्रेशन को चिह्नित करता है। Recovery उस एपिसोड को चिह्नित करता है जहां प्रयास के बीच में कुछ गलत हुआ और आपने उसे सुधारा; ये कीमती होते हैं क्योंकि ये पॉलिसी को वापस पटरी पर आना सिखाते हैं। Failure उन एपिसोड को चिह्नित करता है जो लक्ष्य तक नहीं पहुंचे और आमतौर पर ट्रेनिंग से बाहर रखे जाने चाहिए। समीक्षा करते समय लेबल लगाना उस पॉलिसी को डीबग करने से कहीं सस्ता है जिसने चुपचाप खराब डेमोंस्ट्रेशन से सीखा हो।

डेटासेट मर्ज करना

मर्जिंग कई रिकॉर्डिंग को मिलाकर एक बड़ा डेटासेट बनाती है, जैसे एक ही टास्क पर हफ़्ते भर के सेशन या दो कैलिब्रेटेड आर्म से आई रिकॉर्डिंग। मर्ज कई tar.gz आर्काइव लेता है, जिनमें से हर एक में एक LeRobot डेटासेट होता है, और फिर से इंडेक्स किए गए एपिसोड के साथ एक अकेला डेटासेट बनाता है।

1. 1
   आर्काइव तैयार करें

   हर इनपुट एक पूरा LeRobot डेटासेट होना चाहिए जो tar.gz आर्काइव के रूप में पैक हो, जिसमें इसकी meta डायरेक्टरी भी शामिल हो। info.json के बिना अधूरे आर्काइव को वेलिडेट नहीं किया जा सकता और उन्हें अस्वीकार कर दिया जाता है।

2. 2
   कई आर्काइव अपलोड करें

   Dashboard > Datasets में, एक मर्ज शुरू करें और उन सभी tar.gz आर्काइव को चुनें जिन्हें आप एक साथ मिलाना चाहते हैं।

3. 3
   वेलिडेशन

   प्लेटफ़ॉर्म जांचता है कि सभी इनपुट में fps, feature schema, और robot_type मेल खाते हों। अगर इनमें से कोई भी अलग हो, तो मर्ज को उस बेमेल की वजह के साथ अस्वीकार कर दिया जाता है, क्योंकि असंगत स्ट्रीम वाला एक मिला हुआ डेटासेट ट्रेनिंग को चुपचाप खराब कर देगा।

4. 4
   नतीजे की समीक्षा करें

   मिला हुआ डेटासेट आपकी सूची में मिले हुए एपिसोड काउंट के साथ दिखता है। एपिसोड ब्राउज़र खोलें और ट्रेन करने से पहले हर स्रोत के कुछ एपिसोड जांच लें।

ये तीन संगतता नियम जानबूझकर सख़्त हैं। फ़्रेम रेट का बेमेल होना हर टाइमस्टेप का मतलब बदल देता है, schema का बेमेल होना लोडर को पूरी तरह तोड़ देता है, और अलग-अलग robot type मिलाना ऐसा डेटासेट बनाता है जिस पर कोई भी पॉलिसी काम नहीं कर सकती। अगर आपको एक ही मॉडल के अलग-अलग आर्म से डेटा मिलाना है, तो यह ठीक है: robot_type मॉडल को दर्शाता है, भौतिक यूनिट को नहीं।

डेटासेट मार्केटप्लेस

मार्केटप्लेस आपको दूसरों द्वारा रिकॉर्ड किए गए डेटासेट खरीदने और अपने खुद के बेचने देता है। खरीदे गए डेटासेट आपके डैशबोर्ड में आपकी अपनी रिकॉर्डिंग जैसे ही LeRobot ले-आउट में आते हैं, इसलिए वे बिना किसी अतिरिक्त कदम के एपिसोड ब्राउज़र, मर्जिंग, और ट्रेनिंग के साथ काम करते हैं।

अगर आप बेच रहे हैं, तो लिस्ट करने से पहले क्यूरेट करें। एपिसोड की समीक्षा करें, ईमानदारी से लेबल लगाएं, और पक्का करें कि टास्क स्ट्रिंग यह बताती है कि रिकॉर्डिंग में असल में क्या होता है। आपके डेटासेट को आंकने वाला खरीदार वही एपिसोड ब्राउज़र देखता है जो आप देखते हैं, और साफ़ लेबल व लगातार डेमोंस्ट्रेशन वाले डेटासेट आपने कभी रिकॉर्ड की हर चीज़ के कच्चे डंप से कहीं ज़्यादा कीमती होते हैं।

अक्सर पूछे जाने वाले प्रश्न