العمل مع مجموعات البيانات

صيغة بيانات LeRobot

تخزّن AY-Robots كل بيانات demonstration بصيغة مجموعة بيانات LeRobot التي تحافظ عليها Hugging Face. الفائدة العملية هي إمكانية النقل: مجموعة بيانات مُسجَّلة هنا تُحمَّل مباشرة في كود تدريب مبني على LeRobot، ومجموعات بيانات مُسجَّلة في مكان آخر بالصيغة نفسها يمكن رفعها واستخدامها على المنصة دون تحويل.

مجموعة البيانات هي مجموعة من episodes. episode واحدة هي محاولة كاملة لمهمة ما، من حالة بداية محددة إلى النقطة التي أوقفت فيها التسجيل. على القرص، تنقسم episode عبر ثلاثة أنواع من الملفات: ملف Parquet بالتدفقات الرقمية، ملف فيديو واحد لكل كاميرا، وبيانات وصفية (metadata) تربط كل شيء معاً.

feature schema في info.json هو ما يقرأه كود التدريب لفهم بياناتك: مفاتيح observation الموجودة، وأشكالها، ومعدل التسجيل. مجموعتا بيانات متوافقتان فقط إن تطابق schema الخاص بهما، وهذا بالضبط ما يتحقق منه التحقق من صحة الدمج.

قيم joint نسب مئوية، لا درجات

كل قيم joint في مجموعات بيانات AY-Robots مُطبَّعة (normalized) وفق LeRobot: تتراوح كل قيمة بين -100 و100 وتمثل نسبة مئوية من النطاق المُعايَر لذلك joint، لا زاوية بالدرجات. القراءة 0 هي مركز النطاق المُعايَر، و-100 و100 حدوده.

مجموعات البيانات السحابية في لوحة التحكم

يسرد Dashboard > Datasets مجموعات بياناتك السحابية مع عدد episodes، وحجم الملفات، وحالة الجمع. تُنشأ مجموعات البيانات تلقائياً عندما تسجل جلسة تشغيل عن بُعد بيانات، ويمكنك أيضاً إنشاء واحدة صراحةً وملئها برفع تسجيلات من تطبيق سطح المكتب.

• إنشاء: تظهر مجموعات البيانات الجديدة من الجلسات تلقائياً، أو أنشئ واحدة فارغة وارفع إليها.
• إعادة تسمية: غيّر اسم العرض في أي وقت؛ لا يمس التغيير البيانات نفسها.
• حذف: يزيل مجموعة البيانات وكل episodes وملفاتها. الحذف دائم، لذا نزّل أرشيفاً أولاً إن كنت قد تحتاج البيانات مجدداً.

متصفح episodes

فتح مجموعة بيانات يأخذك إلى متصفح episodes. لكل episode مشغّل فيديو لتدفقات كاميراتها ومخططات joint متزامنة تعرض قيم joint المُطبَّعة عبر episode. تحريك مؤشر الفيديو يحرّك مؤشر المخطط معه، ما يجعل رصد المشكلات سريعاً: اقتراب متقطع يظهر كطفرات في المخططات، وقبض فاشل يظهر في قناة gripper حتى قبل مشاهدة الفيديو.

تصنيفات episode: Success وRecovery وFailure

يمكن لكل episode حمل أحد ثلاثة تصنيفات. يميّز Success عرضاً توضيحياً نظيفاً للمهمة. يميّز Recovery episode أخطأ شيء فيها في منتصف المحاولة وقمت بتصحيحه؛ هذه قيّمة لأنها تعلّم policy كيفية العودة إلى المسار الصحيح. يميّز Failure episodes التي لم تصل إلى الهدف وينبغي عادةً إبقاؤها خارج التدريب. التصنيف أثناء المراجعة أرخص بكثير من تصحيح أخطاء policy تعلّمت بصمت من عروض توضيحية سيئة.

دمج مجموعات البيانات

يجمع الدمج عدة تسجيلات في مجموعة بيانات واحدة أكبر، مثلاً أسبوع من الجلسات على المهمة نفسها أو تسجيلات من ذراعين معايَرتين. يأخذ الدمج عدة أرشيفات tar.gz، تحتوي كل واحدة على مجموعة بيانات LeRobot، وينتج مجموعة بيانات واحدة بـ episodes معاد فهرستها.

1. 1
   جهّز الأرشيفات

   يجب أن يكون كل إدخال مجموعة بيانات LeRobot كاملة معبّأة كأرشيف tar.gz، بما في ذلك مجلد meta الخاص بها. الأرشيفات الجزئية بلا info.json لا يمكن التحقق منها وتُرفض.

2. 2
   ارفع عدة أرشيفات

   في Dashboard > Datasets، ابدأ دمجاً واختر كل أرشيفات tar.gz التي تريد جمعها في خطوة واحدة.

3. 3
   التحقق

   تتحقق المنصة من تطابق fps وfeature schema وrobot_type عبر كل الإدخالات. إن اختلف أي من الثلاثة، يُرفض الدمج مع تسمية عدم التطابق، لأن مجموعة بيانات مدمجة بتدفقات غير متسقة ستُفسد التدريب بصمت.

4. 4
   راجع النتيجة

   تظهر مجموعة البيانات المدمجة في قائمتك بعدد episodes المجموع. افتح متصفح episodes وافحص بضع episodes من كل مصدر قبل التدريب عليها.

قواعد التوافق الثلاث صارمة عمداً. عدم تطابق معدل الإطارات يغيّر معنى كل خطوة زمنية، وعدم تطابق schema يكسر المحمِّلات تماماً، ومزج أنواع الروبوتات ينتج مجموعة بيانات لا يمكن لأي policy التصرف بناءً عليها. إن احتجت دمج بيانات من أذرع مختلفة من الطراز نفسه، فهذا مقبول: يشير robot_type إلى الطراز، لا إلى الوحدة الفعلية.

سوق مجموعات البيانات

يتيح لك السوق شراء مجموعات بيانات سجّلها آخرون وبيع مجموعاتك الخاصة. تصل مجموعات البيانات المشتراة إلى لوحة التحكم بنفس تخطيط LeRobot الذي لتسجيلاتك الخاصة، لذا تعمل مع متصفح episodes والدمج والتدريب دون أي خطوات إضافية.

إن كنت تبيع، نقّح قبل الإدراج. راجع episodes، صنّفها بصدق، وتأكد من أن سلاسل المهام تصف ما يحدث فعلياً في التسجيلات. يرى المشتري الذي يقيّم مجموعة بياناتك متصفح episodes نفسه الذي تراه أنت، ومجموعات البيانات ذات التصنيفات النظيفة والعروض التوضيحية المتسقة تستحق أكثر بكثير من تفريغ خام لكل ما سجلته يوماً.

الأسئلة الشائعة