HG-DAgger والمتغيرات المتحكم فيها: من يقرر متى يتولى التحكم بسياسة الروبوت

تفشل السياسة المنسوخة حيث انتهت بيانات تدريبها. الحل هو الاستمرار في جمع البيانات تحت توزيع الحالة الخاص بالسياسة بدلاً من توزيع المحاكي، وهو ما يفعله DAgger ومقدمة لتجميع البيانات تغطيه من المبادئ الأساسية. يترك مفتوحاً الجزء المحرج من الخوارزمية الأصلية: بينما يقود المتعلم، يُفترض أن يقول الخبير ما كانوا سيفعلونه، لكل حالة، دون أن يكونوا في السيطرة.

في محاكاة مع خبير مبرمج أن هذا مجاني. على طاولة مع ذراع حقيقية عليها ليست مجانية ولا آمنة. يحدد مؤلفو HG-DAgger الاعتراض بدقة: مثل هذه أنظمة الأخذ "تتطلب من الخبير تقديم تسميات الإجراء دون أن يكون في السيطرة الكاملة على النظام"، وهو "يمكن أن يقلل الأمان و، عند استخدام البشر كخبراء، من المحتمل أن يتدهور جودة البيانات المجمعة المجمعة بسبب تأخر المشغل المتصور" (Kelly وآخرون، 2019). يختبئ فشلان في تلك الجملة: السياسة تبقى تقود في حالات لا يريدها أحد، والتسميات المشتراة بهذا الخطر أسوأ من التسميات التي ينتجها الإنسان أثناء الإمساك بالأجهزة. كل متغير أدناه يجيب على نفس السؤال - ضع وابة على السيطرة واترك لشخص ما يقرر متى تفتح. يختلفون في من يملك هذا الشخص.

البشر المتحكم فيهم والتحكم بالروبوت: الانقسام الذي يهم

يحتوي التعلم التفاعلي من التقليد على مسح خاص به؛ يصنفه Celemin وزملاؤه جنباً إلى جنب مع نوع التعليقات والواجهة ونموذج التعلم وتجربة المستخدم والتطبيق والمعيار. الفرق الذي يقرر الهندسة الخاصة بك أبسط من أي من تلك المحاور، والعمل الحديث يسميها بشكل مباشر: تكون الطريقة متحكم فيه من قبل الإنسان عندما يقرر المشرف متى يتدخل، و متحكم فيه بالروبوت عندما يقرر الوكيل متى يطلب المساعدة (Cai وآخرون، 2025). كل شيء آخر هو آلية تخدم أحد هذين الخيارين. المقايضة واضحة من البداية: تكلفة الوابة البشرية الإشراف المستمر، والوابة الروبوتية تعد بإعادة هذا الإشراف - لكن فقط إذا كانت الإشارة التي تتحكم فيها موثوقة، وبناء هذه الإشارة هو مشكلة بحثية في حد ذاتها.

SafeDAgger: صنف يتنبأ بانحرافه الخاص

SafeDAgger (2016) من Zhang و Cho هي أقدم من هذه البوابات. الاستعلام عن السياسة المرجعية هو الجزء المكلف، لذا تنبأ الشبكة الثانية الصغيرة - السياسة الأمنية - ما إذا كان الاستعلام يستحق العناء على الإطلاق. يعيد "تسمية ثنائية تشير إلى ما إذا كان من المحتمل أن تنحرف السياسة الأساسية عن سياسة مرجعية دون الاستعلام عنها". يتم تعريف التسمية مقابل انحراف L2 التربيعي بين إجراءات السياستين مع عتبة tau، والمصنف يناسب مع فقدان الإنتروبيا الثنائي. في وقت التشغيل يقرر لكل حالة ما إذا استمر المتعلم في القيادة أو تتولى السياسة المرجعية. يقرر التقرير المقتصر أقل استعلامات مرجعية في محاكاة سباق السيارات بالإضافة إلى تسريع سرعة التقارب الذي ينسبه المؤلفون إلى تأثير المناهج الدراسية الآلية، دون إعطاء رقم لأي منهما.

الفخ في التعريف وليس النتائج. يتطلب تدريب المصنف إجراء السياسة المرجعية في كل حالة تُستخدم لملاءمتها، وهذا يفترض أن السياسة المرجعية برنامج آخر. إذا كانت النسخة المرجعية الخاصة بك عبارة عن شخص يحمل ذراع قائدة، فإن تلك مجموعة التسميات ليست رخيصة والطريقة تفقد الخاصية التي تم تصميمها من أجلها.

EnsembleDAgger: الشك والتناقض، كليهما

يعامل Menda و Driggs-Campbell و Kochenderfer (2019) الوابة كمسألة احتمالية. يقرب EnsembleDAgger "عملية Gaussian باستخدام مجموعة من الشبكات العصبية" ويقرأ تباين المجموعة كوكيل ثقة: التباين العالي يعني منطقة لم تُرى في بيانات التدريب، والتي - بافتراض أن الخبير يتجنب حالات الفشل - يرتبط بالقرب من الفشل. القاعدة هي اقتران. قد يتصرف المتعلم فقط عندما تبقى مسافة L2 بين إجراؤه المتوسط وإجراء الخبير أقل من عتبة واحدة (عدم التطابق) و يبقى تباين إجراؤه المتوقع أقل من ثانية (الشك). إذا فشل أي منهما، يتولى الخبير السيطرة. الهدف هو تعظيم حصة المتعلم من الإجراءات مع تقييد احتمالية الفشل؛ يقرر الورقة تحسن الأمان والتعلم ضد متغيرات DAgger الأخرى في البندول المقلوب و MuJoCo HalfCheetah.

LazyDAgger: وقف المفتاح من الثرثرة

هوق وزملاؤه (2021) هاجموا تكلفة لم تقيسها الأوراق الأقدم: المفتاح نفسه. كل تدخل "يقاطع العمل الآخر الذي يقوم به الإنسان، ويتحمل كمون مع كل بدل السياق بين الإشراف والتحكم المستقل، ويتطلب وقتاً للأداء". وابة تفتح وتغلق عشر مرات في الدقيقة أسوأ من واحدة تفتح مرة واحدة لمدة عشر ثوان، على حصة مستقلة متطابقة. يوسع LazyDAgger SafeDAgger بعتبات غير متماثلة - أصعب للدخول إلى السيطرة على المشرف من البقاء فيه - بحيث لا يتأرجح النظام عند الحد الأدنى. في المحاكاة "يمكنه تقليل بدلات السياق بمتوسط 60 ٪ على SafeDAgger في 3 مهام التحكم المستمر مع الحفاظ على أداء السياسة الحديثة"؛ في معالجة النسيج باستخدام ABB YuMi "يقلل من بدلات السياق بنسبة 60 ٪ بينما يحقق معدل نجاح أعلى بنسبة 60 ٪ من SafeDAgger وقت التنفيذ".

ThriftyDAgger: الجدة أو الخطر، تحت ميزانية

يبدأ ThriftyDAgger (Hoque وآخرون، CoRL 2021) من ميزانية المشرف بدلاً من السياسة. يستخدم "سياسة التبديل المتعلم للاستفسار عن التدخلات فقط عند الحالات التي تكون مثيرة للاهتمام بشكل كافٍ (1) بحثاً، حيث لا تحتوي سياسة الروبوت على سلوك مرجعي للتقليد، أو (2) محفوفة بالمخاطر، حيث الروبوت لا يثق في إكمال المهمة"، مع مقياس جديد لتقدير هذا الخطر. الميزانية عبارة عن إدخال وليست نتيجة: يمكنك تحديد مقدار الوقت البشري الذي ستنفقه. المطبقة وقت التنفيذ الطريقة "تحقق معدل نجاح 100 ٪ على كل من محاكاة والمهام الجسدية"، وتقييم مستخدم مع عشرة مشاركين يتحكمون في أسطول من ثلاث روبوتات إلى جانب مهمة التركيز يقرر أنه "يزيد الأداء البشري والروبوت بنسبة 58 ٪ و 80 ٪ على التوالي مقارنة مع الخوارزمية التالية الأفضل مع تقليل عبء المشرف". تعيين الأسطول هو الوطن الطبيعي لهذا العمل؛ Fleet-DAgger في وقت لاحق رسمية تعلم الأسطول التفاعلي مع روبوتات متعددة والمشرفين، واقتراح العودة على جهد الإنسان كحوالة لتحسينها.

HG-DAgger: الإنسان يمسك الوابة

Kelly وآخرون (2019) اذهب بالطريقة الأخرى. لا توجد سياسة التبديل. يتم طرح المتعلم "حتى يلاحظ الخبير أن المبتدئ قد دخل منطقة غير آمنة من فضاء الحالة"، وفي تلك النقطة يتولى الخبير السيطرة والأدلة النظام مرة أخرى. قاعدة التجميع هي الجزء الصارم: "تُجمع تسميات إجراءات الخبير وتُضاف إلى مجموعة البيانات فقط أثناء مقاطع الاسترجاع هذه، والتي يتمتع فيها الخبير البشري بسيطرة غير مقطوعة على النظام." لا يتم تسمية أي شيء بينما يكون الإنسان متفرجاً.

لا يتوقف عند المفتاح. HG-DAgger أيضاً "يتعلم عتبة الأمان لمقياس الخطر القائم على عدم اليقين في النموذج الذي يمكن استخدامه للتنبؤ بأداء المبتدئ المدرب بالكامل في مناطق مختلفة من فضاء الحالة": يسجل عدم اليقين الذي كان المتعلم فيه في لحظات تدخل الإنسان و متوسط آخر ربع تلك السجلات، حيث يشبه المتعلم أكثر شكله النهائي. هذا ليس وابة يشغلها الروبوت بل تشخيص يخبرك أين من المتوقع أن تصمد السياسة النهائية. يغطي التقييم مهمة قيادة محاكاة وحقيقية ويقرر تحسن الأداء على كل من DAgger والتعلم السلوكي.

خط واحد ذو صلة يغير ما يعتبر تسمية. يؤكد Spencer وزملاؤه Expert Intervention Learning أن "أي كمية من ردود الفعل من الخبراء، سواء كانت عن طريق التدخل أو عدم التدخل، توفر معلومات حول جودة الحالة الحالية، وأفضلية الإجراء، أو كليهما"، رسمياً كقيد على دالة قيمة المتعلم وحل مع الدراسة عدم الندم عبر الإنترنت. تحت هذا القراءة، المتجهات حيث شاهد الإنسان ولم يفعل شيئاً هي دليل إيجابي ضعيف بدلاً من فراغ. يتعلم EIL تجنب الاصطدام من حوالي دقيقة واحدة من السيطرة على الخبير.

المتغيرات جنباً إلى جنب

ما كل وابة يشتري، وما تفرضه

اقرأ لأسفل عمود "الاحتياجات" وينقسم نمط: كل إشارة محكومة بالروبوت هناك بديل يجب تصنيعه، ولكل بديل فاتورته الخاصة.

• إشارات التناقض (SafeDAgger، LazyDAgger، نصف قاعدة EnsembleDAgger) تحتاج إلى سياسة مرجعية. إما أن يكون لديك خبير مبرمج، في هذه الحالة المشكلة المثيرة للاهتمام تم حلها بالفعل، أو يستمر إنسان في إنتاج الإجراءات في الخلفية بحيث يمكن حساب مسافة.
• إشارات الشك تحتاج إلى عدم اليقين الإبستيمي المعايير. مجموعة من شبكات السيطرة الصغيرة تقريب هذا؛ مجموعة من نموذج رؤية لغة عمل ثلاثة مليار معامل مشكلة الذاكرة والكمون أولاً.
• إشارات الجدة والخطر تحتاج إلى تقدير متعلم من إكمال المهمة، مثبت على ما يكفي من الدحرجات الناجحة والفاشلة. على مهمة لا تزال تعمل، البيانات التي لا وجود لها في الجولة الأولى.
• وابة الإنسان تحتاج إلى الانتباه لا شيء آخر - الإشارة الوحيدة المتاحة في اليوم الأول، على أي معمارية سياسة، دون نموذج إضافي للتدريب.
• لا وابة روبوت تزيل الإنسان من الغرفة. تقلل عدد مرات تصرف الإنسان، وليس ما إذا كانت موجودة.

هناك فرق أهدأ في ما تنتجه الوابة. وابة روبوت الحريق في منتصف المسار يسلم شخصاً ذراع متحركة في وضعية تعسفية. وابة إنسان تسمح للمشغل باختيار اللحظة - بعد الوصول، قبل القبض، ليس منتصف الطريق من خلال تأرجح. مقاطع الاسترجاع من الاثنين ليست نظيفة بالتساوي، وتلك المقاطع هي المنتج بأكمله للجولة.

لماذا شكل الإنسان المراقب يفوز على الأجهزة الحقيقية

هذه حجة هندسية، وليست نتيجة معيار - لم نجد ورقة تشغل جميع خمس بوابات على نفس معامل مع نفس فئة السياسة. يستريح على أربع نقاط.

أولاً، المشرف موجود على أي حال. لا أحد يترك ذراع SO-100 تعمل دون إشراف بجانب الأشياء التي يمكن أن تسقطها. بمجرد أن يراقب شخص ما، التكلفة الهامشية لمنحهم زر التولي قريبة من الصفر؛ بناء تقدير الخطر المعايير هو مشروع.

ثانياً، عدم اليقين الذي يمكنك قياسه فعلياً على سياسة حديثة غالباً ما تكون الكمية الخاطئة. رأس الانتشار أو مطابقة التدفق ينتج التباين عبر قطع الإجراء المأخوذة، والتباين ينعكس الحالات المتعددة التي تم تدريب الرأس على تمثيله، ليس الجهل الإبستيمي حول الحالة. يستخدم مصطلح الشك في EnsembleDAgger مجموعة لالتقاط الأخير بالضبط. يبدو الاثنان مثل نفس الرقم وليسا؛ المدخلات تجميع الإجراء و مطابقة التدفق اشرح كيف تصدر تلك الرؤوس الإجراءات في المقام الأول.

ثالثاً، الفشل الذي يهم في المعالجة غالباً ما يكون دلالياً بدلاً من إحصائياً غير عادي. سياسة إغلاق الرافعة سنتيمتران في وقت مبكر، أو الوصول بثقة إلى الخطأ من اثنين من مكعبات متطابقة، ليست في حالة التباين العالي - أنه واثق وخطأ. لا عتبة التباين تمسك بذلك؛ شخص مشاهدة يمسك به على الفور.

رابعاً، جودة التسمية - نقطة HG-DAgger الأصلية، والتي غالباً ما يتم تخطيها. التسميات المجمعة بينما يتمتع الإنسان بسيطرة غير مقطوعة تتغلب على التسميات الموصوفة على نظام متحرك. إذا كان الهدف بيانات تصحيحية تستحق التجميع، فإن عبء الإثبات يقع على بوابة آلية.

الوابة هي نصف الطريقة؛ معالجة البيانات هي النصف الآخر

وابة تقرر أي إطارات قادها الإنسان، وليس ما يجب فعله بها، والقرار الثاني هو حيث الجولات غالباً ما تهدر. القاعدة الأولى هي الجزء D في وقفة DAgger تحقق: تجميع، لا استبدال. الضبط الدقيق أ نقطة تفتيش نقية على بضع مئات من إطارات التصحيح تعطيك نموذج شهد تقريباً لا شيء ولكن الاسترجاع والنسيان المسار الاسمي.

القاعدة الثانية هي أن إطارات التدخل ليست إطارات عادية. بنى Mandlekar وآخرون نظام تلامس بعيد من 6 درجات الحرية المعالجة للسماح للمشغلين برصد السياسات والاستيلاء على الفشل، ثم تدريب تكراري مع خوارزمية التي "تشجع السياسة على تعلم كيفية عبور الاختناقات من خلال التدخلات"؛ الوكلاء المدربون على البيانات المشروعة تفوقت على الوكلاء المدربين على عدد متساوٍ من عينات الشهادة العادية. يدفع Sirius الفكرة إلى النشر، "إعادة وزن عينات التدريب مع الثقة البشرية التقريبية وتحسين السياسات مع السلوكي المرجح".\ كلاهما يحتاج إلى علامة لكل إطار ما تم قيادته البشرية، وهذا هو السبب التدخل الراية هي أكثر أهمية مما تبدو عليه.

القاعدة الثالثة هي أن الخلط التلقائي فخ. مجموعة بيانات تكوينية تحتوي المصادر التي لا تستطيع تعداد واحد لا يمكنك تصحيح عندما تسوء الجولة التالية. على هذه المنصة الخطوة تكوين صريحة لهذا السبب - مجموعة بيانات الأصلي بالإضافة إلى التصحيحات، اختيار الحلقة لكل مصدر، والنتيجة هي العادي LeRobot مجموعة بيانات التي تزامن والقطارات مثل أي شخص آخر؛ المتاح توثيق مجموعة البيانات يغطي جانب الصيغة.

تحديد وابة شخص يمكنه فعلاً الإمساك بها

"الإنسان يقرر" ليس مواصفات. اثنان المشغلين مع عتبات مختلفة تنتج الجولات غير قابل للمقارنة، وتطفل عتبة ينتج اتجاه لا يمكن قراءتها. كتابة المحفزات قبل التشغيل الأول.

1. تسمية الشروط التي تفتح الوابة - الاقتراب بعيداً عن الهامش الثابت، مشبك الإغلاق على لا شيء، مفصل يطفو نحو حد، خزعة من أكثر من ثانية أو اثنين - والحفاظ على قائمة دون تغيير للجولة.
2. اسم ما لا يفتح عليه. الإفراط في الطريق السياسة يتعافى من تلقاء نفسها إشارة التدريب؛ الاستيلاء هناك الحذف استرجاع أنها تعرف بالفعل.
3. الاستيلاء على ما يكفي من وقت مبكر لنقل نظيف، تسليم بمجرد أن تكون الحالة استرجاع.
4. تسجيل لماذا استولت عليك، حلقة حلقة. ثلاثة جولات في وقت لاحق فقط سجل ما إذا كان نفس الفشل يعودون.
5. بقاء الكاميرات ونصوص المهمة والعامل ثابت عبر الجولات. غير واحد والأرقام توقف قابل للمقارنة.

ميكانيكياً النقل له متغيرين. مع ذراع قائدة، يجب أن تصل القائدة إلى الوضعية الحالية للتابع قبل نقل عزم الدوران، أو الذراع القفزات؛ هذا محاذاة نقل أقل اختبار جزء السلسلة على الأجهزة الحقيقية. دون ذراع قائدة التولي يدوي من أول ضغط مفتاح: يتم عقد المتابع والمشغل يدعك ذلك المفصل بالمفصل من لوحة المفاتيح أو الجرار المنزلقات، مع مشبك من جانب الخادم إبقاء كل مدخل صغير - بضعة درجات لكل ضغط مفتاح، حفنة لكل تحديث المنزلق، لأن خطوة كبيرة إلى وضعية محتلة هي كيف تتجرد من الخادم. النسخة خطوة بخطوة مع المفاتيح ربط في المشي من خلال دحرجة DAgger على SO-100؛ الخلفية على كل من أنماط القيادة عن بعد هو في وثائق القيادة عن بعد والمدخل زعيم-متابع.

قراءة ما إذا كانت الوابة فعل أي شيء

متري جولة إنسان مراقب هي معدل التدخل: إطارات التدخل مقسومة على إطارات تشغيل. لديها وظيفة واحدة - إذا لم تسقط عبر الجولات، الجولة لم تشتري لا شيء، والقادم يجب أن يتغير شيء آخر من المبلغ من البيانات.

هذا متري المنحازة وانت يجب أن تعرف كيف. يقيس حد العامل كثيراً كفاءة السياسة، وهو لماذا القائمة المحفز البقاء الثابت؛ عامل من يرخي على جلسة ينتج منحنى سقوط مع لا شيء خلفها. أنه يتجاهل أيضا الخطورة - عشرة إطارات إيقاف الاصطدام وعشرة نحت النظر متطابقة. الزوج بها ثابت تقييم مجموعة لا بيانات التصحيح وكان رسم من. المقالة عن قياس حلقة DAgger يعمل من خلال تصميم التقييم، بما في ذلك كيفية الحفاظ على الحلقات التقييم من خليط التدريب.

فتح أسئلة تجدر متابعة

المعايير ضعيفة. فحص Spencer وآخرون تلك المستخدمة لاختبار الاقتراب التعلم وجدت لهم "واقعي وبسيط، وبالتالي غير كافية لالتقاط نظام أصعب من الخطأ مركب حكيم في مشاكل صنع القرار العالم الحقيقي" و، ضد محيط الأدب، وجدت السلوكية تصاريح بشكل جيد عليهم. هذا سبب أن تكون متشككاً من أي تصنيف من DAgger متغيرات استراحة على تلك المهام، بما في ذلك بعض الأرقام في الجدول أعلاه.

روبوت بوابات على سياسات كبيرة ليست حلها أيضاً. عمل AIM البدائل عدم اليقين مع وكيل Q-التابع محاكاة قاعدة التدخل البشري ويقرر تحسن 40 ٪ في أخذ فوق تكلفة وكفاءة التعلم فوق ThriftyDAgger - في استمرار والسيطرة المنفصلة، وليس على رؤية لغة عمل نموذج قيادة معامل. ما إذا كانت أي هذه البوابات نقل إلى VLA ضبط دقيق مفتوح. المسح تقدم نقطة ذات صلة: الميدان الاصطلاح والعمارة لم موحد عبر الأدب، الذي يجعل الطرق صعب للمقارنة. على الذراع الخاص بك، والسجلات الخاصة بك الدليل لديك.

بالنسبة ذراع واحدة على مكتب الخيار يتم: الإمساك البوابة نفسك، اكتب ما يفتح عليه، وإنفاق الجهد على البيانات معالجة خلفها بدلاً من على أتمتة التبديل. الجانب منصة هي وصفتها على صفحة حلقة DAgger، خيارات التدريب الأسرة السياسة تحت التدريب والتسعير. لتاريخ، البدء مع التعلم محاكاة و محاكاة التعلم على SO-100؛ بالنسبة لتشغيل أولى، تشغيل السياسة الأولى هو أقصر طريق.