HG-DAgger и вариантите с портал: Кой решава кога да преми управлението на роботната политика

Клонирана политика отказва там, където тренировъчните й данни спираха. Поправката е да продължим събирането на данни под собственото разпределение на състояния на политиката вместо на демонстратора, което е това, което DAgger прави и което въведението към събиране на набор от данни обхваща от първи принципи. Оставя открит неудобния дял на оригиналния алгоритъм: докато обучаващото устройство вози, експертът е предполаган да каже какво щеше да е направил, за всяко състояние, без да е под контрол.

В симулатор с скриптиран експерт това е безплатно. На маса с реален arm това не е нито безплатно, нито безопасно. Авторите на HG-DAgger изявяват възражението точно: такива схеми за вземане на проби "изискват експертът да предоставя етикети на действия без да е напълно под контрол на системата", което "може да намали безопасността и, когато се използват хора като експерти, вероятно ще намали качеството на събраните етикети поради възприет задух на актуатора" (Kelly et al., 2019). Два отказа се скриват в това изречение: политиката продължава да вози в състояния никой не иска, и етикетите купени с този риск са по-лоши от тези, които човек производи докато държи управлението. Всеки вариант по-долу отговаря на един и същ въпрос — поставете портал на контрол и оставете някой да реши кога се отваря. Те се различават в това кой е този някой.

Човешко-управляван и робот-управляван: разделението, което значи

Интерактивното обучение чрез имитация има своя собствена преглед; Celemin и колеги го каталогизират по тип обратна връзка, интерфейс, модел на обучение, потребителски опит, приложение и тест. Разделението, което решава вашето инженерство, е по-просто от някой от тези оси и новото работи го назовава директно: метод е човешко-управляван кога надзорникът реши кога да интервенира, и робот-управляван кога агентът реши кога да поискա помощ (Cai et al., 2025). Всичко останало е машинерия, служеща един от тези два выбора. Търговията е видима от началото: човешки портал струва непрекъснато внимание, и робот портал обещава да върне това внимание — но само ако сигналът, който портала портала, е надежден, и изграждането на този сигнал е собствена изследователска проблема.

SafeDAgger: класификатор, който предвижда собственото си отклонение

SafeDAgger на Zhang и Cho (2016) е най-ранния от тези портали. Заявяване на референтна политика е скъпата част, така че втора, малка мрежа — политиката на безопасност — предвижда дали стойност е вообще стойност. Тя "връща двоичен етикет, указващ дали първичната политика вероятно ще се отклони от референтна политика без да я запрашва". Етикетът се определя спрямо квадратно отклонение L2 между действията на двете политики с праг tau, и класификаторът е монтиран с двоична кръстосана ентропия. По време на изпълнение той решава по състояние дали обучаващото се устройство продължава да вози или референцията поема управлението. Резюмето съобщава по-малко референтни заявки в симулатор за пилотаж на кола плюс ускорение на конвергенцията, което авторите приписват на автоматизиран ефект на учебния план, без да дават цифра за никой.

Уловката е в определението, не в резултатите. Обучението на класификатора изисква действието на референтната политика във всяко състояние, използвано за приспособяване, което предполага, че референцията е друга програма. Ако вашата референция е човек с leader arm, този набор от етикети не е евтин и методът губи свойството, за което е проектиран.

EnsembleDAgger: съмнение и несъответствие, и двете

Menda, Driggs-Campbell и Kochenderfer (2019) третират портала като вероятностен въпрос. EnsembleDAgger "приблизира процес на Гаус, използвайки ансамбъл от невронни мрежи" и чете вариацията на ансамбъла като заместител на доверието: висока вариация означава регион, за разлика от тренировъчните данни, което — предполагайки експертът избягва състояния на отказ — корелира с близост до отказ. Правилото е съединение. Обучаващото устройство може да действа само когато разстоянието L2 между неговото средно действие и експертното действие остава под един праг (несъответствие) и вариацията на предвиденото му действие остава под второ (съмнение). Ако някой отказва, експертът преми управлението. Целта е да се максимизира делът на действиях на обучаващото се устройство, като се ограничава вероятността от отказ; доклада съобщава подобрена безопасност и обучение срещу други варианти на DAgger на обърнат махалник и MuJoCo HalfCheetah.

LazyDAgger: спрете превключвателя от чатерване

Hoque и колеги (2021) атакуваха цена, която по-ранните документи не измериха: самия превключвател. Всяка интервенция "прекъсва друга работа, която човекът прави, причинява задържане с всяко превключване контекст между надзорник и автономен контрол, и изисква време за изпълнение". Портал, който се отваря и затваря десет пъти в минута, е по-лошо от един, отварящ се веднъж за десет секунди, при еднаква автономна дял. LazyDAgger разширява SafeDAgger с асиметрични прагове — по-трудно да влезеш в контрол на надзорник от това да останеш в него — така че системата не трепети на границата. В симулация това "може да намали превключванията на контекст средно с 60% над SafeDAgger на 3 непрекъснати задачи при задържане на модерна производителност на политиката"; в манипулация на фабрика с ABB YuMi то "намалява превключванията на контекст с 60% докато постига 60% по-висок процент на успех от SafeDAgger по време на изпълнение".

ThriftyDAgger: новост или риск, под бюджет

ThriftyDAgger (Hoque et al., CoRL 2021) започва от бюджета на надзорника, а не от политиката. Той "използва научена политика на превключване, за да поиска интервенции само в състояния, които са достатъчно (1) нови, където роботната политика няма референтно поведение за имитация, или (2) рискови, където робота има низко доверие в завършване на задача", с нова метрика за преценка на този риск. Бюджетът е вход, не резултат: вие заявявате колко човешко време ще прекарате. Приложен по време на изпълнение методът "постига 100% процент на успех както в симулация, така и в физически задачи", и потребителско проучване с десет участници, управляващи флот от три робота, наред с концентрационна задача, съобщава, че това "увеличава човешката и роботната производителност с 58% и 80% съответно в сравнение със следния най-добър алгоритъм, като същевременно намалява товара на надзорника". Установката на флот е естественият дом за това работи; Fleet-DAgger по-късно формализира интерактивното обучение на флот с множество робота и надзорници, предлагайки "Възвращаемост на човешкото усилие" като количество за оптимизиране.

HG-DAgger: човекът държи портала

Kelly et al. (2019) отиди на друга страна. Няма политика на превключване. Обучаващото устройство е разгръщане "докато експертът наблюдава, че новакът е влизал в небезопасен регион на пространството на състояние", в което време експертът преми управлението и насочва системата назад. Правилото за събиране е строгия дял: "Етикети на експертни действия се събират и добавят към набора от данни само във време на тези възстановителни траектории, докато експертът има непрекъснат контрол на системата." Нищо не е обозначено докато човекът е наблюдател.

Това не спира при превключвателя. HG-DAgger също така "научава праг на безопасност за метрика на риск, основана на несигурност на модела, която може да се използва за прогноза на производителност на напълно обучения новак в различни региони на пространството на състояние": то записва колко неуверен е бил обучаващото се устройство в моментите, когато човекът е интервенирал, и осреднява последния квартал от тези записи, където обучаващото се устройство най-много прилича на своята окончателна форма. Това не е портал, който робота управляет, но диагностика, която ви казва, където завършената политика се очаква да задържи. Оценката обхваща симулирана и реална световна задача на пилотаж и съобщава подобрена производителност над както DAgger, така и поведение клониране.

Една свързана линия променя какво се счита за етикет. Spencer и колеги' Expert Intervention Learning твърди, че "всякаква количество експертна обратна връзка, seja чрез интервенция или не-интервенция, предоставя информация за качество на текущото състояние, оптималност на действието, или и двете", формализирана като ограничение на функцията на стойност на обучаващото се устройство и разрешена с обучение на интернет без съжаление. Под това четене, разтвори, където човекът наблюдава и не е направил нищо, са слаба положителна доказателство, а не празно. EIL научава избягване на сблъсък от около една минута експертна управления.

Варианти един до един

Какво всеки портал купува и какво разходува

Прочитайте надолу колона "необходима наличност" и модел отпада: всеки робот-управляван сигнал там е заместител, който трябва да бъде изработен, и всеки заместител има собствения си сметка.

• Сигналите за несъответствие (SafeDAgger, LazyDAgger, половина на правилото на EnsembleDAgger) имат нужда на референтна политика. Или имате скриптиран експерт, в случай на което интересната проблема е вече разрешена, или човек продължава да произвежда действия на фона, така че разстояние може да бъде изчислено.
• Сигналите на съмнение имат нужда на калибрирана епистемична несигурност. Ансамбъл от малки контролни мрежи приблизира то; ансамбъл от модел на виждане-език-действие от три милиард параметри е проблем на памет и задържане първо.
• Сигналите за новост и риск имат нужда на научен оценител на завършване на задача, монтиран на достатъчно успешно и отказал разгръщане. На задача, които вие все още се опитват да направите да работи, че данните не съществува в кръг един.
• Човешкия портал е нужен внимание и нищо иначе — единственият сигнал наличност на ден един, на всяка архитектура на политиката, с не допълнителен модел за обучение.
• Никой робот портал не отстранява човека от стаята. Те намаляват колко често човекът трябва да действа, не дали трябва да бъде налице.

Има по-тихо разлика в това какво портала производи. Робот портал палив мид-траектория ръка човек движещ arm на произволна поза. Човешкия портал позволява операторът изберете момента — след достъп, преди хват, не наполовина през люлка. Възстановителните сегменти от двете не са еднакво чист, и тези сегменти са целия продукт на кръга.

Защо формата с човешко управление печели на реален хардуер

Това е инженерен аргумент, не резултат на тест — няма документ, който намерихме, който работи всички пет портали на същия манипулатор със същия клас политика. То стои на четири точки.

Първо, надзорника е там така или иначе. Никой не оставя SO-100 arm работещ без присмотър до обекти, които то може да обърне. Веднъж някой наблюдава, пределната цена на даването им бутон за преми управление е близо нула; изграждане на калибрирана риск оценител е проект.

Второ, несигурност, която наистина можете да измерите на модерна политика често е погрешния количество. Дифузия или головка с поток-съответствие произвежда вариация напрекъс пробирани действия парчета, и че вариация отразява многомодалност главата е била обучена да представлява, не епистемична невежество относно состояние. EnsembleDAgger's съмнение член използване ансамбъл точно за улов последния. Двете изглеждат еднакво число и не са; на разбиване на действие и потока съответствие записи покриват как тези главите излъчват действия на първо място.

Трето, откази, които значение в манипулация, често са семантични, а не статистически необичайни. Политика затварящ захвата две сантиметра рано, или отмяла с доверие за грешни един от две еднакви кубчета, не е в висока-вариация състояние — то е уверено и неправилно. Няма вариация праг уловката, че; човек наблюдава улови то веднага.

Четвърто, качество етикет — оригиналния HG-DAgger точка, и един често прескочени. Етикети събрани докато човек е имал непрекъснат контрол бие етикети разказани на движещ система. Ако целта е коректни данни стойност събиране, товара на доказателство лежи с автоматизиран портал.

Портала е половина на метода; обработка на данни е другия половина

Портала решава кои кадри човек вози, не какво да направи със тях, и че вторият решение е където кръгове най-често трошокат. Първото правило е един D в DAgger стои за: събирам, не заменя. Фино-настройка checkpoint чисто на няколко сто коррекция кадри дава вам модел, който е видял почти нищо, но възстановления и е забравил номинални траектория.

Второто правило е че интервенция кадри не са обикновени кадри. Mandlekar et al. построен дистанционно-телеопериране система за 6-DoF манипулация позволяване оператори наблюдава политики и преми управление при отказ, тогава обучения повторено със алгоритъм че "поощрява политиката научите как пресечка пръстени чрез интервенции"; агенти обучени на че данни превъзходил агенти обучени на равен брой обикновен демонстрация проби. Sirius натиска идеята в развитие, "пре-тегл обучение проби със приблизител човешко доверие и оптимизиране политики със претеглени поведенски клониране". И двете имат нужда на на-кадър маркер на какво е човек-вози, който е защо на интервенция флаг материя повече от то изглежда.

Третото правило е че автоматичен смесване е капан. Сложен набор от данни чиито правилата вие не могат да изброя е един вие не можете отладка кога следващ кръг получава по-зле. На тази платформа на съставляват стъпка е ясно за че причина — оригинален набор от данни плюс коррекции, селекция на епизод на правилата, и резултатът е обикновен LeRobot набор от данни че синхрон и обучения както всеки други; на документ на набор от данни покрива на правилата страна.

Настройка а портала човек наистина може да задържа

"на човека решава" не е а спецификация. Два оператори със различни прагове производство несравнимо кръгове, и ослабване праг производство а тренд вие не може да прочетете. Напишете на спусъци надолу преди първото бягане.

1. Назови на условия че отваря портала — подход отключено по повече от а фиксирани маржа, хванане затварящ на нищо, а съединение дрейф към маржа, а спирач на повече от а второ или два — и задържа на списък непроменен за на кръг.
2. Назови какво не отварям то. Превишаване че политика възстановления от на собствена е обучение сигнал; преми управление там бризгане възстановление то вече знае.
3. Преми управление рано достатъчно за а чист handover, раздават обратно веднъж че състояние е възстановим.
4. Записа защо вие преми управление, на епизод. Три кръгове по-късно то е на единственият запис от дали на същия отказ връща.
5. Задържа камери, задача текст и оператор постоянен напрекъс кръгове. Промяна един и числата спирам бъде сравнимо.

Механично на handover има два варианти. През а лидер arm, на лидер трябва да достъп на привърженик на текущо поза преди крушаване трансфери, или на arm скокове; това подравняване преместване е на най-малко-тестирани част на цепа на реален хардуер. Без а лидер arm на преми управление е ръчно от първото keypress: на привърженик е държани и на оператор nudges то съединение по съединение от на клавиатура или прави слайдери, със сървър-страна щипки задържане всеки вход малка — а двойка градуса на keypress, а пъстък на слайдер ъпдейт, защото а голяма стъпка в а държана поза е как вие прохвърлят а servo. На стъпка-до-стъпка версия със клавишни привързвания е в пътьводител на а DAgger кръг на ан SO-100; фон на и двете телеопериране режими е в на телеопериране docs и на лидер-привърженик запис.

Четене дали портала направи всичко

На метрика на а човешко-управляван кръг е на интервенция тариф: интервенция кадри разделени по кадри на бягане. То има един работа — ако то не попада напрекъс кръгове, на кръг купи нищо, и на следващия един трябва промяна нещо иначе, отколкото на количество на данни.

То е а пристрастен метрика и вие трябва да знаят как. То мери на оператор на праг толкова много както на политика на компетенция, което е защо на спусъци списък остава фиксирани; ан оператор кой отпуска над а сеанс производство а падащо крива със нищо зад то. То също пренебрегва тежест — десет кадри да спри сблъсък и десет да nudge а хванане изглед еднакво. Двойка то със а фиксирани оценка комплект никой коррекция данни е някога били извличане от. на статия на измеряне а DAgger цикъл работи чрез на оценка дизайн, включително как да задържа оценка епизоди, от на обучение микс.

Отворени въпроси стойност пазене в преглед

На тестове са слаби. Spencer и колеги разгледа тези използван да тестват имитация обучение подходи и намерени им "реализуемо и просто и поради това недостатъчно за улов на по-трудно режими на грешка нарастване видени в реален-свят решение правене проблеми" — и, спрямо околния литература, намерени обикновен поведенски клониране направи добре на тях. Че е причина да бъде скептични на всяка класиране на DAgger варианти лежа на тези задачи, включително някои числа в таблица отгоре.

Робот портали на голяма политики не са разрешени или. На AIM работа заменя несигурност със заместител Q-функция подражават на човешката интервенция правило и съобщава а 40% подобрение в преми управление разход и обучение ефективност над ThriftyDAgger — в непрекъснат и отделен контрол, не на виждане-език-действие модел вози а манипулатор. Дали някой от тези портали прехвърля към а фино-настроен VLA е отворена. На преглед прави связана точка: на поле на терминология и структура не са обединени напрекъс на литература, които прави методи трудно да сравня. На вашата собствена arm, вашата логи са на доказателство вие имате.

За един един arm на а работен плот на избор е направена: задържа портала себе си, напишете надолу какво отварям то, и прекарвам на усилие на данни обработка зад то, а не на автоматизиране на превключвател. На платформа страна е описан на на DAgger цикъл страна, обучение варианти на политика семейство под обучение и цена. За фон, начало със имитация обучение и имитация обучение на на SO-100; за първо бягане, бягане вашата първо политика е на по-кратко пътя.