HG-DAgger және қақпалы нұсқалар: робот саясатын басқаруды кім және қашан қолға алады

Клондалған саясат оқыту деректері таусылған жерде сәтсіздікке ұшырайды. Шешім — деректерді демонстратордың емес, саясаттың өз күй үлестірімі бойынша жинауды жалғастыру, дәл осыны DAgger жасайды және мұны деректер жиынын біріктіруге кіріспе негізгі принциптерден бастап баяндайды. Ол бастапқы алгоритмнің ыңғайсыз бөлігін ашық қалдырады: үйренуші басқарып жатқанда, сарапшы басқаруда болмай тұрып әрбір күй үшін өзі не істеген болар едім деп айтуы керек.

Скрипттелген сарапшысы бар симуляторда бұл тегін. Үстінде нақты қол тұрған үстелде бұл не тегін, не қауіпсіз емес. HG-DAgger авторлары қарсылықты дәл тұжырымдайды: мұндай іріктеу схемалары "сарапшыдан жүйені толық бақыламай тұрып әрекет белгілерін беруді талап етеді", бұл "қауіпсіздікті төмендетуі мүмкін, ал адамдарды сарапшы ретінде пайдаланғанда, атқарушы механизмнің кешігуін сезінуге байланысты жиналған белгілердің сапасын нашарлатуы ықтимал" (Kelly және т.б., 2019). Бұл сөйлемде екі кемшілік жасырылған: саясат ешкім қаламайтын күйлерге түсуін жалғастырады, ал сол тәуекелмен сатып алынған белгілер адам басқару элементтерін ұстап тұрып шығарған белгілерден нашар. Төмендегі әрбір нұсқа сол бір сұраққа жауап береді — басқаруға қақпа қойып, оны қашан ашу керектігін біреу шешсін. Олар тек сол «біреудің» кім екенімен ерекшеленеді.

Адам басқаратын және робот басқаратын: маңызды бөліну

Интерактивті имитациялық оқытудың өз шолуы бар; Селемин және әріптестері оны кері байланыс түрі, интерфейс, оқыту моделі, пайдаланушы тәжірибесі, қолданылу саласы және бенчмарк бойынша жүйелейді. Сіздің инженерлік шешіміңізді анықтайтын айырмашылық осы өлшемдердің кез келгенінен қарапайымырақ, және соңғы жұмыстар оны тікелей атайды: егер бақылаушы қашан араласуды өзі шешсе, әдіс адам басқаратын деп аталады, ал егер агент өзі қашан көмек сұрау керектігін шешсе, робот басқаратын деп аталады (Cai және т.б., 2025). Қалғанның бәрі осы екі таңдаудың біріне қызмет ететін механизм. Айырбас басынан-ақ көрінеді: адам қақпасы үздіксіз назарды талап етеді, ал робот қақпасы сол назарды қайтаруға уәде береді — бірақ тек ол негізделетін сигнал сенімді болған жағдайда ғана, ал мұндай сигналды құру — бөлек зерттеу мәселесі.

SafeDAgger: өз ауытқуын болжайтын классификатор

Чжан мен Чоудың SafeDAgger-і (2016) осы қақпалардың ішіндегі ең ертеректі. Эталондық саясатқа сұрау салу қымбат бөлігі болғандықтан, екінші, кіші желі — қауіпсіздік саясаты — сұрау салудың жалпы мағынасы бар-жоғын болжайды. Ол "негізгі саясаттың оған сұрау салмай-ақ эталондық саясаттан ауытқу ықтималдығын көрсететін бинарлық белгі қайтарады". Белгі екі саясаттың әрекеттері арасындағы квадраттық L2 ауытқуы бойынша tau шегімен анықталады, ал классификатор бинарлық кросс-энтропиямен оқытылады. Жұмыс кезінде ол әрбір күй үшін үйренушінің басқаруды жалғастыруы керек пе, әлде эталон оны қолға алуы керек пе екенін шешеді. Аннотацияда автокөлік жарысы симуляторында эталонға аз сұраныс жасалғаны және авторлар автоматтандырылған оқу бағдарламасы әсеріне жатқызатын жинақталу жылдамдығының артуы туралы айтылады, бірақ екеуіне де сан келтірілмейді.

Түйткіл нәтижелерде емес, анықтамада жатыр. Классификаторды оқыту оны баптау үшін пайдаланылатын әрбір күй бойынша эталондық саясаттың әрекетін талап етеді, бұл эталонның басқа бағдарлама болуын болжайды. Егер сіздің эталоныңыз лидер қолы бар адам болса, бұл белгілер жиынтығы арзан емес, әрі әдіс өзі арналған қасиетінен айырылады.

EnsembleDAgger: күмән мен алшақтық, екеуі бірге

Менда, Дриггс-Кэмпбелл және Коченддерфер (2019) қақпаны ықтималдық мәселесі ретінде қарастырады. EnsembleDAgger "нейрондық желілер ансамблін пайдаланып Гаусс процесін жуықтайды" және ансамбль дисперсиясын сенімділік прокси ретінде оқиды: жоғары дисперсия оқыту деректеріне ұқсамайтын аймақты білдіреді, ал бұл — сарапшы сәтсіздік күйлерінен аулақ жүреді деп есептегенде — сәтсіздікке жақындықпен байланысты. Ереже — бір мезгілде орындалатын шарт. Үйренуші тек оның орташа әрекеті мен сарапшы әрекеті арасындағы L2 қашықтығы бір шектен (алшақтық) төмен болғанда және оның болжанған әрекетінің дисперсиясы екінші шектен (күмән) төмен болғанда ғана әрекет ете алады. Осылардың бірі орындалмаса, сарапшы басқаруды қолға алады. Мақсат — сәтсіздік ықтималдығын шектей отырып, үйренушінің әрекеттер үлесін барынша арттыру; мақалада аударылған маятник пен MuJoCo HalfCheetah-та басқа DAgger нұсқаларымен салыстырғанда жақсарған қауіпсіздік пен оқыту туралы айтылады.

LazyDAgger: ауыстырғыштың дірілдеуін тоқтату

Хоке және әріптестері (2021) бұрынғы мақалалар өлшемеген шығынға назар аударды: ауыстырғыштың өзіне. Әрбір араласу "адам істеп жатқан басқа жұмысты үзеді, бақылаушы мен автономды басқару арасындағы әрбір контекст ауысуында кідіріс тудырады және орындауға уақыт талап етеді". Минутына он рет ашылып-жабылатын қақпа бірдей автономды үлеспен он секундқа бір рет ашылатын қақпадан нашарырақ. LazyDAgger SafeDAgger-ді асимметриялық шектермен кеңейтеді — бақылаушы басқаруына кіру онда қалудан қиынырақ — осылайша жүйе шекарада тербелмейді. Симуляцияда ол "үздіксіз басқарудың 3 тапсырмасында SafeDAgger-мен салыстырғанда контекст ауысуларын орта есеппен 60%-ға азайта отырып, заманауи деңгейдегі саясат өнімділігін сақтай алады"; ABB YuMi-мен мата манипуляциясында ол "орындау уақытында SafeDAgger-ге қарағанда 60%-ға жоғары сәттілік деңгейіне жете отырып, контекст ауысуларын 60%-ға азайтады".

ThriftyDAgger: бюджет аясындағы жаңалық немесе тәуекел

ThriftyDAgger (Хоке және т.б., CoRL 2021) саясаттан емес, бақылаушының бюджетінен бастайды. Ол "тек жеткілікті дәрежеде (1) жаңа, яғни робот саясатында еліктейтін эталондық мінез-құлық жоқ, немесе (2) тәуекелді, яғни роботтың тапсырманы орындауға сенімі төмен күйлерде ғана араласуды сұрау үшін үйретілген ауыстыру саясатын пайдаланады", әрі осы тәуекелді бағалауға арналған жаңа метрикамен жабдықталған. Бюджет — нәтиже емес, кіріс параметр: сіз қанша адам уақытын жұмсайтыныңызды алдын ала белгілейсіз. Орындау кезінде қолданылған әдіс "симуляциялық та, физикалық тапсырмаларда да 100% сәттілік деңгейіне жетеді", ал үш роботтан тұратын флотты бір мезгілде зейін талап ететін тапсырмамен басқаратын он қатысушымен жүргізілген пайдаланушы зерттеуі оның "келесі үздік алгоритммен салыстырғанда адам мен робот өнімділігін сәйкесінше 58% және 80%-ға арттыра отырып, бақылаушы жүктемесін азайтатынын" хабарлайды. Флот жағдайы бұл жұмыс үшін табиғи орта; кейінірек Fleet-DAgger бірнеше робот пен бақылаушысы бар интерактивті флот оқытуын формализациялап, оңтайландырылатын шама ретінде адам күшінің қайтарымын (Return on Human Effort) ұсынды.

HG-DAgger: қақпаны адам ұстайды

Келли және т.б. (2019) басқа жолмен жүреді. Ешқандай ауыстыру саясаты жоқ. Үйренуші "сарапшы жаңадан үйренушінің күй кеңістігінің қауіпсіз емес аймағына кіргенін байқағанға дейін" жұмыс істейді, содан кейін сарапшы басқаруды қолға алып, жүйені кері бағыттайды. Біріктіру ережесі — қатаң бөлігі: "Сарапшы әрекет белгілері тек осы қалпына келтіру траекторияларында ғана жиналып, деректер жиынына қосылады, ол кезде сарапшы жүйені үздіксіз бақылайды." Адам көрермен болып тұрған кезде ештеңе белгіленбейді.

Бұл тек ауыстырғышпен шектелмейді. HG-DAgger сонымен қатар "толық оқытылған жаңадан үйренушінің күй кеңістігінің әртүрлі аймақтарындағы өнімділігін болжау үшін пайдалануға болатын, модель белгісіздігіне негізделген тәуекел метрикасы үшін қауіпсіздік шегін үйренеді": ол адам араласқан сәттерде үйренушінің қаншалықты белгісіз болғанын жазып, үйренуші өзінің соңғы түріне ең көп ұқсайтын осы жазбалардың соңғы ширегін орташалайды. Бұл роботтың пайдаланатын қақпасы емес, дайын саясаттың қай жерде тұрақты болатынын болжайтын диагностика. Бағалау симуляциялық және нақты дүниедегі жүргізу тапсырмасын қамтиды және DAgger мен мінез-құлықты клондаудан жақсырақ өнімділікті хабарлайды.

Байланысты бір бағыт белгі деп есептелетінді өзгертеді. Спенсер және әріптестерінің Expert Intervention Learning әдісі "сарапшының кез келген көлемдегі кері байланысы, араласу арқылы болсын, араласпау арқылы болсын, ағымдағы күйдің сапасы, әрекеттің оңтайлылығы немесе екеуі туралы да ақпарат береді" деп есептейді, бұл үйренушінің құндылық функциясына қойылатын шектеу ретінде формализацияланып, өкінусіз (no-regret) онлайн оқытумен шешіледі. Осы түсінік бойынша адам бақылап, ештеңе жасамаған кезеңдер бос емес, әлсіз оң дәлел болып саналады. EIL соқтығысудан аулақ болуды сарапшының шамамен бір минуттық басқаруынан үйренеді.

Нұсқалар қатар-қатар

Әрбір қақпа не береді және не тұрады

"Не қажет" бағанын оқып шықсаңыз, заңдылық көрінеді: онда келтірілген әрбір робот басқаратын сигнал жасанды түрде құрылуы керек прокси, әрі әрбір проксидің өз бағасы бар.

• Алшақтық сигналдарына (SafeDAgger, LazyDAgger, EnsembleDAgger ережесінің жартысы) эталондық саясат қажет. Не сізде скрипттелген сарапшы бар — бұл жағдайда қызықты мәселе бұрыннан шешілген, не адам фонда әрекеттер шығаруды жалғастырады, сол арқылы қашықтықты есептеуге болады.
• Күмән сигналдарына калибрленген эпистемиялық белгісіздік қажет. Кіші басқару желілерінің ансамблі оны жуықтайды; ал үш миллиард параметрлі көру-тіл-әрекет моделінің ансамблі бірінші кезекте жад пен кідіріс мәселесіне айналады.
• Жаңалық пен тәуекел сигналдарына жеткілікті сәтті және сәтсіз жүгірістерге баптанған, тапсырманың орындалуын бағалайтын үйретілген бағалаушы қажет. Сіз әлі жұмыс істетіп жатқан тапсырма үшін бұл дерек бірінші раундта жоқ.
• Адам қақпасына тек назар қажет, басқа ештеңе емес — бұл кез келген саясат архитектурасында, бірінші күннен-ақ, қосымша модель оқытпай-ақ қолжетімді жалғыз сигнал.
• Ешбір робот қақпасы адамды бөлмеден шығармайды. Олар адамның қаншалықты жиі әрекет етуі керектігін азайтады, бірақ оның қатысу қажеттілігін жоймайды.

Қақпа нені шығаратынында байқала бермейтін айырмашылық бар. Траектория ортасында іске қосылатын робот қақпасы адамға еркін позадағы қозғалып тұрған қолды тапсырады. Адам қақпасы операторға сәтті таңдауға мүмкіндік береді — созылудан кейін, ұстаудан бұрын, айналу жолының ортасында емес. Екеуінен алынған қалпына келтіру сегменттері бірдей таза емес, ал бұл сегменттер раундтың бүкіл өнімі.

Неге адам басқаратын нұсқа нақты жабдықта жеңеді

Бұл бенчмарк нәтижесі емес, инженерлік дәлел — біз тапқан ешбір мақала бес қақпаны да бір манипуляторда, бір саясат класымен тексермейді. Ол төрт нүктеге негізделеді.

Біріншіден, бақылаушы бәрібір сол жерде болады. Ешкім SO-100 қолын ол құлатып жіберуі мүмкін заттардың қасында қараусыз қалдырмайды. Біреу бақылап тұрған кезде оған басқаруды қолға алу түймесін берудің қосымша құны нөлге жақын; ал калибрленген тәуекел бағалаушысын құру — жеке жоба.

Екіншіден, заманауи саясатта нақты өлшей алатын белгісіздік жиі қате шама болып шығады. Диффузиялық немесе flow-matching басы іріктелген әрекет үзінділері бойынша дисперсия шығарады, ал бұл дисперсия бас білдіруге үйретілген мультимодальдықты көрсетеді, күй туралы эпистемиялық білместікті емес. EnsembleDAgger-дің күмән мүшесі дәл соңғысын ұстап алу үшін ансамбльді пайдаланады. Бұл екеуі бір сан сияқты көрінгенімен, олай емес; әрекетті бөлікке бөлу (action chunking) мен flow matching мақалалары бұл бастардың әрекеттерді қалай шығаратынын алдымен түсіндіреді.

Үшіншіден, манипуляцияда маңызды сәтсіздіктер жиі статистикалық тұрғыдан ерекше емес, семантикалық сипатта болады. Ұстағышты екі сантиметр ерте жабатын немесе екі бірдей текшенің қате біреуіне сеніммен созылатын саясат жоғары дисперсиялы күйде тұрған жоқ — ол сенімді әрі қате. Ешбір дисперсия шегі мұны ұстамайды; бақылап тұрған адам мұны бірден байқайды.

Төртіншіден, белгі сапасы — HG-DAgger-дің бастапқы тезисі, әрі ең жиі назардан тыс қалатыны. Адам үздіксіз басқаруда болған кезде жиналған белгілер қозғалып тұрған жүйе үстінен айтылған белгілерден жақсы. Егер мақсат — біріктіруге тұрарлық түзету деректері болса, дәлелдеу міндеті автоматтандырылған қақпаға жүктеледі.

Қақпа — әдістің жартысы; деректерді өңдеу — екінші жартысы

Қақпа қай кадрларды адам басқарғанын шешеді, оларды не істеу керектігін емес, ал раундтар көбіне дәл осы екінші шешімде далаға кетеді. Бірінші ереже — DAgger-дегі D әрпінің мағынасы: біріктір, алмастырма. чекпоинтті тек бірнеше жүз түзету кадрымен ғана дәл баптау сізге дерлік тек қалпына келтірулерді ғана көрген және қалыпты траекторияны ұмытып қалған модель береді.

Екінші ереже — араласу кадрлары қарапайым кадрлар емес екені. Мандлекар және т.б. операторларға саясаттарды бақылап, сәтсіздік кезінде басқаруды қолға алуға мүмкіндік беретін 6-DoF манипуляциясына арналған қашықтан телеоперация жүйесін құрып, содан кейін "саясатты араласулар арқылы тар жерлерден өтуді үйренуге ынталандыратын" алгоритммен итеративті түрде оқытты; осы деректермен оқытылған агенттер тең мөлшердегі қарапайым демонстрация үлгілерімен оқытылған агенттерден асып түсті. Sirius бұл идеяны өндіріске жеткізіп, "оқыту үлгілерін жуықталған адам сеніміне қарай қайта салмақтап, саясаттарды салмақталған мінез-құлықты клондаумен оңтайландырады". Екеуіне де адам басқарғанын көрсететін кадр бойынша белгі қажет, сондықтан intervention жалауы көрінгеннен гөрі маңыздырақ.

Үшінші ереже — автоматты араластыру тұзақ екені. Дереккөздерін санамалай алмайтын құрастырылған деректер жиыны келесі раунд нашарлаған кезде түзете алмайтын жиын болады. Осы платформада құрастыру қадамы дәл осы себепті анық көрсетілген — бастапқы деректер жиыны плюс түзетулер, дереккөз бойынша эпизод таңдау, ал нәтиже кез келген басқа сияқты синхрондалатын және оқытылатын қарапайым LeRobot деректер жиыны болып табылады; деректер жиыны құжаттамасы формат жағын қамтиды.

Адам нақты ұстай алатын қақпаны орнату

"Адам шешеді" деген нақты спецификация емес. Әртүрлі шектері бар екі оператор салыстыруға келмейтін раундтар шығарады, ал ауытқитын шек оқи алмайтын үрдіс тудырады. Триггерлерді бірінші жұмыс алдында жазып алыңыз.

1. Қақпаны ашатын жағдайларды атаңыз — белгіленген шектен көп ауытқыған жақындау, ұстағыштың бос жерде жабылуы, буынның шекке қарай ауытқуы, бір-екі секундтан ұзақ тоқтап қалу — және тізімді раунд бойы өзгеріссіз сақтаңыз.
2. Оны ашпайтынды да атаңыз. Саясат өзі түзейтін артық жүрісі — оқыту сигналы; сол жерде басқаруды қолға алу оның бұрыннан білетін қалпына келтіруін жояды.
3. Таза беру үшін жеткілікті ерте басқаруды қолға алыңыз, күй қалпына келтірілетін болысымен қайтарыңыз.
4. Әрбір эпизод бойынша неге басқаруды қолға алғаныңызды жазып отырыңыз. Үш раундтан кейін бұл дәл сол сәтсіздіктің қайталанып-қайталанбағанының жалғыз жазбасы болады.
5. Камераларды, тапсырма мәтінін және операторды раундтар бойы өзгеріссіз сақтаңыз. Біреуін өзгертсеңіз, сандар салыстыруға келмей қалады.

Механикалық тұрғыдан беру екі нұсқада жүзеге асады. Лидер қолымен жұмыс істегенде, айналдыру моменті берілместен бұрын лидер follower-дің ағымдағы позасына жетуі керек, әйтпесе қол секіріп кетеді; бұл туралау қимылы нақты жабдықта тізбектің ең аз тексерілген бөлігі болып табылады. Лидер қол болмағанда, басқаруды қолға алу бірінші перне басудан бастап толық қолмен жүзеге асады: follower ұсталып тұрады, ал оператор оны пернетақтадан буын-буынымен жылжытады немесе слайдерлерді сүйрейді, ал сервер жағындағы шектеулер әрбір енгізуді кішкентай ұстап тұрады — перне басуына бірнеше градус, слайдер жаңартуына бірнеше градус, себебі ұсталып тұрған позаға жасалған үлкен қадам сервоны зақымдап алудың тура жолы. Пернелер тіркесімі бар қадамдық нұсқаулық SO-100-дегі DAgger раундының нұсқаулығында бар; екі телеоперация режимі туралы негізгі ақпарат телеоперация құжаттамасында және лидер-follower мақаласында.

Қақпаның бірдеңе істегенін қалай білуге болады

Адам басқаратын раундтың метрикасы — араласу жиілігі: жұмыстың жалпы кадр санына бөлінген араласу кадрлары. Оның бір міндеті бар — егер ол раундтар бойы төмендемесе, раунд ешнәрсе бермеген, ал келесісінде деректер көлемінен басқа бірдеңе өзгертілуі керек.

Бұл біржақты метрика, және мұны білу керек. Ол саясаттың құзыреттілігі сияқты оператордың шегін де өлшейді, сондықтан триггер тізімі өзгеріссіз қалдырылады; сеанс барысында босаңсыған оператор артында ешнәрсе жоқ құлдырайтын қисық шығарады. Ол сонымен қатар ауырлықты елемейді — соқтығысуды тоқтатуға арналған он кадр мен ұстауды түзетуге арналған он кадр бірдей көрінеді. Оны ешқашан түзету деректері алынбаған тұрақты бағалау жиынымен қосыңыз. DAgger циклін өлшеу туралы мақала бағалау дизайнын, соның ішінде бағалау эпизодтарын оқыту қоспасынан сырт ұстау тәсілін толық қарастырады.

Назарда ұстауға тұрарлық ашық сұрақтар

Бенчмарктер әлсіз. Спенсер және әріптестері имитациялық оқыту тәсілдерін тексеру үшін пайдаланылатындарды қарап шығып, оларды "іске асырылатын әрі қарапайым, сондықтан нақты дүниедегі шешім қабылдау мәселелерінде байқалатын қате жинақталуының қиынырақ режимдерін көрсетуге жеткіліксіз" деп тапты — әрі қоршаған әдебиетке қарама-қайшы, қарапайым мінез-құлықты клондау оларда жақсы нәтиже көрсеткенін анықтады. Бұл жоғарыдағы кестедегі кейбір сандарды қоса, осы тапсырмаларға негізделген DAgger нұсқаларының кез келген рейтингіне күмәнмен қарауға негіз береді.

Ірі саясаттардағы робот қақпалары да толық шешілген жоқ. AIM жұмысы белгісіздікті адамның араласу ережесін еліктейтін прокси Q-функциясымен алмастырады және ThriftyDAgger-мен салыстырғанда басқаруды қолға алу құны мен оқыту тиімділігінде 40%-ға жақсарғанын хабарлайды — бірақ бұл үздіксіз және дискретті басқаруда, манипуляторды басқаратын көру-тіл-әрекет моделінде емес. Осы қақпалардың қайсысы дәл баптанған VLA-ға ауысатыны ашық сұрақ. Шолу мақала байланысты бір мәселені атап көрсетеді: саланың терминологиясы мен құрылымы әдебиет бойынша біріктірілмеген, бұл әдістерді салыстыруды қиындатады. Өз қолыңызда сіздің логтарыңыз — қолыңыздағы жалғыз дәлел.

Үстелдегі бір қол үшін таңдау жасалған: қақпаны өзіңіз ұстаңыз, оны нені ашатынын жазып алыңыз және күш-жігеріңізді ауыстырғышты автоматтандырудың орнына оның артындағы деректерді өңдеуге жұмсаңыз. Платформа жағы DAgger циклі бетінде сипатталған, ал саясат отбасы бойынша оқыту опциялары оқыту және бағалар бөлімінде берілген. Негіз үшін имитациялық оқытудан және SO-100-дегі имитациялық оқытудан бастаңыз; алғашқы жұмыс үшін алғашқы саясатыңызды іске қосыңыз қысқарақ жол болып табылады.