HG-DAgger i Warianty Sterowane Bramką: Kto Decyduje o Przejęciu Kontroli nad Polityką Robota

Klonowana polityka zawodzi tam, gdzie jej dane treningowe się skończyły. Rozwiązaniem jest ciągłe zbieranie danych pod własną dystrybucją stanów polityki zamiast dystrybucji demonstratora, co robi DAgger i co wprowadzenie do agregacji danych obejmuje od pierwszych zasad. Pozostawia otwartą niezręczną część oryginalnego algorytmu: podczas gdy uczeń jeździ, ekspert powinien powiedzieć, co by zrobił, dla każdego stanu, nie będąc w kontroli.

W symulatorze z automatycznym ekspertem to jest darmowe. Na stole z rzeczywistym ramieniem obok niego nie jest ani darmowe, ani bezpieczne. Autorzy HG-DAgger precyzyjnie sformułowali zastrzeżenie: takie schematy próbkowania "wymagają od eksperta podania etykiet akcji bez pełnej kontroli nad systemem", co "może zmniejszyć bezpieczeństwo i, w przypadku korzystania z ludzi jako ekspertów, prawdopodobnie pogorszy jakość zebranych etykiet z powodu postrzeganego opóźnienia aktuatora" (Kelly et al., 2019). Dwa błędy kryją się w tym zdaniu: polityka wciąż jeździ do stanów, których nikt nie chce, a etykiety kupione za to ryzyko są gorsze niż te, które człowiek tworzy, gdy ma kontrolę. Każdy wariant poniżej odpowiada na to samo pytanie — załóż bramkę na kontrolę i pozwól komuś zdecydować, kiedy się otwiera. Różnią się tym, kto tym kimś jest.

Sterowane człowiekiem a sterowane robotem: podział, który ma znaczenie

Interaktywne uczenie przez naśladowanie ma własny przegląd; Celemin i współpracownicy katalogują go wraz z typem sprzężenia zwrotnego, interfejsem, modelem uczenia, doświadczeniem użytkownika, aplikacją i benchmarkiem. Rozróżnienie, które decyduje o Twoim inżynierii, jest prostsze niż którakolwiek z tych osi, a niedawne prace je bezpośrednio nazywają: metoda jest sterowana człowiekiem gdy nadzorca decyduje, kiedy interweniować, i sterowana robotem gdy agent decyduje, kiedy prosić o pomoc (Cai et al., 2025). Wszystko inne to maszyny służące jednemu z tych dwóch wyborów. Handel jest widoczny od samego początku: bramka sterowana człowiekiem kosztuje ciągłą uwagę, a bramka sterowana robotem obiecuje oddać tę uwagę — ale tylko jeśli sygnał, którym steruje, jest godny zaufania, a budowanie tego sygnału to jego własny problem badawczy.

SafeDAgger: klasyfikator przewidujący własne odchylenie

SafeDAgger Zhang i Cho (2016) to najwcześniejsza z tych bramek. Pytanie polityki odniesienia to kosztowna część, więc druga, mała sieć — polityka bezpieczeństwa — przewiduje, czy w ogóle warto pytać. "Zwraca etykietę binarną wskazującą, czy polityka podstawowa prawdopodobnie odchyli się od polityki odniesienia bez pytania". Etykieta jest definiowana względem kwadratowego odchylenia L2 między akcjami obu polityk z progiem tau, a klasyfikator jest dopasowany z binarną entropią krzyżową. W czasie wykonywania decyduje na każdym stanie, czy uczeń wciąż jeździ, czy odniesienie przejmuje. Abstrakt zgłasza mniej zapytań odniesienia w symulatorze wyścigów samochodowych plus przyspieszenie prędkości zbieżności, które autorzy przypisują efektowi kurykulum zautomatyzowanemu, bez podania liczby.

Problem jest w definicji, nie w wynikach. Trening klasyfikatora wymaga akcji polityki odniesienia na każdym stanie użytym do jego dopasowania, co zakłada, że odniesienie to inny program. Jeśli Twoje odniesienie to osoba z liderem, ten zestaw etykiet nie jest tani i metoda traci własność, do której została zaprojektowana.

EnsembleDAgger: wątpliwość i rozbieżność, obie

Menda, Driggs-Campbell i Kochenderfer (2019) traktują bramkę jako pytanie probabilistyczne. EnsembleDAgger "przybliża proces Gaussa za pomocą zespołu sieci neuronowych" i czyta wariancję zespołu jako proxy pewności: wysoka wariancja oznacza region inny niż dane treningowe, co — zakładając, że ekspert unika stanów niepowodzenia — koreluje z bliskością niepowodzenia. Reguła jest koniunkcją. Uczeń może działać tylko wtedy, gdy odległość L2 między jego średnią akcją a akcją eksperta pozostaje poniżej jednego progu (rozbieżność) i wariancja jego przewidywanej akcji pozostaje poniżej drugiego (wątpliwość). Jeśli jedno z nich zawiedzie, ekspert przejmuje kontrolę. Celem jest maksymalizacja udziału ucznia w akcjach przy ograniczeniu prawdopodobieństwa niepowodzenia; artykuł zgłasza poprawione bezpieczeństwo i uczenie w stosunku do innych wariantów DAgger na odwróconym wahadle i MuJoCo HalfCheetah.

LazyDAgger: zatrzymaj przełącznik przed trzaskiem

Hoque i współpracownicy (2021) zaatakowali koszt, którego wcześniejsze artykuły nie zmierzyły: sam przełącznik. Każda interwencja "przerywa inną pracę, którą wykonuje człowiek, wiąże się z opóźnieniem przy każdym przełączeniu kontekstu między nadzorcą a autonomiczną kontrolą i wymaga czasu na wykonanie". Bramka, która się otwiera i zamyka dziesięć razy na minutę, jest gorsza niż ta otwierająca się raz na dziesięć sekund, przy identycznym udziale autonomii. LazyDAgger rozszerza SafeDAgger o asymetryczne progi — trudniej wejść do kontroli nadzorcy niż w niej pozostać — aby system nie oscylował na granicy. W symulacji "może zmniejszyć przełączenia kontekstu średnio o 60% w stosunku do SafeDAgger na 3 zadaniach sterowania ciągłego przy zachowaniu wydajności polityki najnowocześniejszej"; w manipulacji tkaniną za pomocą ABB YuMi "zmniejsza przełączenia kontekstu o 60% przy osiąganiu 60% wyższego wskaźnika sukcesu niż SafeDAgger w czasie wykonywania".

ThriftyDAgger: nowość lub ryzyko, pod budżetem

ThriftyDAgger (Hoque et al., CoRL 2021) zaczyna od budżetu nadzorcy zamiast polityki. "Wykorzystuje nauczoną politykę przełączania do proszenia o interwencje tylko w stanach, które są wystarczająco (1) nowe, gdzie polityka robota nie ma zachowania odniesienia do naśladowania, lub (2) ryzykowne, gdzie robot ma niską pewność w ukończeniu zadania", z nową metryką do szacowania tego ryzyka. Budżet jest wejściem, nie wynikiem: stwierdzasz, ile czasu człowieka wydasz. Zastosowany w czasie wykonywania metoda "osiąga 100% wskaźnik sukcesu zarówno w symulacji, jak i w zadaniach fizycznych", a badanie użytkowników z dziesięcioma uczestnikami kontrolującymi flot trzech robotów obok zadania koncentracji zgłasza, że "zwiększa wydajność człowieka i robota o 58% i 80% odpowiednio w porównaniu z następnym najlepszym algorytmem, jednocześnie zmniejszając obciążenie nadzorcy". Ustawienie floty to naturalny dom dla tej pracy; Fleet-DAgger później sformalizował interaktywne uczenie floty z wieloma robotami i nadzorcami, proponując Return on Human Effort jako wielkość do optymalizacji.

HG-DAgger: człowiek trzyma bramkę

Kelly et al. (2019) idą w drugą stronę. Nie ma polityki przełączania. Uczeń jest uruchamiany "dopóki ekspert nie zauważy, że nowicjusz wszedł w niebezpieczny region przestrzeni stanów", w którym to punkcie ekspert przejmuje kontrolę i prowadzi system z powrotem. Reguła agregacji to część ścisła: "Etykiety akcji eksperta są zbierane i dodawane do zbioru danych tylko podczas tych trajektorii odzyskiwania, podczas których człowiek-ekspert ma nieprzerwraną kontrolę nad systemem." Nic nie jest oznaczane, gdy człowiek jest obserwatorem.

Nie zatrzymuje się na przełączniku. HG-DAgger również "uczy się progu bezpieczeństwa dla metryki ryzyka opartej na niepewności modelu, która może być używana do przewidywania wydajności w pełni wytrenowanego nowicjusza w różnych regionach przestrzeni stanów": rejestruje, jak niepewny był uczeń w momentach interwencji człowieka i uśrednia ostatnią ćwierć tych rekordów, gdzie uczeń najbardziej przypomina swoją ostateczną formę. To nie jest bramka, którą robot obsługuje, ale diagnoza mówiąca Ci, gdzie ukończona polityka ma się utrzymać. Ocena obejmuje symulowane i rzeczywiste zadanie jazdy i zgłasza poprawioną wydajność zarówno w stosunku do DAgger, jak i behavior cloning.

Jedna pokrewna linia zmienia to, co liczy się za etykietę. Expert Intervention Learning Spencer'a i współpracowników głosi, że "każda ilość opinii eksperta, czy poprzez interwencję, czy brak interwencji, dostarcza informacji o jakości bieżącego stanu, optymalności akcji, czy obie", sformalizowana jako ograniczenie funkcji wartości ucznia i rozwiązana metodą uczenia online bez żalu. Przy takim czytaniu, odcinki, w których człowiek obserwował i nic nie robił, to słabe pozytywne dowody zamiast pustego. EIL uczy się unikania kolizji z około minuty kontroli eksperta.

Warianty obok siebie

Co każda bramka kupuje i co kosztuje

Czytając w dół kolumny "potrzebne zasoby" i wzór się pojawia: każdy sygnał sterowany robotem tam to proxy, które musi być wytworzony, i każdy proxy ma swój własny rachunek.

• Sygnały rozbieżności (SafeDAgger, LazyDAgger, połowa reguły EnsembleDAgger'a) potrzebują polityki odniesienia. Albo masz automatycznego eksperta, w którym przypadku ciekawy problem jest już rozwiązany, albo człowiek wciąż produkuje akcje w tle, aby można było obliczyć odległość.
• Sygnały wątpliwości potrzebują skalibrowanej niepewności epistemicznej. Zespół małych sieci sterowania przybliża to; zespół modelu vision-language-action o trzech miliardach parametrów to problem z pamięcią i opóźnieniem na pierwszy.
• Sygnały nowości i ryzyka potrzebują nauczanego estymatora ukończenia zadania, dopasowanego na wystarczającej liczbie udanych i nieudanych uruchomień. Na zadaniu, które wciąż się ulepszasz, te dane nie istnieją w rundzie jeden.
• Bramka sterowana człowiekiem potrzebuje uwagi i nic więcej — jedynego sygnału dostępnego pierwszego dnia, na każdej architekturze polityki, bez dodatkowego modelu do treningu.
• Żadna bramka sterowana robotem nie usuwa człowieka z pokoju. Zmniejszają, jak często człowiek musi działać, nie czy musi być obecny.

Jest bardziej cicha różnica w tym, co bramka produkuje. Bramka sterowana robotem opalająca się w trajektorii daje osobie poruszające się ramię w arbitralnej pozie. Bramka sterowana człowiekiem pozwala operatorowi wybrać moment — po dosięgnięciu, przed chwyceniem, nie w środku zamachu. Segmenty odzyskiwania z obu nie są równie czyste, a te segmenty to cały produkt rundy.

Dlaczego forma sterowana człowiekiem wygrywa na rzeczywistym sprzęcie

To jest argument inżynierii, nie wynik benchmarku — nie znaleźliśmy artykułu, który uruchamia wszystkie pięć bramek na tym samym manipulatorze z tą samą klasą polityki. Opiera się na czterech punktach.

Po pierwsze, nadzorca jest tam i tak. Nikt nie zostawia ramienia SO-100 uruchamianego bez nadzoru obok przedmiotów, które może przewrócić. Gdy tylko ktoś obserwuje, marginalny koszt dania im przycisku przejęcia jest bliski zera; budowanie skalibrowanego estymatora ryzyka to projekt.

Po drugie, niepewność, którą można faktycznie zmierzyć na nowoczesnej polityce, to często zła wielkość. Głowa dyfuzji lub flow-matching tworzy wariancję między próbkowanymi fragmentami akcji, a ta wariancja odzwierciedla multimodalność, którą głowa została wytrenowana do reprezentacji, nie ignorancję epistemiczną o stanie. Termin wątpliwości EnsembleDAgger'a wykorzystuje zespół dokładnie do uchwycenia tego. Dwa wyglądają na tę samą liczbę i nie są; wpisy chunking akcji i flow matching obejmują, jak te głowy emitują akcje na pierwszym miejscu.

Po trzecie, niepowodzenia, które są ważne w manipulacji, to często semantyczne zamiast statystycznie niezwykłe. Polityka zamykająca chwytak dwa centymetry wcześniej lub pewnie sięgająca za niewłaściwego z dwóch identycznych kostek nie jest w stanie wysokiej wariancji — jest pewna i błędna. Żaden próg wariancji tego nie łapie; osoba obserwująca łapie to natychmiast.

Po czwarte, jakość etykiety — pierwotny punkt HG-DAgger'a i ten najczęściej pomijany. Etykiety zbierane, gdy człowiek ma nieprzerwraną kontrolę, pokonują etykiety opowiadane nad poruszającym się systemem. Jeśli celem jest dane korygujące warte agregacji, ciężar dowodu leży po stronie automatycznej bramki.

Bramka to połowa metody; obsługa danych to druga połowa

Bramka decyduje, które ramki człowiek prowadził, nie co z nimi robić, a ta druga decyzja to miejsce, w którym rundy są najczęściej marnowane. Pierwsza reguła to ta, którą D w DAgger oznacza: agreguj, nie zastępuj. Dostrajanie punktu kontrolnego czysto na kilkaset ramek korekcji daje Ci model, który widział prawie nic oprócz odzyskiwania i zapomniał nominalną trajektorię.

Druga reguła to to, że ramki interwencji nie są zwykłymi ramkami. Mandlekar et al. zbudowali system teleoperacji zdalnej dla manipulacji 6-DoF pozwalający operatorom monitorować polityki i przejmować je po niepowodzeniu, a następnie trenować iteracyjnie z algorytmem, który "zachęca politykę do nauki, jak przejść przez wąskie gardła poprzez interwencje"; agenci trenowani na tych danych przewyższyli agentów trenowanych na równej liczbie zwykłych próbek demonstracyjnych. Sirius pcha ideę w wdrożenie, "ponownie ważąc próbki treningowe z przybliżonym zaufaniem człowieka i optymalizując polityki z ważonym behavior cloning'iem". Oba potrzebują markera na ramkę tego, co było człowiekiem prowadzonym, dlatego flaga interwencji ma znaczenie więcej niż wygląda.

Trzecia reguła to to, że automatyczne mieszanie to pułapka. Złożony zbiór danych, którego źródeł nie można wyliczyć, to jeden, którego nie można debugować, gdy następna runda pogarsza. Na tej platformie krok compose jest jawny z tego powodu — oryginalny zbiór danych plus korekcje, wybór episodu na źródło, a wynik to zwykły zbiór danych LeRobot który synchronizuje i trenuje jak każdy inny; dokumentacja zbioru danych obejmuje stronę formatu.

Ustawienie bramki, którą człowiek faktycznie może przytrzymać

"Człowiek decyduje" nie jest specyfikacją. Dwóch operatorów z różnymi progami tworzy nieporównywalne rundy, a dryftujący próg tworzy trend, którego nie można czytać. Zapisz wyzwalacze przed pierwszym uruchomieniem.

1. Nazwij warunki otwierające bramkę — podejście poza ustaloną marżą, chwytak zamykający się na nic, staw dryftujący w stronę limitu, zatrzymanie więcej niż sekundę lub dwie — i zachowaj listę niezmienioną dla rundy.
2. Nazwij, co jej nie otwiera. Przestrzeliwanie, z którego polityka sama się odzyskuje, to sygnał treningowy; przejęcie tam usuwa odzyskiwanie, które już zna.
3. Przejąć wystarczająco wcześnie do czyste transmisji, oddaj tak szybko jak stan jest odzyskiwalny.
4. Zaloguj, dlaczego przejąłeś, na epizodę. Trzy rundy później to jedynym rekordem, czy to samo niepowodzenie wraca.
5. Zachowaj kamery, tekst zadania i operatora stałe w rundach. Zmień jedno i liczby przestają być porównywalne.

Mechanicznie transmisja ma dwa warianty. Z ramieniem lidera, lider musi osiągnąć obecną pozę zwolennika przed przeniesieniem momentu, lub ramię skacze; ten ruch wyrównania to najmniej testowana część łańcucha na rzeczywistym sprzęcie. Bez ramienia lidera przejęcie jest ręczne od pierwszego naciśnięcia klawisza: zwolenik jest trzymany a operator popycha go staw po stawie z klawiatury lub przeciąga suwniki, z zaciśkami po stronie serwera trzymającymi każde wejście małe — kilka stopni na naciśnięcie, garść na aktualizację suwnika, ponieważ duży krok w trzymanej pozie to jak łamiesz serwo. Wersja krok po kroku z powiązaniami klawiszowymi jest w przewodniku rundy DAgger na SO-100; tło obu trybów teleoperacji jest w dokumentach teleoperacji i wpis leader-follower.

Czytanie, czy bramka coś zrobiła

Metryką rundy sterowanej człowiekiem jest wskaźnik interwencji: ramki interwencji podzielone przez ramki uruchomienia. Ma jedno zadanie — jeśli nie spada w rundach, runda nic nie kupiła, a następna powinna zmienić coś innego niż ilość danych.

To metryka stronnicza i powinieneś to wiedzieć. Mierzy próg operatora tyle co kompetencję polityki, dlatego lista wyzwalaczy pozostaje ustalona; operator, który się rozluźnia w sesji, tworzy opadającą krzywą bez niczego za nią. Ignoruje również ważność — dziesięć ramek zatrzymania kolizji i dziesięć na pchanie chwytania wyglądają identycznie. Sparuj to ze stałym zbiorem oceny, z którego żadne dane korekcji nigdy nie zostały wyciągnięte. Artykuł o pomiarze pętli DAgger przechodzi przez projekt oceny, w tym jak trzymać epizody oceny poza mieszanką treningową.

Otwarte pytania warte zachowania w polu widzenia

Benchmarki są słabe. Spencer i współpracownicy zbadali używane do testowania podejść uczenia przez naśladowanie i znaleźli je "realizowalne i proste i dlatego niewystarczające do uchwycenia trudniejszych reżimów błędu compounding widzianych w rzeczywistych problemach podejmowania decyzji" — i, wbrew otaczającej literaturze, znaleźli zwykłe behavior cloning dobrze na nich. To powód do sceptycyzmu wobec każdego rankingu wariantów DAgger opierającego się na tych zadaniach, w tym niektóre liczby w tabeli powyżej.

Bramki robota na dużych politykach również nie są rozwiązane. Praca AIM zastępuje niepewność proxy Q-funkcją naśladującą regułę interwencji człowieka i zgłasza poprawę 40% w koszcie przejęcia i efektywności uczenia się w stosunku do ThriftyDAgger'a — w sterewaniu ciągłym i dyskretnym, nie na modelu vision-language-action prowadzącym manipulator. Czy którakolwiek z tych bramek przenosi się do zestrojonych VLA jest otwarte. Przegląd robi powiązany punkt: terminologia i struktura pola nie są ujednolicone w całej literaturze, co utrudnia porównywanie metod. Na swoim własnym ramieniu, twoje dzienniki to dowód, który masz.

Na pojedynczym ramieniu na biurku wybór jest dokonany: przytrzymaj bramkę sam, zapisz, co ją otwiera, i wydaj wysiłek na obsługę danych za nią zamiast na automatyzację przełącznika. Strona platformy jest opisana na stronie pętli DAgger, opcje treningu na rodzinę polityki poniżej trening i ceny. Aby mieć tło, zacznij od uczenia przez naśladowanie i uczenia przez naśladowanie na SO-100; na pierwszą rundę, uruchom swoją pierwszą politykę to krótsza ścieżka.