Pomiar pętli DAgger: Wskaźnik interwencji, Protokół ewaluacji i Pułapki pomiędzy nimi

Runda DAgger wydaje się produktywna, gdy się w niej znajdujesz. Prowadzisz politykę, przejmujesz kontrolę, gdy potknie się o chwycenie, zapisujesz poprawki, przeprowadzasz retraining, i następny przebieg wygląda - przysięgłbyś - trochę gładziej. Dwie rundy później nie potrafisz powiedzieć, czy cokolwiek się zmieniło, bo "trochę gładziej" nie jest wielkością.

Pętla potrzebuje jednej liczby na rundę, a w pętli sterowanej przez człowieka ta liczba jest prawie darmowa: część przebiegu, w której miałeś kontrolę zamiast polityki. Artykuł definiuje to tak, aby dwie osoby obliczyły tę samą wartość, rejestruje to, odczytuje wynikową krzywą i wymienia cztery sposoby, w jakie cię zwodzi, gdy stoi samodzielnie. Aby zapoznać się z teorią, którą ten artykuł zakłada, zobacz wyjaśnienie DAgger oraz wariant sterowany przez człowieka; praktycznym odpowiednikiem jest uruchomienie pętli DAgger na SO-100.

Dlaczego runda w ogóle potrzebuje liczby

DAgger istnieje z powodu problemu rozkładu, a problemy rozkładu są niewidoczne dla oka. Ross i Bagnell pokazali, że imitation learning na ustalonym zestawie demonstracji prowadzi do narastających błędów i ograniczenia skruchy rosnącego kwadratowo w horyzoncie czasowym: gdy uczeń opuści stany odwiedzane przez demonstratora, nic w danych nie mówi mu, jak wrócić. DAgger to naprawia poprzez iterację - uruchom politykę, oznacz stany, które odwiedza, zagreguj, dokonaj retrainingu - co Ross, Gordon i Bagnell prezentują jako redukcję do nauki online bez skruchy.

To ujęcie ma konsekwencję, którą ludzie pomijają. Gwarancja dotyczy sekwencji polityk na iteracjach, nie żadnego pojedynczego przebiegu. Mówi nic o tym, czy twoja runda trzy pomogła. Jedynym sposobem na wiedzę jest zmierzenie każdej iteracji. Kelly i współpracownicy wprowadzili HG-DAgger, ponieważ klasyczny DAgger prosi eksperta o etykiety akcji, gdy początkujący jest jeszcze w kontroli, co artykuł twierdzi może zmniejszyć bezpieczeństwo i, w przypadku ekspertów człowieka, może pogorszyć jakość etykiet poprzez postrzeganą opóźnienie siłownika. HG-DAgger również uczy się progu bezpieczeństwa dla metryki ryzyka opartej na niepewności modelu i raportuje ulepszoną wydajność w stosunku zarówno do DAgger jak i behavioral cloning na zadaniu jazdy. Nie publikuje liczników interwencji; te wyprodukujesz sam.

Definiowanie wskaźnika tak, aby dwie osoby uzyskały tę samą liczbę

Definicja to jeden wiersz: ramki interwencji podzielone przez ramki przebiegu. Wszystko trudne kryje się w tym, co liczy się jako ramka i co liczy się jako przebieg.

Ramki, nie epizody

Liczenie epizodów z co najmniej jedną interwencją jest bezużyteczne: dziesięć epizodów z jednym pchnięciem każdy i dziesięć, w których prowadziłeś osiemdziesiąt procent, obydwa dają "10/10". Liczba ramek je rozdziela, i jest to ziarnistość, którą zapis już ma - w formacie zestawu danych LeRobot każdy krok czasowy to wiersz, więc flaga interwencji to jedna kolumna logiczna obok stanu i akcji. Tutaj jest napisane na ramkę w momencie rozpoczęcia przejęcia i wyczyszczone, gdy kontrola powraca.

Mianownik obejmuje poprawki

Dwa mianowniki są obronne - całkowite ramki przebiegu lub ramki, które polityka prowadziła autonomicznie - i różnią się znacznie przy wysokim poziomie interwencji. Przejmij kontrolę na 400 z 1000 ramek, a pierwszy daje 40 procent, drugi 67 procent. Porównanie jednej rundy zmierzonej w pierwszy sposób do następnej zmierzonej w drugi jest jak rzeczywista poprawa znika. Weź całkowite ramki i nigdy nie powracaj do tego wyboru w środku serii.

Zdecyduj raz, co się dzieje z ramkami przekazywania

Zawsze jest szew. Gdy kontrola przechodzi, niektóre ramki należą do żadnej strony: ramię jest trzymane, lider się wyrównuje, zapis jest zamrożony. W tym potoku te ramki przekazywania pozostają w surowym strumieniu i nigdy nie wchodzą do kurowanego epizodu - są ani zachowaniem polityki ani poprawką godną treningowania. Licz szew w ten sam sposób każdą rundę: przy 30 Hz sześć przejęć z dwusekundowym szewem każdy to 360 ramek, wystarczająco, aby przesunąć punkt procentowy.

Rejestrowanie go, aby liczba przetrwała sesję

Metryka w panelu stanu procesu uruchomionego jest wskazaniem: znika przy ponownym uruchomieniu i nie można jej wykreślić. Jeden wiersze tylko do dołączenia na przebieg obejmuje całą serię - w tym który punkt kontrolny prowadziłeś, ponieważ zmienia się każdą rundę i pomylenie ich unieważnia to, co następuje.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Dwa pola noszą wagę. train_mix to to, co podałeś do następnego zadania treningowego; bez niego nic nie można przypisać. eval_protocol wymienia ustalony test, który przeprowadziłeś później, i jest polem najczęściej pozostawianym pustym. W kokpicie ay-robots status przejęcia zgłasza liczbę ramek interwencji dla bieżącej sesji, więc rejestrowanie jest przepisywaniem niż oprzyrządowaniem; dokumentacja zestawu danych obejmuje, gdzie wylądują kolumny na ramkę.

Czytanie krzywej: trzy rundy, jeden werdykt

Trzy rundy to minimum do odczytania, bo dwa punkty są zawsze linią. Poniższa tabela to szablon księgowości z liczbami zastępczymi, a nie pomiarami z żadnego przebiegu. Szukasz monotonnego spadku dopasowanego przez wzrost sukcesu na ustalonym teście.

Rundy jeden i dwie wykonują pracę. Runda trzy nie: 11,3 przeciw 11,1 procent jest w wariancie zmieniającym się z przebiegu na przebieg czegokolwiek mierzonego na fizycznym ramieniu, a czwarta runda tych samych poprawek spędza popołudnie na niczym. Płaski segment mówi zmienić coś strukturalnie.

• Pozostałe niepowodzenia nie są korygowalne poprzez teleoperację - obiekt poza zasięgiem, geometria chwytaka, połączenie u jego granic. Żadne dane poprawek nie naprawiają kinematycznej ściany.
• Poprawki są zbyt małe w stosunku do zestawu danych bazowych, aby przesunąć gradient, i nic ich nie waży.
• Poprawki się ze sobą kłócą, więc polityka uśrednia dwie strategie i ląduje między nimi.
• Niepowodzenie jest upstream: kamera się poruszyła, oświetlenie się zmieniło, widok nadgarstka już nie pasuje do treningowania.
• Zadanie jest na suficie tej klasy polityki na tym sprzęcie, a następnym krokiem są więcej dane bazowe.

Ostatnie dwie to nie niepowodzenia pętli. W Sirius-Fleet malejąca potrzeba człowieka to zaprojektowany wynik: w miarę poprawy autonomii robota jego predyktory anomalii dostosowują swoje kryteria prognozowania, co prowadzi do mniej wniosków o interwencję człowieka i stopniowo zmniejsza obciążenie człowieka w czasie. Tam kriterium celowo się dostosowuje. W pętli ręcznej twoje również się dostosowuje, cicho - więc wskaźnik, który się spłaszcza dlatego że zadanie jest na suficie, wygląda dokładnie jak jeden, który się spłaszczy dlatego że operator przestał zauważać. To następny problem.

Pułapka 1: spadający wskaźnik nie jest rosnącym wskaźnikiem sukcesu

Wskaźnik interwencji mierzy dokładnie jedną rzecz: ile przebiegu zdecydowałeś przejąć. Ta decyzja jest twoja, podejmowana w czasie rzeczywistym, i się porusza. W rundzie zero przejmujesz kontrolę przy pierwszym złym kącie podejścia; do rundy trzy oglądałeś jak polityka wraca z tuzina i puszczasz ją spróbować. Twój próg się przesunął; polityka może nie. Wskaźnik spada w każdym razie.

Zaufanie człowieka jest przynajmniej modelowaną wielkością w literaturze zamiast założonej stałej. Sirius ponownie waży próbki treningowe z przybliżonym zaufaniem człowieka i optymalizuje politykę z ważonym behavioral cloning, raportując 8 procentowy wzrost w symulacji i 27 procent na rzeczywistym sprzęcie nad stanem sztuki w wskaźniku sukcesu polityki, przy dwukrotnej prędkości konwergencji. To traktuje zaufanie jako wagę w danych. Nie poprawia to progu w twojej głowie między rundą zero a rundą trzy.

Nie możesz usunąć dryf, więc powiąż wskaźnik z czymś, czego twój próg nie może dotknąć: ustalonym zestawem prób, w którym w ogóle się nie ingerują, ocenianym względem kryterium napisanego przed rundą. Wskaźnik, który spada, gdy sparowany wskaźnik sukcesu pozostaje w miejscu, to sygnatura przyzwyczajenia - warto złapać, bo z wewnątrz pętli to wygląda na postęp.

Pułapka 2: bez ustalonego protokołu mierzysz pomieszczenie

Ewaluacja na rzeczywistym robocie jest kosztowna i trudna do powtórzenia. Autorzy SIMPLER motywują ewaluację symulowaną obserwacją, że rzeczywista ewaluacja takich polityk nie jest skalowalna i napotyka wyzwania reprodukowalności, które będą się pogarszać wraz z poszerzaniem się spektrum zadań polityk. RoboArena atakuje to z drugiej strony, z ponad 600 parami rzeczywistych epizodów ewaluacji robotów na siedmiu ogólniestowych politykach, uruchomioną przez ewaluatorów w siedmiu instytucjach akademickich na platformie DROID. Jej ewaluatorzy wybierają własne zadania i środowiska, ale muszą судить pary polityk na ślepo; artykuł raportuje, że to crowdsourcingowe ranking śledzi wydajność ogólniestowej polityki dokładniej niż konwencjonalna, scentralizowana ewaluacja.

Nie będziesz uruchamiać 600 sparowanych epizodów na jednym SO-100 w warsztacie. Co możesz zrobić, to usunąć wariancję, którą kontrolujesz - listę nudną wystarczająco, aby zwykle została pominięta.

Wtedy arytmetyka, bezlitosna przy liczbach prób, które warsztat może sobie pozwolić. Przy normalnym przybliżeniu 60 procent sukcesu w 20 próbach nosi błąd standardowy w pobliżu 11 punktów procentowych - pierwiastek kwadratowy z 0,6 razy 0,4 w 20 - i różnica między dwiema takimi rundami nosi około 15. Skok z 60 na 70 procent jest zatem zgodny z niczym się nie zmieniającym. Pięćdziesiąt prób przynieś na-rundę figurę do około 7 punktów i kosztuje popołudnie.

Ta asymetria jest argumentem dla wskaźnika interwencji: obliczonego w tysiącach ramek zamiast dwudziestu wyników binarnych, porusza się wcześniej i bardziej gładko. Zastrzeżenie jest, że ramki w epizodzie są silnie skorelowane - jeden błędny chwytak daje sto kolejnych ramek interwencji - więc efektywny rozmiar próbki jest bliższy liczbie przejęć. Traktuj wskaźnik jako wczesny wskaźnik i wskaźnik sukcesu jako powolną absolutną prawdę.

Pułapka 3: trening tylko na poprawkach gnie politykę

Poprawki to interesujące dane, więc instynkt jest trenować na nich. Nie rob tego. Przychodzą z konstrukcji z wąskiego wycinka przestrzeni stanu, gdzie polityka już nie powodzia się i mówią prawie nic o większości przebiegu, który zadziałał. Dostrojaj tylko na tym wycinku, a uzyskasz politykę dobrą w powrocie z sfałszowanego podejścia, która zapomniała jak zrobić czyste.

Mandlekar i współpracownicy zbudowali swój system interwencji na odległość wokół tego. Ich ujęcie: zadania manipulacji zawierają regiony wąskich gardeł wymagające sekwencji precyzyjnych akcji - wkładanie buta do kawy maszyny jest ich przykładem - gdzie małe odchylenia prowadzą do stanów, które demonstracje nigdy nie obejmowały. Ich algorytm trenuje iteracyjnie na nowych danych, aby polityka nauczyła się przechodzić przez te wąskie gardła, i raportują, że agenci wytrenowani na danych interwencji biją agentów wytrenowanych na równoważnej liczbie próbek od nieinwencyjnych demonstrantów.

Współczynnik mieszania to hiperparametr i zasługuje na to, aby być zapisanym. Komponowanie następnego zestawu danych to miejsce, gdzie jest decyzja: oryginalne demonstracje plus zbiór poprawek, wybór epizodu jawny na źródło zamiast reguły, która cicho pociąga w cokolwiek jest dostępne. Tutaj to jeden krok compose w kokpicie, a wynik to zwykły zbiór danych - zobacz dokumentacja treningowa. Co żaden narzędzie nie robi dla ciebie, to rejestrowanie którego współczynnika wyprodukował którą krzywą.

Pułapka 4: człowiek nie jest spójnym ekspertem

Teoria DAgger zakłada eksperta. Nie jesteś jednym w sensie technicznym: twoje poprawki to nie próbki z ustalonego rozkładu warunkowego nad akcjami. Autorzy ACT wymienią to, gdy wymienią przeszkody do precyzyjnej manipulacji - błędy nakładają się w czasie, a demonstracje człowieka mogą być niestacjonarne. Ich system nadal osiąga 80 do 90 procent sukcesu na sześciu rzeczywistych zadaniach z dziesięciu minut demonstracji, więc problem jest możliwy do leczenia, nie nieobecny.

Badanie robomimic robi punkt ze strony danych. W całej sześciu algorytmach offline w pięciu symulowanych i trzech rzeczywistych wieloetapowych zadaniach, jego lekcje obejmują wrażliwość na wybory projektowania, zależność od jakości demonstracji i - jeden, który boli tutaj najbardziej - zmienność wynikającą z kryteriów zatrzymania, ponieważ cele treningowe i ewaluacyjne się różnią. Punkt kontrolny z najniższą stratą nie jest niezawodnie tym z najwyższym wskaźnikiem sukcesu.

Jest sprzętowa wersja tego: tryb wejścia kształtuje poprawkę. lider-wyznacznik setup daje ciągłe trajektorie w tempie człowieka. Pchnięcia klawiaturą są twardo zaciśnięte przez serwer - dwa stopnie na połączenie na stawach ramienia, cztery na chwytaku - więc ta sama intencja przychodzi jako schody małych kroków. Suwaki wysyłają cele bezwzględne i serwer porusza się najwyżej o sześć stopni w kierunku nich na połączenie. Trzy tryby, trzy rozkłady akcji; mieszanie wszystkich trzech w jeden zbiór poprawek, a potem zastanawianie się dlaczego podejście stało się drażliwe to self-inflicted. dokumentacja teleoperacji obejmuje, co każdy tryb wysyła.

Ważenie interwencji: IWR i to, co przyszło później

Jeśli poprawki są wartościową mniejszością, zasadniczy fix to waga zamiast wyłączności. Intervention Weighted Regression to implementacja referencyjna: dane są podzielone na próbki interwencji i braku interwencji, i dwie partycje są próbkowane w równych proporcjach podczas treningowania. Zbiór poprawek, który stanowi pięć procent ramek, następnie przyczynia się o połowę gradientu, bez tego, że nominalne zachowanie zanika z rozkładu.

Równa proporcja to punkt początkowy, nie prawo. Sirius to uogólnia, zastępując binarną partycję ciągłą wagą z przybliżonym zaufaniem człowieka; Sirius-Fleet przesuwa decyzję upstream, używając wizualnego modelu świata i predyktorów anomalii do decyzji, kiedy człowiek jest w ogóle pytany. Wspólny wątek: flaga interwencji to sygnał treningowy, nie tylko kolumna księgowości.

Cztery metryki warte zarejestrowania obok wskaźnika

• Przejęcia na przebieg. Dwadzieścia krótkich poprawek i jeden długi dają podobne wskaźniki i opisują różne polityki - jedna drażliwa, jedna z jedną ślepą plamą.
• Średnia długość interwencji. Rosnąca długość ze spadającą liczbą oznacza, że pozostałe niepowodzenia są trudnymi, co wygląda jak postęp końcowy.
• Czas do pierwszej interwencji. Polityka, która dostaje się dalej przed potrzebą pomocy, poprawia się, nawet gdy całkowity wskaźnik jest płaski.
• Gdzie interwencje się skupiają. Rozporządź flagę przez znormalizowany postęp epizodu; stabilny pik w rundach wskazuje na jeden wąski gardeł.

Protokół rundy, który naprawdę możesz uruchomić

Zmierzona runda ma sześć kroków i wyniku jeden wiersz w logu. Pierwsze cztery to pętla; ostatnie dwie czynią ją pomiarem.

1. 1
   Zamróż protokół ewaluacji przed rundą zero

   Zapisz początkową pozycję, umieszczenie obiektu, kamery, liczbę prób, timeout i kryterium sukcesu. Sfotografuj stół. Jeśli dokument musi się zmienić, seria się restartuje.

2. 2
   Zmierz linię bazową

   Uruchom protokół bez interwencji i zanotuj sukcesy; następnie uruchom jedną sesję oprzyrządowaną z włączoną przejęciem i zanotuj wskaźnik. Te dwie liczby to runda zero.

3. 3
   Zbierz poprawki w jednym spójnym stylu

   Jeden tryb wejścia na rundę, jeden operator, jeśli możesz. Przejmij kontrolę na kryterium, które potrafisz powiedzieć na głos - 'chwytak więcej niż dwa centymetry poza przy podejściu' - i trzymaj ją na rundę.

4. 4
   Triage każdy epizod tego samego dnia

   Poprawka, ewaluacja lub odrzucenie. Niejednoznaczne epizody są odrzucane, nie zapisywane na teorii, że więcej danych pomaga - poprawka, w której sam się potkniąłeś, jest gorsza niż żaden epizod.

5. 5
   Komponuj mieszankę jawnie

   Oryginalne demonstracje plus poprawki, wybór epizodu na źródło. Zanotuj liczbę bazową, liczbę poprawek i dowolne ważenie - to pole, które będziesz chciał za trzy tygodnie.

6. 6
   Kontynuuj z punktu kontrolnego, a następnie ponownie zmierz

   Trenuj skompilowany zbiór danych z poprzedniego punktu kontrolnego zamiast modelu bazowego, uruchom zamrożony protokół plus jedną sesję oprzyrządowaną, dołącz wiersz i porównaj z poprzednimi dwiema rundami.

Dwa limity zmieniają sposób czytania słabej rundy. Kontynuowanie z punktu kontrolnego inicjalizuje wagi z niego - nie wznowienie optymalizatora, więc harmonogram zaczyna się od nowa i krótki przebieg z zbieżnego punktu kontrolnego może przesunąć bardzo mało. A ruch wyrównania lidera na początku przejęcia ma najmniej przebiegu na rzeczywistym sprzęcie czegokolwiek w łańcuchu; jeśli poprawki wszystkie zaczynają się od dziwnego przejścia, szukaj tam zanim winisz mieszankę.

Co liczby nie mogą ci powiedzieć

Nic z tego nie jest rozwiązane, a schludna krzywa nie powinna cię przekonać inaczej. Wskaźnik interwencji mierzy wspólny system - polityka, sprzęt, operator, pokój - i przypisuje nic sam. Nie potrafi sądzić, czy poprawki były dobre, i będzie się ładnie spada na zadaniu, które stało się łatwiejsze, bo obiekt przesunął się dwa centymetry bliżej w ciągu trzech tygodni.

Co robi, to zamienia niejasne wrażenie na kolumnę, którą możesz się sprzeczać. Alternatywą nie jest lepsza metryka; to trzy tygodnie zbierania poprawek krzywa powiedziałaby ci, po rundzie trzeciej, aby przestać zbierać. Literatura przeglądu definiuje interaktywne imitation learning jako ludzką opinię daną przerywnie podczas wykonywania robota, pozwalając na online poprawę zachowania; rodzina jest szeroka, i nie poukład tego działa bez liczby na rundę. Zobacz również przewodnik imitation learning SO-100 dla zestawu danych bazowych, które mieszasz przeciwko, uruchomienie polityki po stronie wnioskowania, i strona pętli DAgger dla wdrożonego potoku.

Trzymaj dziennik w repozytorium, nie w notebooku: rundy są dni w przepisach, sprzęt jest przebudowywany, i osoba czytająca krzywą w październiku to ty bez pamięci sierpnia. FAQ dokumentacji obejmuje szczegóły operacyjne pozostawione tutaj.