HG-DAgger și variantele Gated: Cine hotărăște când să preia o politică de robot

O politică clonată eșuează acolo unde datele sale de antrenament s-au terminat. Remedierea e să ții colectând date sub distribuția proprie de stări a politicii, în loc de cea a demonstratorului, ceea ce DAgger face și ceea ce introducerea în agregarea de date acoperă de la principii primare. Lasă deschisă partea neconfortabilă a algoritmului original: în timp ce învățătorul conduce, expertul ar trebui să spună ce ar fi făcut el, pentru fiecare stare, fără a fi în control.

Într-un simulator cu expert cu script asta-i gratuit. Pe o masă cu un braț real nu e nici gratuit nici sigur. Autorii HG-DAgger sesizează obiecția cu precizie: astfel de scheme de eșantionare "cer expertului să furnizeze etichete de acțiuni fără a fi complet în control al sistemului", ceea ce "poate scădea siguranța și, când se folosesc oameni ca experți, ar putea degrada calitatea etichetelor colectate datorită lagului perceput al actuatorului" (Kelly et al., 2019). Două eșecuri se ascund în acea propoziție: politica ține mergând în stări pe care nimeni nu vrea s-o vadă, și etichetele cumpărate cu riscul ăsta sunt mai proaste decât cele pe care un om le produce ținând comenzile. Fiecare variantă de mai jos răspunde la aceeași întrebare — pune o poartă pe control și lasă pe cineva să hotărască când se deschide. Ele diferă în cine e acel cineva.

Gated de om și gated de robot: diviziunea care contează

Învățarea prin imitație interactivă are propria ei sondaj; Celemin și colegii o cataloghează după tip de feedback, interfață, model de învățare, experiență utilizator, aplicație și benchmark. Distincția care decide ingineria ta e mai simplă decât oricare din acele axe, și lucrările recente o numesc direct: o metodă e gated de om când supervizorul hotărăște când să intervină, și gated de robot când agentul hotărăște când să ceară ajutor (Cai et al., 2025). Totul altceva e mecanică servind una din acele două alegeri. Schimbul e vizibil de la început: o poartă umană costă atenție continuă, și o poartă de robot promite s-o redea atenția aia — dar doar dacă semnalul pe care-l pune e de încredere, și construirea semnalului ăla e propria ei problemă de cercetare.

SafeDAgger: un clasificator care-și prezice propria deviație

SafeDAgger lui Zhang și Cho (2016) e cea mai veche din aceste porți. Interogarea politicii de referință e partea scumpă, deci o rețea a doua, mică — politica de siguranță — prezice dacă interogarea merită deloc. "Returnează o etichetă binară indicând dacă politica primară e probabil să se abată de la o politică de referință fără a o interoga". Eticheta e definită contra unei abateri pătratice L2 între acțiunile celor două politici cu o limită tau, și clasificatorul se potrivește cu cross-entropie binară. La runtime decidă pentru fiecare stare dacă învățătorul ține conducând sau referința preluează. Raportul abstract arată mai puține interogări de referință într-un simulator de curse de mașini plus o accelerare a vitezei de convergență pe care autorii o atribuie unui efect de curriculum automat, fără a da o cifră pentru niciunul.

Capcanul e în definiție, nu în rezultate. Antrenarea clasificatorului cere acțiunea politicii de referință pe fiecare stare folosită s-o potrivească, ceea ce presupune referința e un alt program. Dacă referința ta e o persoană cu un braț lider, acel set de etichete nu e ieftin și metoda pierde proprietatea pentru care a fost concepută.

EnsembleDAgger: îndoială și discrepanță, amândouă

Menda, Driggs-Campbell și Kochenderfer (2019) tratează poarta ca o întrebare probabilistică. EnsembleDAgger "aproximează un Gaussian Process folosind un ensemble de rețele neuronale" și citește varianța ensemble-ului ca un proxy de încredere: varianță mare înseamnă o regiune neobișnuită pentru datele de antrenament, care — presupunând expertul evită stări de eșec — se corelează cu proximitatea eșecului. Regula e o conjuncție. Învățătorul poate acționa doar când distanța L2 între acțiunea medie și acțiunea expertului rămâne sub o limită (discrepanță) și varianța acțiunii sale prezise rămâne sub o a doua (îndoială). Dacă oricare eșuează, expertul preia controlul. Obiectivul e maximiza partea învățătorului din acțiuni în timp ce se constrânge probabilitatea eșecului; lucrarea arată siguranță și învățare îmbunătățite comparativ cu alte variante DAgger pe un pendul inversat și HalfCheetah MuJoCo.

LazyDAgger: oprește comutatorul de a bâzâi

Hoque și colegii (2021) au atacat un cost pe care articolele anterioare nu l-au măsurat: comutatorul în sine. Fiecare intervenție "întrerupe alte lucruri pe care omul le face, suportă latență la fiecare comutare de context între supervizor și control autonom, și cere timp s-o efectueze". O poartă care se deschide și se închide de zece ori pe minut e mai rea decât una care se deschide odată timp de zece secunde, la aceeași parte autonomă. LazyDAgger extinde SafeDAgger cu praguri asimetrice — mai greu să intri în controlul supervizorului decât să rămâi acolo — deci sistemul nu oscilează la limită. În simulare "poate reduce comutările de context cu o medie de 60% peste SafeDAgger pe 3 sarcini de control continuu în timp ce menține performanța politicii state-of-the-art"; în manipulare de țesături cu ABB YuMi "reduce comutările de context cu 60% în timp ce realizează o rată de succes cu 60% mai mare decât SafeDAgger la timp de execuție".

ThriftyDAgger: novelitate sau risc, sub un buget

ThriftyDAgger (Hoque et al., CoRL 2021) pornește de la bugetul supervizorului mai degrabă decât de la politică. Folosește "o politică de comutare învățată să solicite intervențiile doar la stări care sunt suficient de (1) noi, unde politica robotului nu are comportament de referință de imitat, sau (2) riscante, unde robotul are încredere scăzută în completarea sarcinii", cu o metrică nouă pentru estimarea riscului ăla. Bugetul e o intrare, nu o ieșire: spui cât timp uman vei cheltui. Aplicat la timp de execuție metoda "realizează o rată de succes de 100% atât în simulare cât și în sarcini fizice", și un studiu cu utilizatori cu zece participanți controlând o flotă de trei roboți alături cu o sarcină de concentrare raportează că "crește performanța umului și robotului cu 58% și 80% respectiv comparativ cu următorul cel mai bun algoritm în timp ce reduce povara supervizorului". Setarea flotei e casa naturală pentru această lucrare; Fleet-DAgger mai târziu a formalizat învățarea flotei interactive cu roboți multipli și supervizori, propunând Return on Human Effort ca cantitatea de optimizat.

HG-DAgger: omul ține poarta

Kelly et al. (2019) merg pe cealaltă cale. Nu e politică de comutare. Învățătorul se derulează "până când expertul observă că novicele a intrat într-o regiune nesigură a spațiului de stări", moment în care expertul preia controlul și ghidează sistemul înapoi. Regula de agregare e partea strictă: "Etichetele de acțiuni experți sunt colectate și adăugate la dataset doar în aceste traiectorii de recuperare, în timp care omul expert are control neîntrerupt al sistemului." Nimic nu e etichetat în timp ce omul e spectator.

Asta nu se oprește la comutator. HG-DAgger și "învață un prag de siguranță pentru o metrică de risc bazată pe incertitudine model care poate fi folosită s-o prezică performanța novicei complet antrenate în regiuni diferite ale spațiului de stări": înregistrează cât de incert era învățătorul la momentele când omul a intervenit și mediile ultimul sfert din acele înregistrări, unde învățătorul asemănă cel mai mult forma finală. Aia nu e o poartă pe care robotul o operează ci un diagnostic spunândui unde politica finalizată se așteaptă s-o țină. Evaluarea acoperă o sarcină de conducere simulată și din lumea reală și raportează performanță îmbunătățită peste DAgger și behavior cloning.

O linie înrudită schimbă ce se numește etichetă. Expert Intervention Learning al lui Spencer și colegii susțin că "orice cantitate de feedback expert, fie prin intervenție sau non-intervenție, furnizează informații despre calitatea stării curente, optimalitatea acțiunii, sau ambele", formalizat ca o constrângere pe funcția de valoare a învățătorului și rezolvat cu învățare online fără regret. Sub acea citire, secțiunile unde omul a urmărit și n-a făcut nimic sunt dovezi pozitive slabe mai degrabă decât goale. EIL învață evitarea coliziunilor din aproximativ un minut de control expert.

Variantele una lângă alta

Ce cumpără fiecare poartă, și ce costă

Citește în jos coloana "trebuie disponibil" și un pattern cade afară: fiecare semnal gated de robot acolo e un proxy care trebuie fabricat, și fiecare proxy are propria factură.

• Semnalele de discrepanță (SafeDAgger, LazyDAgger, jumătate din regula EnsembleDAgger) au nevoie de o politică de referință. Fie ai un expert cu script, caz în care problema interesantă e deja rezolvată, fie un om ține producând acțiuni în fundal deci o distanță poate fi calculată.
• Semnalele de îndoială au nevoie de incertitudine epistemică calibrată. Un ensemble de rețele de control mici o aproximează; un ensemble al unui model vision-language-action cu trei miliarde de parametri e o problemă de memorie și latență mai intâi.
• Semnalele de novelitate și risc au nevoie de un estimator învățat al completării sarcinii, potrivit pe suficiente derulări reușite și eșuate. Pe o sarcină pe care încă-o faci să meargă, acele date nu există în runda unu.
• Poarta umană are nevoie de atenție și nimic altceva — singurul semnal disponibil ziua unu, pe orice arhitectură de politică, fără model extra s-o antrenez.
• Nici o poartă de robot nu elimină omul din cameră. Ele reduc cât de des omul trebuie s-o acționeze, nu dacă trebuie s-o fie prezent.

Există o diferență mai tăcută în ce produce poarta. O poartă de robot care trage în mijlocul traiectoriei dă unui om un braț care se mișcă la o poziție arbitrară. O poartă umană lasă operatorul s-o aleagă momentul — după ajungere, înainte de greapă, nu în jumătatea unei legănări. Segmentele de recuperare de la cele două nu sunt la fel de curate, și acele segmente sunt întregul produs al rundei.

De ce forma gated de om câștigă pe hardware real

Asta-i un argument de inginerie, nu un rezultat de benchmark — nici o lucrare pe care am găsit-o nu rulează toate cinci porțile pe aceleași manipulator cu aceeași clasă de politică. Se sprijină pe patru puncte.

Primul, supervizorul e acolo oricum. Nimeni nu lasă un braț SO-100 să ruleze nesupravegheat lângă obiecte pe care le poate dobori. Când cineva urmărește, costul marginal de a-i da un buton de preluare e aproape zero; construirea unui estimator de risc calibrat e o proiect.

Al doilea, incertitudinea pe care o poți măsura pe o politică modernă e adesea cantitatea greșit. Un cap de difuzie sau flow-matching produce varianță pe eșantioane de acțiuni, și acea varianță reflectă multimodalitatea pe care capul a fost antrenat s-o reprezinte, nu ignoranță epistemică despre stare. Termenul de îndoială EnsembleDAgger folosește un ensemble tocmai s-o capteze pe cea din urmă. Cele două arată ca același număr și nu sunt; intrările action chunking și flow matching acoperă cum acele capuri emit acțiuni pe care le fac prima oară.

Al treilea, eșecurile care contează în manipulare sunt adesea semantice mai degrabă decât statistic neobișnuite. O politică care închide gripperul cu doi centimetri mai devreme, sau care ajunge încrezut spre una greșit din două cuburi identice, nu e într-o stare cu varianță mare — e încrezut și greșit. Nici un prag de varianță nu-l prinde pe ăla; o persoană urmărind-o prinde imediat.

Al patrulea, calitatea etichetelor — punctul original HG-DAgger, și cel omis cel mai des. Etichetele colectate în timp ce omul are control neîntrerupt bate etichetele narate peste un sistem în mișcare. Dacă scopul e date corective merând agregare, povara probei se-nclină cu poarta automatizată.

Poarta e jumătate din metodă; manipularea datelor e cealaltă jumătate

O poartă decide ce cadre a condus un om, nu ce s-o faci cu ele, și acea decizie a doua e acolo unde rundele sunt cel mai des irosit. Prima regulă e aceea pe care D în DAgger se-nscrie: agregrează, nu înlocui. Fine-tuning a checkpoint pur pe câteva sute de cadre de corecție îți dă un model care a văzut aproape nimic decât recuperări și a uitat traiectoria nominală.

A doua regulă e că cadrele de intervenție nu sunt cadre obișnuite. Mandlekar et al. au construit un sistem de teleoperare la distanță pentru manipulare 6-DoF lasând operatorii s-o supravegheze politicile și s-o preia la eșec, apoi s-o antreneze iterativ cu un algoritm care "încurajează politica s-o învețe cum s-o traverseze gâtuiri prin intervențiile"; agenți antrenați pe acele date au depășit agenții antrenați pe un număr egal de eșantioane de demonstrație obișnuite. Sirius împinge ideea în implementare, "re-ponderând eșantioanele de antrenament cu încredere umană aproximată și optimizând politicile cu comportament de clonare ponderat". Amândouă au nevoie de un marcaj per-cadru al ceea ce a fost condus de om, de aceea steagul intervenție contează mai mult decât arată.

A treia regulă e că amestecul automat e o capcană. Un dataset compus ale cărui surse nu poți enumera e unul pe care-l nu poți deboga când runda următoare devine mai rea. Pe această platformă pasul compose e explicit din motivul ăsta — dataset original plus corecții, selecție de episod per sursă, și rezultatul e un dataset obișnuit LeRobot care se sincronizează și se antrenează ca orice altul; documentația dataset acoperă latura format.

Stabilind o poartă pe care o persoană poate să-o țină de fapt

"Omul hotărăște" nu-i o specificație. Doi operatori cu praguri diferite produc runde incomparabile, și un prag derivând produce o tendință pe care nu o poți citi. Scrie declanșatorii înainte de prima rulare.

1. Numește condițiile care deschid poarta — apropiere e departe cu mai mult decât o margine fixă, gripper se-nchide pe nimic, o articulație derivă spre limită, o stagnare mai mult de o secundă sau două — și ține lista neschimbată pentru rundă.
2. Numește ce nu-o deschide. Depășirea pe care politica o recuperează singură e semnal de antrenament; preluând acolo ștergi o recuperare pe care o știe deja.
3. Preia devreme destul pentru o predare curată, predă înapoi cât se poate starea e recuperabilă.
4. Înregistrează de ce ai preluat, per episod. Trei runde mai târziu asta-i singurul record dacă același eșec se-ntoarce.
5. Ține camere, text de sarcină și operator constant peste runde. Schimbă una și numerele nu mai sunt comparabile.

Mecaniceștiu preluarea are doi varianti. Cu braț lider, liderul trebuie s-o ajungă poziția următorului înainte de transfer de cuplu, sau brațul sare; mișcarea de aliniere asta e cea mai puțin testată parte a lanțului pe hardware real. Fără braț lider preluarea e manuală din prima apăsare: următorul e ținut și operatorul-l împinge articulație cu articulație de la tastatură sau trage glisoare, cu brâie pe server ținând fiecare intrare mică — câteva grade pe apăsare, o mână pe glisez update, pentru că pas mare în poziție ținută-i cum desarmezi servou. Versiunea pas-cu-pas cu legări de taste e în plimbarea unui rând DAgger pe SO-100; context pe ambele moduri teleoperare e în documentația teleoperare și intrarea lider-urmare.

Citind dacă poarta a făcut ceva

Metrica unei runde gated de om e rata de intervenție: cadre de intervenție împărțite la cadre ale rundei. Are o treabă — dacă nu cade peste runde, runda a cumpărat nimic, și următoarea trebuie s-o schimbe ceva altceva decât suma datelor.

E o metrică prejudiciată și ar trebui s-o știi. Măsoară pragul operatorului cât și competența politicii, de aceea lista declanșator rămâne fixă; un operator care se relaxează în sesiune produce o curbă în jos cu nimic după. Ignora și severitate — zece cadre s-o opresc coliziune și zece s-o împinge greapă arată identice. Perechea asta cu set de evaluare fixă din care niciodată date de corecție nu au fost desenate. Articolul pe măsurarea unei bucle DAgger merge prin design de evaluare, inclusiv cum s-o ține episoade de evaluare din amestecul de antrenament.

Întrebări deschise merând ținute în vedere

Benchmark-urile sunt slabe. Spencer și colegii au examinat acelea folosite s-o testeze abordări învățare prin imitație și le-au găsit "realizabile și simple și deci insuficiente pentru a captura regimurile mai grele ale compunerii eșecurilor văzute în probleme de decizie din lumea reală" — și, contra literaturii înconjurătoare, au găsit behavior cloning simplu a făcut bine pe ele. Asta-i motiv s-o fiu sceptic orice clasament variantelor DAgger sprijinit pe acele sarcini, inclusiv niște numere în tabelul de deasupra.

Porțile de robot pe politici mari nu sunt rezolvate fie. Lucrarea AIM înlocuiește incertitudinea cu proxy Q-funcție mimicând regula de intervenție umană și raportează îmbunătățire de 40% în cost preluare și eficiență de învățare peste ThriftyDAgger — în control continuu și discret, nu pe model vision-language-action conducând manipulator. Dacă oricare din aceste porți se-ntinde la VLA cu fine-tuning-u e deschis. Sondajul face punct înrudit: terminologie și structură câmpului nu sunt unificate pe literatura, ceea ce face metode greu de comparat. Pe braț propriu, jurnale tale sunt dovezile pe care le ai.

Pentru braț singur pe birou alegerea-i făcută: ține poarta singur, scrie ce-o deschide, și cheltuie efortul pe manipularea datelor după ea mai degrabă decât pe automatizarea comutatorului. Latura platformă-i descrisă pe pagina buclei DAgger, opțiuni antrenament per familie de politică sub antrenament și prețuri. Pentru context, începe cu învățare prin imitație și învățare prin imitație pe SO-100; pentru prima rulare, rulează prima ta politică e cale mai scurtă.