Măsurarea unei bucle DAgger: rata de intervenție, protocol de evaluare și capcane din cale

O rundă de DAgger se simte productivă în timp ce o faci. Conduci politica, preia controlul când greșește prinderea, salvezi corecțiile, reantrenezi, și următoarea rulare arată - ai jura - puțin mai lin. Două runde mai târziu nu poți spune dacă s-a schimbat ceva, pentru că "puțin mai lin" nu este o cantitate.

Bucla are nevoie de un număr per rundă, și într-o buclă controlată de om acel număr e aproape gratuit: fracțiunea rulării în care ai avut tu control în loc de politică. Acest articol o definește pentru ca doi oameni să calculeze aceeași valoare, o înregistrează, citește curba rezultată, și numește patru moduri în care te induce în eroare atunci când stă singură. Pentru teoria din care această piesă pornește, see explicatorul DAgger și varianta controlată de om; omologul practic este rularea unei bucle DAgger pe un SO-100.

De ce o rundă are nevoie de un număr deloc

DAgger există din cauza unei probleme de distribuție, iar problemele de distribuție sunt invizibile pentru ochi. Ross și Bagnell au arătat că învățarea prin imitație pe un set fix de demonstrații duce la erori compuse și o legătură de regret crescând pătratic în orizontul de timp: odată ce învățătorul iese din stările pe care demonstratorul le-a vizitat, nimic din date nu-i spune cum să se întoarcă. DAgger remediază asta iterând - rulează politica, etichetează stările pe care le vizitează, agregă, reantrenează - pe care Ross, Gordon și Bagnell o formulează ca o reducere la învățarea online fără regret.

Acea formulare are o consecință pe care oamenii o sar. Garanția privește secvența de politici peste iterații, nu vreo singură rulare. Nu spune nimic despre ta runda trei ajutat. Singura cale să știi e să măsori fiecare iterație. Kelly și colegi au introdus HG-DAgger pentru că DAgger clasic cere experților etichetele de acțiune în timp ce novicele e încă la control, pe care articolul argumentează că poate scădea siguranța și, cu experți umani, e probabil să degradeze calitatea etichetei prin lag-ul actuatorului perceput. HG-DAgger învață, de asemenea, un prag de siguranță pentru o metrică de risc bazată pe incertitudinea modelului și raportează performanță îmbunătățită față de DAgger și behavioral cloning pe o sarcină de conducere. Nu publică număruri de intervenție; acelea le produci tu.

Definirea ratei pentru ca doi oameni să obțină același număr

Definiția este o linie: cadre de intervenție împărțite la cadre ale rulării. Tot ce e dificil se ascunde în ceea ce contează ca un cadru și ceea ce contează ca o rulare.

Cadre, nu episoade

Numărarea episoadelor cu cel puțin o intervenție e inutilă: zece episoade cu o împingere fiecare și zece în care ai condus optzeci la sută amândouă dau "10/10". Numărul de cadre le separă, și e granularitatea pe care înregistrarea o are deja - în formatul setului de date LeRobot fiecare pas de timp e o rând, deci steagul de intervenție e o coloană booleană lângă stare și acțiune. Aici se scrie per cadru în momentul în care preluarea controlului începe și se șterge când controlul se întoarce.

Numitorul include corecțiile

Doi numitori sunt defensabili - totalul de cadre ale rulării, sau cadre pe care politica le-a condus în mod autonom - și diferă rău la niveluri mari de intervenție. Preia controlul pe 400 din 1000 de cadre și primul dă 40 la sută, al doilea 67 la sută. Comparând o rundă măsurată în primul mod cu următoarea măsurată în al doilea e cum dispare o îmbunătățire reală. Ia cadre totale și nu mai reveni la alegere în timp ce lucrezi pe serie.

Hotărăsc o dată ce se întâmplă cu cadrele de tranziție

Există mereu o cusătură. Când controlul trece, unele cadre aparțin niciunei părți: brațul e ținut, liderul se aliniază, înregistrarea e înghețată. În acest pipeline acele cadre de tranziție stau în curentul brut și nu intră niciodată în episod - nu sunt nici comportament de politică nici o corecție pe care ar merita să antrenezi. Numără cusătura la fel fiecare rundă: la 30 Hz, șase preluări de control cu o cusătură de două secunde fiecare e 360 de cadre, suficient pentru a muta un punct de procentaj.

Înregistrând-o pentru ca numărul să supraviețuiască sesiunii

O metrică în panoul de stare al unui proces în curs e o citire: dispare la restart și nu poate fi trasată. O linie append-only pe rundă acoperă întreaga serie - inclusiv care checkpoint ai condus, pentru că se schimbă fiecare rundă și confundând-le invalideaza ceea ce urmează.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Două câmpuri poartă greutatea. train_mix e ceea ce ai hrănit următoarea sarcină de antrenament; fără asta nimic nu poate fi atribuit. eval_protocol numește testul fix pe care l-ai rulat după, și e câmpul cel mai des lăsat gol. În cockpit-ul ay-robots raportul de stare de preluare raportează numărul de cadre de intervenție pentru sesiunea în curs, deci înregistrarea e transcriere mai degrabă decât instrumentare; documentația setului de date acoperă unde cad coloanele per cadru.

Citind curba: trei runde, o concluzie

Trei runde este minimul pentru o citire, pentru că două puncte sunt mereu o linie. Tabelul de mai jos e un șablon de evidență cu numere placeholder, nu măsurări din nicio rulare. Cauți o scădere monotonă potrivită cu o creștere de succes pe un test fix.

Rundele unu și doi fac treabă. Runda trei nu: 11,3 față de 11,1 la sută e în variația rulare-la-rulare a oricărui lucru măsurat pe un braț real, și a patra rundă de aceleași corecții petrece o după-amiază pentru nimic. Segmentul plat spune schimbă ceva structural.

• Eșecurile rămase nu sunt corectabile prin teleoperation - obiect în afara ariei de atins, geometrie greifer, o articulație la limita ei. Nicio dată de corecție remediază un zid cinematic.
• Corecțiile sunt prea puține în raport cu setul de date de bază pentru a muta gradientul, și nimic le pondereaza.
• Corecțiile se contravin reciproc, deci politica medieaza două strategii și aterizează între ele.
• Eșecul e upstream: o cameră s-a mutat, iluminatul s-a schimbat, vederea încheieturii nu mai se potrivește cu antrenamentul.
• Sarcina e la plafon acestei clase de politică pe acest hardware, și următorul pas e mai mult date de bază.

Ultimele două nu sunt eșecuri ale buclei. În Sirius-Fleet o scădere a nevoii omului e rezultatul proiectat: pe măsură ce autonomia robotului se îmbunătățește, predictorii ei de anomalie se adaptează criterii de predicție, ducând la mai puține cereri de intervenție umană și reducând treptat sarcina umană în timp. Acolo criteriul se adapteaza deliberat. Într-o buclă manuală a ta se adapteaza și ea, în tăcere - deci o rată care se destinde pentru că sarcina e la plafon arată exact ca una care s-a destins pentru că operatorul a încetат să observe. Ceea ce e următoarea problemă.

Capcană 1: o rată în scădere nu e o rată de succes în creștere

Rata de intervenție măsoară exact un lucru: cât din rulare ai decis să deții. Acea decizie e a ta, luată în timp real, și se mișcă. În runda zero iei controlul la primul unghi de apropiere rău; până la runda trei ai privit politica se recupera din o duzină din ele și o lași să încerce. Pragul tău s-a mutat; politica s-ar putea să nu fi. Rata cade oricum.

Încrederea umană e cel puțin o cantitate modelată în literatură mai degrabă decât o constantă presupusă. Sirius repondereaza probe de antrenament cu încredere umană aproximată și optimizează politica cu behavioral cloning ponderat, raportând un impuls de 8 la sută în simulare și 27 la sută pe hardware real peste starea artei în rata de succes a politicii, la de două ori viteza de convergență. Aceasta tratează încrederea ca o pondere pe date. Nu corectează pragul din capul tău între runda zero și runda trei.

Nu poți elimina deriva, deci pereaza rata cu ceva pe care pragul tău nu-l poate atinge: un set fix de încercări în care nu intervii deloc, scorate față de un criteriu scris înainte de rundă. O rată care cade în timp ce rata de succes pereată stă pe loc e semnătura habituării - merită capturată, pentru că din interiorul buclei se simte ca progres.

Capcană 2: fără protocol fix, măsori camera

Evaluarea în robotica reală e scumpă și greu de repetat. Autorii SIMPLER motivează evaluarea simulată cu observația că evaluarea în lumea reală a unor politici nu e scalabilă și se confruntă cu provocări de reproducibilitate probabil să se agraveze pe măsură ce politicile se lărgesc spectrul sarcini. RoboArena o ataca din cealaltă parte, cu mai mult de 600 episoade de evaluare robot pereche pe șapte politici generalist, rulate de evaluatori la șapte instituții academice pe platforma DROID. Evaluatorii ei aleg propriile sarcini și medii dar trebuie să judece perechi de politici în dublu-orbire; articolul raportează că ranking-ul ordonat din mulțime urmărește performanța generalist-politică mai precis decât evaluarea convențională centralizată.

Nu vei rula 600 episoade pereche pe un SO-100 într-o atelieră. Ceea ce poți face e îndepărta variația pe care o controlezi - o listă plictisitoare de obicei sar peste ea.

Apoi aritmetica, neiertătoare la numerele de încercări pe care o atelieră le poate permite. Sub aproximarea normală, 60 la sută succes pe 20 de încercări poartă o eroare standard aproape 11 puncte de procentaj - rădăcina pătrată a 0,6 ori 0,4 pe 20 - și diferența între două runde atare poartă aproximativ 15. Un salt de la 60 la 70 la sută e deci consistent cu nimic s-a întâmplat. Cincizeci de încercări aduc figura pe rundă la aproximativ 7 puncte, și costă o după-amiază.

Aceasta asimetrie e argumentul pentru rata de intervenție: calculată pe mii de cadre mai degrabă decât douăzeci de rezultate binare, se mișcă mai devreme și mai lin. Caveat-ul e că cadrele în episod sunt puternic corelate - o prindere proastă randează o sută de cadre de intervenție consecutive - deci dimensiunea efectivă a probei e mai aproape de numărul de preluări de control. Tratează rata ca indicatorul timpuriu și rata de succes ca adevărul de progres lent.

Capcană 3: antrenarea numai pe corecții îndoaie politica

Corecțiile sunt datele interesante, deci instinctul e să antrenezi pe ele. Nu. Vin prin construcție din felie îngustă a spațului de stare unde politica era deja nereușită și spun aproape nimic despre majoritatea rulării care a funcționat. Fine-tune pe acea felie singură și obții o politică bună la recuperare din apropiere strâmbă care a uitat cum să facă una curată.

Mandlekar și colegi și-au construit sistemul de intervenție la distanță în jurul asta. Cadrul lor: sarcinile de manipulare conțin regiuni de gât de sticlă care necesită o secvență de acțiuni precise - inserarea unei pod într-o mașină de cafea e exemplul lor - unde mici deviații duc în stări pe care demonstrațiile nu le-au acoperit. Algoritmul lor antrenează iterativ pe datele noi deci politica învață să traverseze acele gâturi, și raportează că agenți antrenați pe date de intervenție învinge agenți antrenați pe echivalentul de probe de demonstranți non-interveniști.

Raportul de amestec e un hiperparametru și merită să fie scris jos. Compunând următorul set de date e unde se decide: demonstrații originale plus setul de corecții, selecție de episod pe sursă mai degrabă decât o regulă care tăcut trage orice e disponibil. Acolo e un pas de compunere în cockpit, și rezultatul e un set de date obișnuit - vezi documentația de antrenament. Ce niciun instrument nu face pentru tine e înregistrarea ce raport a produs ce curbă.

Capcană 4: omul nu e expert consistent

Teoria DAgger presupune expert. Tu nu ești unul în sens tehnic: corecțiile tale nu sunt probe dintr-o distribuție condiționată fixă peste acțiuni. Autorii ACT o numesc atunci când enumeră obstacolele pentru manipulare fină - erorile se compun în timp, și demonstrații umane pot fi non-staționare. Sistemul lor totuși atinge 80 la sută succes pe șase sarcini reale din zece minute de demonstrații, deci problema e tractabilă, nu absentă.

Studiul robomimic face punctul din partea de date. Peste șase algoritmi offline pe cinci sarcini simulate și trei mondiale multi-etapă, lecții includeau sensibilitate la alegeri de design, dependență de calitate demonstrație, și - cea care doare mai mult aici - variabilitate din cauza criteriilor de oprire, pentru că obiectivele antrenament și evaluare diferă. Checkpoint-ul cu pierderea cea mai mică nu e fiabil cel cu rata de succes cea mai mare.

Există o versiune hardware a asta: modul de intrare formează corecția. Un setup lider-urmaritor produce traiectorii continue, la ritm uman. Nudguri de tastatură sunt fixate tare de server - doi grade pe articulațiile brațului, patru pe greifer - deci aceeași intenție sosește ca o scară de pași mici. Glisorare trimit ținte absolute și serverul se mișcă cel mult șase grade spre ele per apel. Trei moduri, trei distribuții de acțiune; amestecând toate trei în un set de corecții și apoi întrebând de ce abordarea s-a făcut suspicioasă e auto-infligit. documentația teleoperation acoperă ceea ce fiecare mod trimite.

Ponderând intervențiile: IWR și ceea ce a urmat

Dacă corecțiile sunt minoriatatea valoroasă, remedierea principiată e pondere mai degrabă decât exclusivitate. Intervention Weighted Regression e implementarea de referință: datele sunt partiționete în probe de intervenție și non-intervenție, și două partiții sunt eșantionate în proporție egală în timp ce antrenezi. Un set de corecții care e cinci la sută din cadre apoi contribuie jumătate din gradient, fără comportamentul nominal dispărând din distribuție.

Proporție egală e punct de plecare, nu o lege. Sirius o generalizeaza înlocuind partiția binară cu pondere continuă din încredere umană aproximată; Sirius-Fleet mută decizia upstream, folosind un model de lume vizuală și predictori de anomalie pentru a hotărî când om e cerut deloc. Firul comun: steagul de intervenție e semnal de antrenament, nu doar o coloană de evidență.

Patru metrici merită să fie înregistrate lângă rată

• Preluări de control pe rulare. Douăzeci de corecții scurte și una lungă dau rată similară și descriu politici diferite - una fierbinte, una cu un singur punct orb.
• Lungime medie de intervenție. Lungime în creștere cu numărare în scădere înseamnă eșecurile rămase sunt dificile, ceea ce arată progres tarziu.
• Timp până la prima intervenție. O politică care merge mai departe înainte de a avea nevoie de ajutor se îmbunătățește chiar când rata totală e plată.
• Unde intervențiile se grupează. Coș steagul normalizat după progres episod; vârf stabil pe runde indică un gât de sticlă.

Un protocol de rundă pe care-l poți cu adevărat rula

O rundă măsurată are șase pași și produce o rând în jurnal. Primii patru sunt bucla; ultimii doi o fac o măsurare.

1. 1
   Înghețează protocolul de evaluare înainte de runda zero

   Scrie sus poziție de pornire, plasare obiecte, camere, număr de încercări, timeout și criteriu de succes. Fotografiază masa. Dacă documentul trebuie să se schimbe, seria reîncepe.

2. 2
   Măsoară baza

   Rulează protocolul fără intervențiuni și înregistrează succesele; apoi rulează o sesiune instrumentată cu preluare activată și înregistrează rata. Acei doi numări sunt runda zero.

3. 3
   Colectează corecții într-un stil consistent

   Un mod de intrare pe rundă, un operator dacă poți duce. Ia controlul pe un criteriu pe care-l poți strigare - 'greifer mai mult de doi centimetri la apropiere' - și ține-l pe rundă.

4. 4
   Triage fiecare episod același zi

   Corecție, evaluare sau discard. Episoade ambigue sunt discard, nu salvate pe teoria că mai mult ajuta date - o corecție în care tu singur te-ai poticnit e mai rău decât fără episod.

5. 5
   Compune amestecul explicit

   Demonstrații originale plus corecții, selecție episod pe sursă. Înregistrează numărul de bază, numărul de corecții și orice pondere - ăsta e câmpul pe care-l vei dori în trei săptămâni.

6. 6
   Continuă din checkpoint, apoi re-măsoară

   Antrenează setul compus din checkpoint-ul anterior mai degrabă decât modelul de bază, rulează protocolul înghețat plus o sesiune instrumentată, anexează rândul, și compară versus rundele anterioare două.

Două limite schimbă cum citești o rundă slabă. Continuând din checkpoint inițializează greutățile din asta - nu reluare optimizator, deci planul pornește proaspăt și o rulare scurtă dintr-un checkpoint convergent se poate mișca foarte puțin. Și mișcarea de aliniere lider la început de preluare are cel mai puțin kilometraj pe hardware real a oricărui lucru în lanț; dacă corecții toți încep cu transient ciudat, uită-te acolo înainte de a vina amestecul.

Ceea ce numerele nu-ți pot spune

Nimic din asta nu e rezolvat, și o curbă îngrijită nu ar trebui să te convingă altfel. Rata de intervenție măsoară un sistem comun - politică, hardware, operator, cameră - și nu atribuie nimic singur. Nu poate judeca dacă corecțiile au fost bune, și va cădea fericit pe o sarcină care s-a ușurat pentru că obiectul s-a derivat doi centimetri mai aproape pe trei săptămâni.

Ceea ce face e transformă o impresie vagă într-o coloană cu care poți fi în dezacord. Alternativa nu e o metrică mai bună; e trei săptămâni colectând corecții curba ți-ar fi spus, după runda trei, să opresc colectarea. Literatura sondaj definește interactive imitation learning ca feedback uman dat intermitent în timp ce execuția robot, permițând o îmbunătățire online a comportamentului; familia e lată, și nicio aranjare din asta funcționează fără un număr pe rundă. Vezi, de asemenea, ghidul de învățare prin imitație SO-100 pentru setul de date de bază pe care-l amesteci împotriva, rularea unei politici pentru partea de inferență, și pagina buclei DAgger pentru pipeline-ul implementat.

Ține jurnalul în depozit, nu într-un caiet: rundele sunt zile în retur, hardware-ul se reconstruiește, și persoana care citește curba în octombrie ești tu fără memorie a Augustului. FAQ documentație acoperă detalii operative lăsate afară aici.