Måling av en DAgger-løkke: Intervensjonsrate, evalueringsprotokoll og fallgruber i mellom

En DAgger-runde føles produktiv mens du er i den. Du kjører policyen, tar over når den fumler på grepet, lagrer korreksjoner, omtrener, og neste kjøring ser ut – du ville sverge – litt jevnere. To runder senere kan du ikke si om noe endret seg, fordi «litt jevnere» ikke er en mengde.

Løkken trenger ett tall per runde, og i en menneskekontrollert løkke er det tallet nesten gratis: brøkdelen av kjøringen som du hadde kontroll på i stedet for policyen. Denne artikkelen definerer den slik to personer beregner samme verdi, logger den, leser den resulterende kurven, og navngir de fire måtene den vileder deg når den står alene. For teorien denne delen antar, se DAgger-forklaringen og den menneskekontrollerte varianten; den praktiske motparten er kjøring av en DAgger-løkke på en SO-100.

Hvorfor en runde trenger et tall i det hele tatt

DAgger eksisterer på grunn av et distribusjonsproblem, og distribusjonsproblemer er usynlige for øyet. Ross og Bagnell viste at imitasjonslæring på et fast demonstrasjonssett fører til sammensatte feil og en regretstilbøyelighet som vokser kvadratisk i tidshorisonten: når eleven forlater tilstander som demonstratøren besøkte, sier ingenting i dataene hvordan den skal komme tilbake. DAgger fikser dette ved å iterere – kjør policyen, merk tilstandene den besøker, aggreger, omtren – som Ross, Gordon og Bagnell rammefestrer som en reduksjon til online læring uten angrer.

Den rammingen har en konsekvens folk hopper over. Garantien gjelder sekvensen av policyer over iterasjoner, ikke noen enkelt kjøring. Det sier ingenting om hvorvidt din runde tre hjalp. Den eneste måten å vite på er å måle hver iterasjon. Kelly og kolleger introduserte HG-DAgger fordi klassisk DAgger ber eksperten om handlingsetiketter mens nybegynneren fortsatt har kontroll, som papiret hevder kan senke sikkerheten og, med menneskelige eksperter, sannsynligvis vil senke etikettkaliteten gjennom opplevd aktuatorlag. HG-DAgger lærer også en sikkerhetsterskle for en modelluvissheitsbasert risikomål og rapporterer forbedret ytelse over både DAgger og behavioral cloning på en kjøreoppgave. Det publiserer ingen intervensjonstellinger; de produserer du selv.

Definere satsen slik to personer får samme tall

Definisjonen er en linje: intervensjonsbilde delt på bilder av kjøringen. Alt som er vanskelig gjemmes i hva som teller som et bilde og hva som teller som en kjøring.

Bilder, ikke episoder

Teller episoder med minst en intervensjon er ubrukelig: ti episoder med en dyt hver og ti der du kjørte åtti prosent gir begge «10/10». Bildtelleren skiller dem, og det er kornstørrelsen opptakningen allerede har – i LeRobot-datasettsformatet hver tidsstempel er en rad, så intervensjonsflagget er en boolsk kolonne ved siden av tilstand og handling. Her skrives det per bilde det øyeblikket overtakelsen starter og blir renset når kontrollen vender tilbake.

Nevneren inkluderer korreksjoner

To nevnere er forsvarlige – totale bilder av kjøringen, eller bilder policyen kjørte autonomt – og de divergerer dårlig ved høye intervensjonsnivåer. Ta over for 400 av 1000 bilder og den første gir 40 prosent, den andre 67 prosent. Sammenligne en runde målt den første veien mot neste målt den andre veien er hvordan en ekte forbedring forsvinner. Ta totale bilder og revisit aldri valget midt i serien.

Bestem en gang hva som skjer med overgangsbilder

Det er alltid en søm. Når kontroll går over, tilhører noen bilder ingen side: armen holdes, lederen justerer, opptaket er frosset. I denne rørledningen forblir disse overgangsbildene i råstrømmen og inngår aldri i det kuraterte episode – de er verken policyadferd eller en korreksjon verdt å trene på. Tell sømen på samme måte hver runde: på 30 Hz, seks overtakelser med en to-sekunders søm hver er 360 bilder, nok til å flytte et prosentpoeng.

Logger det så nummeret overlever økten

En måte på statusplanketten for en kjørende prosess er en avlesning: den forsvinner ved omstart og kan ikke plottes. En tilleggsrad per kjøring dekker hele serien – inkludert hvilket sjekkpunkt du kjørte, siden det endrer hver runde og blanding av dem påvirker det som kommer etter.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

To felt bærer vekten. train_mix er hva du gav neste treningsjobb; uten den kan ingenting attribueres. eval_protocol navngir testen du kjørte etterpå, og er feltet som oftest blir stående tomt. I ay-robots cockpiten rapporterer overtakelsesstatusen intervensjonbildetelleren for den kjørende økten, så logging er transkripsjon i stedet for instrumentering; datasetdokumentasjonen dekker hvor per-bilde kolonnene lander.

Lese kurven: tre runder, en dom

Tre runder er minimumet for en lesing, fordi to poeng er alltid en linje. Tabellen nedenfor er en bokholderisk mal med plassholdernummer, ikke målinger fra noen kjøring. Du ser etter en monoton nedgang som samsvarspolicy suksess på en fast test.

Runder en og to gjør arbeid. Runde tre gjør det ikke: 11,3 mot 11,1 prosent er innenfor kjøring-til-kjøring variasjonen av noe målt på en fysisk arm, og en fjerde runde med de samme korreksjoner bruker en ettermiddag for ingenting. Det flate segmentet sier endre noe strukturelt.

• De gjenværende feile er ikke korrigerbare ved teleopering – objekt utenfor rekkevidde, gripper geometri, et ledd på sin grense. Ingen korreksjonsdata fikser en kinematisk vegg.
• Korreksjoner er for få mot grunnlinjedatasetet til å flytte gradienten, og ingenting veier dem.
• Korreksjoner motsier hverandre, så policyen gjennomsnitt to strategier og land mellom dem.
• Feilen er oppstrøm: et kamera flyttet, belysningen endret, håndleddvisningen samsvarer ikke lenger med trening.
• Oppgaven er på takten av denne policytypen på denne maskinvaren, og neste trinn er mer grunndata.

De siste to er ikke feile av løkken. I Sirius-Fleet er et synkende behov for mennesket det utformede resultatet: når robotautonomi forbedrer, tilpasser dens anomaliprediktor deres prediksjonsvilkår, noe som fører til færre forespørsler om menneskelig intervensjon og gradvis reduserer menneskelig arbeidsmengde over tid. Der tilpasser kriterialet det hensikten. I en manuell løkke din tilpasser også, stille – så en rate som flater fordi oppgaven er på takten ser nøyaktig like ut som en som flatet fordi operatøren sluttet å legge merke. Som er det neste problemet.

Felle 1: en fallende rate er ikke en stigende suksessrate

Intervensjonsraten måler nøyaktig en ting: hvor mye av kjøringen du bestemte deg for å eie. Den avgjørelsen er din, gjort i sanntid, og den beveger seg. I runde null tar du over ved den første dårlige tilnærmingsvinkelen; innen runde tre har du sett policyen gjenopprette fra et dusin av dem og du lar det prøve. Din terskel flyttet; policyen kan ikke ha. Satsen faller uansett.

Menneskelig tillit er minst en modellert mengde i litteraturen i stedet for en antatt konstant. Sirius re-veier treningssampler med tilnærmet menneskelig tillit og optimaliserer policyen med vektet behavioral cloning, rapporterer en 8 prosents løft i simulering og 27 prosents på ekte maskinvare over kunnskapsøvelsen i policyens suksessrate, på dobbelt konvergenshastighet. Det behandler tillit som en vekt på dataene. Den korrigerer ikke terskelen i hodet ditt mellom runde null og runde tre.

Du kan ikke fjerne driften, så pair satsen med noe din terskel ikke kan berøre: et fast sett med forsøk der du ikke griper inn i det hele tatt, scoret mot et kriterium skrevet før runden. En rate som faller mens den parede suksessraten forblir stille er signaturen på venning – verdt å fange, fordi fra inne i løkken føles det som fremgang.

Felle 2: uten en fast protokoll, måler du rommet

Ekte-robot evaluering er dyr og vanskelig å gjenta. SIMPLER-forfatterne motiverer simulert evaluering med observasjonen at ekte evaluering av slike policyer ikke er skalerbar og møter reproduserbarhetsproblemer som sannsynligvis forverres når policyer utvider deres oppgavespektrum. RoboArena angriper det fra den andre siden, med mer enn 600 parvis ekte-robot evalueringsepisoder på tvers av syv generalistpolicyer, kjørt av evaluatorer på syv akademiske institusjoner på DROID-plattformen. Dens evaluatorer plukker sine egne oppgaver og miljøer, men må bedømme policerpar dobbelt-blind; papiret rapporterer at denne publikumsstyrte rangeringen sporer generalistpolicy-ytelse mer nøyaktig enn konvensjonell, sentralisert evaluering.

Du vil ikke kjøre 600 parede episoder på en SO-100 i en workshop. Hva du kan gjøre er fjerne variansen du kontrollerer – en liste så kjedelig at det vanligvis blir hoppet over.

Deretter aritmetikken, ubarmhjertig ved forsøkstallene en workshop kan tilby. Under normalapproksima, 60 prosent suksess over 20 forsøk har en standardfeil nær 11 prosentpoeng – kvadratroten av 0,6 ganger 0,4 over 20 – og forskjellen mellom to slike runder bærer ca 15. Et hopp fra 60 til 70 prosent er derfor konsistent med at ingenting skjedde. Femti forsøk bringer per-runde figuren til ca 7 poeng, og koster en ettermiddag.

Denne asymmetrien er argumentet for intervensjonsraten: beregnet over tusenvis av bilder i stedet for tjue binære resultater, den beveger seg tidligere og jevnere. Forbeeholdet er at bilder innen en episode er sterkt korrelert – en dårlig grep gir hundre påfølgende intervensjonsbilde – så den effektive størrelsen er nærmere antall overtakelser. Behandle satsen som den tidlige indikatoren og suksessraten som langsom grunnhet.

Felle 3: trening bare på korreksjoner bøyer policyen

Korreksjoner er de interessante dataene, så instinkten er å trene på dem. Ikke det. De kommer ved konstruksjon fra det smale utvalget av tilstandsrom hvor policyen allerede feila og sier nesten ingenting om hovedtalen av kjøringen som fungerte. Finjustering bare på det utvalget og du får en policy god på å komme seg fra en feilaktig tilnærming som har glemt hvordan man skal lage en ren.

Mandlekar og kolleger bygget sitt fjernintervensjonssystem rundt dette. Deres framing: manipulasjonsoppgaver inneholder flaskehalsregioner som krever en sekvens av presise handlinger – å sette en kapsel i en kaffebar er deres eksempel – hvor små avvik fører til tilstander demonstrasjonene aldri dekket. Deres algoritme trener iterativt på de nye dataene så policyen lærer å gjennom disse flaskehalsene, og de rapporterer at agenter trent på intervensjondata slår agenter trent på et tilsvarende antall prøver fra ikke-intervensjonelle demonstratorer.

Blandingsforholdet er en hyperparameter og fortjener å skrives ned. Komponere neste datasett er hvor det er avgjort: originaldemonstrasjon pluss korreksjonssettet, episodevalg eksplisitt per kilde i stedet for en regel som stille trekker inn det som er tilgjengelig. Her er det et komponertrinn i cockpiten, og resultatet er et vanlig datasett – se treningsdokumentasjonen. Hva ingen verktøy gjør for deg er registrering av hvilket forhold som produserte hvilken kurve.

Felle 4: mennesket er ikke en konsistent ekspert

DAggers teori forutsetter en ekspert. Du er ikke en i teknisk forstand: dine korreksjoner er ikke sampler fra en fast betinget fordeling over handlinger. ACT-forfatterne nevner dette når de viser hindringene for fin manipulasjon – feil sammensettes over tid, og menneskelige demonstrasjoner kan være ikke-stasjonære. Deres system oppnår fortsatt 80 til 90 prosent suksess på seks reelle oppgaver fra ti minutter av demonstrasjoner, så problemet er løselig, ikke fraværende.

Robomimic-studien gjør punktet fra datasiden. Tvers over seks offline-algoritmer på fem simulerte og tre virkelige multi-etappe oppgaver, dens leksjoner inkluderer følsomhet for designvalg, avhengighet av demonstrasjonskvalitet, og – den som gjør mest vondt her – variabilitet som oppstår fra stoppkriterier, fordi trening og evalueringsobjektiver er forskjellige. Sjekkpunktet med det laveste tapet er ikke pålitelig det med den høyeste suksessraten.

Det er en maskinvareversjon av dette: innputmodus former korreksjonen. En leder-følger setup produserer kontinuerlig, menneskepaced trajektorier. Tastaturknykkinger blir klemte hardt av serveren – to grader per samtale på armledene, fire på griperen – så samme hensikt ankommer som en trapp av små trinn. Skyvere sender absolutte mål og serveren beveger seg maksimalt seks grader mot dem per anrop. Tre modi, tre handlingsfordelinger; blanding av alle tre inn i ett korreksjonssettet og deretter undring over hvorfor tilnærmingen ble finmasket er selvpåført. teleopererings dokumentasjonen dekker hva hver modus sender.

Veie intervensjonene: IWR og hva som kom etter

Hvis korreksjoner er det verdifulle mindretallet, er det principled fikset vekt i stedet for eksklusivitet. Intervention Weighted Regression er referanseimplementeringen: dataene partisjoneres i intervensjon og ikke-intervensjon prøver, og de to partisjonene er samplet i like proporsjoner under trening. Et korreksjonssettet som er fem prosent av bildene bidrar deretter halvparten av gradienten, uten at nominal atferd forsvinner fra fordelingen.

Like proporsjon er et utgangspunkt, ikke en lov. Sirius generaliserer det ved å erstatte den binære partisjonen med en kontinuerlig vekt fra tilnærmet menneskelig tillit; Sirius-Fleet beveger avgjørelsen oppstrøm, ved bruk av en visuell verdenmodell og anomaliprediktor for å avgjøre når en menneskekontrollør blir bedt på alt. Felles tråd: intervensjonsflagget er et treningssignal, ikke bare en bokholderisk kolonne.

Fire metriker verdt logging ved siden av satsen

• Overtakelser per kjøring. Tjue korte korreksjoner og en lang gir lignende satser og beskriver ulike policyer – en rykkete, en med en enkelt blindflekk.
• Gjennomsnittlig intervensjonslengde. Stigende lengde med et fallende antall betyr gjenværende feil er de vanskelige, som er hva sein fremgang ser ut som.
• Tid til første intervensjon. En policy som kommer videre før den trenger hjelp forbedres selv når den totale satsen er flat.
• Hvor intervensjoner klynge. Bin flagget av normalisert episodeprogress; en stabil topp over rundene peker på en flaskehals.

En rundeprotokoll du faktisk kan kjøre

En målt runde har seks trinn og produserer en rad i loggen. De første fire er løkken; de siste to gjør det til en måling.

1. 1
   Frys evalueringsprotokollen før runde null

   Skriv ned startpose, objektplassering, kameraer, forsøkantall, tidsavbrudd og suksesskriterium. Fotografer bordet. Hvis dokumentet må endres, starter serien på nytt.

2. 2
   Mål grunnlinjen

   Kjør protokollen med ingen intervensjoner og registrer suksessene; kjør deretter en instrumentert sesjon med overtakelse aktivert og registrer satsen. De to tallene er runde null.

3. 3
   Samle korreksjoner i en konsistent stil

   En innputmodus per runde, en operatør hvis du kan klare det. Ta over på et kriterium du kan si høyt – «gripper mer enn to centimeter av under tilnærming» – og hold det for runden.

4. 4
   Triage hver episode samme dag

   Korreksjon, evaluering eller forkast. Tvetydige episoder blir forkastet, ikke lagret på teorien om at mer data hjelper – en korreksjon der du selv fumlet er dårligere enn ingen episode.

5. 5
   Komponere blandingen eksplisitt

   Originaldemonstrasjon pluss korreksjoner, episodevalg per kilde. Registrer basisantall, korreksjonsantall og eventuell vekting – dette er feltet du vil ha om tre uker.

6. 6
   Fortsett fra sjekkpunktet, deretter re-mål

   Tren det sammensatte datasette fra forrige sjekkpunkt i stedet for grunnmodellen, kjør den fryste protokollen pluss en instrumentert sesjon, legg til raden, og sammenlign mot de forrige to rundene.

To grenser endrer hvordan du leser en svak runde. Fortsettelse fra et sjekkpunkt initialiserer vektene fra det – ikke en optimiseringsresume, så tidsplanen starter frisk og en kort kjøring fra et konvertert sjekkpunkt kan bevege veldig lite. Og leder-align bevegelsen ved starten av et overtakelse har den minste kjørelengden på ekte maskinvare av noe i kjeden; hvis korreksjoner alle begynner med et merkelig forbigåande, se der før å skylde blandingen.

Hva tallene ikke kan fortelle deg

Ingen av dette er løst, og en pent kurve bør ikke overbevise deg ellers. Intervensjonsraten måler et ledelsessystem – policy, maskinvare, operatør, rom – og tilskriver ingenting på egen hånd. Den kan ikke dømme om korreksjoner var gode, og den faller lett på en oppgave som ble lettere fordi objektet driftet to centimeter nærmere over tre uker.

Hva det gjør er vri et diffust inntrykk til en kolonne du kan argumentere med. Alternativet er ikke en bedre måte; det er tre uker med innsamlingskorreksjoner kurven ville ha fortalt deg, etter runde tre, å slutte å samle. Undersøkelselitteraturen definerer interaktiv imitasjonslæring som menneskelig tilbakemelding gitt mellomstilt under robotutførelse, og tillater online forbedring av atferden; familien er bred, og ingen arrangement av den fungerer uten et tall per runde. Se også SO-100 imitasjonslæringsveiledningen for grunnstiddatasette du blander mot, kjøring av en policy for sluttsiden, og DAgger-løkkesiden for den implementerte rørledningen.

Behold loggen i arkivet, ikke i et notatbok: runder er dager fra hverandre, maskinvare blir bygget på nytt, og personen som leser kurven i oktober er du uten minne fra august. dokumentasjonen FAQ dekker de operasjonelle detaljene utelatt her.