HG-DAgger og de aktiverte varianter: Hvem bestemmer når en robotpolicy skal overtas

En klonert policy mislykkes der treningsdataene tar slutt. Reparasjonen er å fortsette å samle data under policyens egen tilstandsfordeling i stedet for demonstratørens, som er det DAgger gjør og som introduksjonen til datasett-aggregering dekker fra første prinsipper. Det lar den vanskelige delen av den opprinnelige algoritmen være åpen: mens læreren kjører, skal eksperten si hva de ville ha gjort, for hver tilstand, uten å ha kontroll.

I en simulator med en skriptert ekspert det er gratis. På et bord med en ekte arm på det er det verken gratis eller trygt. HG-DAgger-forfatterne oppgir innvendingen presist: slike prøvingsordninger "krever at eksperten gir handlingsmerker uten å ha full kontroll over systemet", som "kan redusere sikkerheten og, når mennesker brukes som eksperter, sannsynligvis vil forringet kvaliteten på de innsamlede merkene på grunn av oppfattet aktuatorforsinkelse" (Kelly et al., 2019). To feil gjemmer seg i den setningen: policyen fortsetter å kjøre inn i tilstander ingen vil at den skal være i, og merkene kjøpt med den risikoen er verre enn de en menneske produserer mens de holder kontrollene. Hver variant nedenfor svarer på samme spørsmål — sett en gate på kontroll og la noen bestemme når den åpnes. De skiller seg i hvem det noen er.

Menneske-gate og robot-gate: delingen som betyr noe

Interaktiv etterlignelseslæring har sitt eget undersøkelse; Celemin og kolleger katalogiserer det langs tilbakemeldingstype, grensesnitt, læringsmodell, brukeropplevelse, applikasjon og benchmark. Distinksjonen som avgjør ingeniøringen din er enklere enn noen av disse aksene, og nyere arbeid navngir det direkte: en metode er menneske-gate når overordnet bestemmer når det skal gripes inn, og robot-gate når agenten bestemmer når det skal be om hjelp (Cai et al., 2025). Alt annet er maskineri som tjener ett av disse to valgene. Handelen er synlig fra starten: en menneske-gate koster kontinuerlig oppmerksomhet, og en robot-gate lover å gi den oppmerksomheten tilbake — men bare hvis signalet det gater på er pålitelig, og bygning av det signalet er sitt eget forskningsproblem.

SafeDAgger: en klassifikator som forutsier sitt eget avvik

Zhang og Cho's SafeDAgger (2016) er den tidligste av disse gatene. Spørring av referansepolicyen er den dyre delen, så et andre, lite nettverk — sikkerhetspolicyen — forutsier om spørring er verdt det i det hele tatt. Det "returnerer en binær etikett som indikerer om den primære policyen sannsynligvis vil avvike fra en referansepolicy uten å spørre den". Etiketten er definert mot en kvadratisk L2-avvik mellom de to policies' handlinger med en terskelverdi tau, og klassifikatoren er tilpasset med binær cross-entropi. Ved kjøretid bestemmer den per tilstand om læreren fortsetter å kjøre eller referansen overtar. Abstraktet rapporterer færre referansespørringer i en bilracersimulator pluss en konvergeringshastighetsøkning forfatterne tilskriver en automatisert curriculumeffekt, uten å gi en figur for noen av dem.

Haken er i definisjonen, ikke resultatene. Opplæring av klassifikatoren krever referansepolicyens handling på hver tilstand som brukes til å tilpasse den, som antar at referansen er et annet program. Hvis referansen din er en person med en lederarm, er det etikettsettet ikke billig og metoden mister egenskapen den ble utformet for.

EnsembleDAgger: tvil og uoverensstemmelse, begge

Menda, Driggs-Campbell og Kochenderfer (2019) behandler gaten som et sannsynlighetsspørsmål. EnsembleDAgger "tilnærmer en Gaussian Process ved hjelp av et ensemble av nevrale nettverk" og leser ensemble-variansen som en tillitsproxy: høy varians betyr en region ulikt treningsdataene, som — antar eksperten unngår mislykkelsetilstander — korrelerer med nærhet til feil. Regelen er en konjunksjon. Læreren kan bare handle når L2-avstanden mellom dens gjennomsnittlige handling og ekspertens handling holder seg under en terskelverdi (uoverensstemmelse) og variansen av dens forutsagte handling holder seg under en sekund (tvil). Hvis en av dem mislykkes, tar eksperten kontroll. Målet er å maksimere lærerens andel av handlingene samtidig som sannsynligheten for feil begrenses; papiret rapporterer forbedret sikkerhet og læring mot andre DAgger-varianter på en omvendt pendel og MuJoCo HalfCheetah.

LazyDAgger: stopp bryteren fra å sludre

Hoque og kolleger (2021) angrep en kostnad de tidligere papirene ikke målte: selve bryteren. Hver intervensjon "avbryter annet arbeid mennesket gjør, pådrar seg latens ved hver kontekstveksling mellom supervisor og autonom kontroll, og krever tid å utføre". En gate som åpnes og lukkes ti ganger i minuttet er verre enn en som åpnes en gang i ti sekunder, med identisk autonom andel. LazyDAgger utvider SafeDAgger med asymmetriske terskler — vanskeligere å gå inn i supervisor-kontroll enn å forbli i den — slik at systemet ikke oscillerer ved grensen. I simulering "kan det redusere kontekstvekslinger med gjennomsnittlig 60% over SafeDAgger på 3 kontinuerlige kontrolltilganger samtidig som den opprettholder state-of-the-art policy-ytelse"; i stoffbearbeiding med en ABB YuMi "reduserer den kontekstvekslinger med 60% samtidig som den oppnår en 60% høyere suksessrate enn SafeDAgger ved kjøretid".

ThriftyDAgger: nyhet eller risiko, under et budsjett

ThriftyDAgger (Hoque et al., CoRL 2021) starter fra supervisorens budsjett i stedet for policyens. Det "bruker en lært bytepolicy for å be om intervensjoner bare på tilstander som er tilstrekkelig (1) nye, der robotpolicyen ikke har referanseatferd å etterligne, eller (2) risikofylte, der roboten har lav tillit til oppgavefullføring", med en ny metrikk for å estimere den risikoen. Budsjettet er en inngang, ikke et resultat: du sier hvor mye mennesketid du vil bruke. Brukt ved kjøretid oppnår metoden "en 100% suksessrate både på simuleringen og de fysiske oppgavene", og en brukerstudie med ti deltakere som kontrollerer en tre-robot-flåte ved siden av en konsentreringsoppgave rapporterer at den "øker menneske- og robotytelse med henholdsvis 58% og 80% sammenlignet med den neste beste algoritmen mens supervisor-byrden reduseres". Flåteinnstillingen er det naturlige hjemmet for dette arbeidet; Fleet-DAgger formaliserte senere interaktiv flåtelæring med flere roboter og supervisorer, og foreslo Return on Human Effort som mengden å optimalisere.

HG-DAgger: mennesket holder gaten

Kelly et al. (2019) går den andre veien. Det er ingen bytepolicy. Læreren rulles ut "til eksperten observerer at nybegynneren har gått inn i en usikker del av tilstandsrommet", på hvilket tidspunkt eksperten tar kontroll og veileder systemet tilbake. Aggregeringsregelen er den strenge delen: "Eksperthandlingsmerker samles bare inn og legges til datasettene under disse gjenopprettingsbanen, under hvilke menneskeeksperten har uavbrutt kontroll over systemet." Ingenting blir merket mens mennesket er en tilskuer.

Det stopper ikke ved bryteren. HG-DAgger lærer også "en sikkerhetstterskel for en modell-usikkerhetsbasert risikometrikk som kan brukes til å forutsi ytelsen til den fullt trente nybegynneren i ulike områder av tilstandsrommet": den logger hvor usikker læreren var på tidspunktene mennesket grep inn og gjennomsnitter den siste fjerdedelen av disse postene, hvor læreren mest ligner sin endelige form. Det er ikke en gate roboten bruker, men en diagnostikk som forteller deg hvor den ferdige policyen forventes å holde. Evalueringen dekker en simulert og en virkeliv-kjøringsoppgave og rapporterer forbedret ytelse over både DAgger og etterlignelsesatferd.

En relatert linje endrer hva som regnes som en etikett. Spencer og kolleger's Expert Intervention Learning holder at "enhver mengde ekspertfeedback, enten ved intervensjon eller ikke-intervensjon, gir informasjon om kvaliteten på den nåværende tilstanden, optimaliteten til handlingen, eller begge", formalisert som en begrensning på lærerens verdi-funksjon og løst med no-regret online læring. Under den lesingen, er strekkene der mennesket så og ikke gjorde noe svakt positivt bevis i stedet for tomt. EIL lærer kollisjonsvermidelse fra omtrent ett minutt av ekspertkontroll.

Variantene side ved side

Hva hver gate kjøper, og hva den koster

Les ned "behov" -kolonnen og et mønster faller ut: hvert robot-gate-signal der er en proxy som må produseres, og hver proxy har sin egen regning.

• Uoverensstemmelsessignaler (SafeDAgger, LazyDAgger, halvparten av EnsembleDAgger's regel) trenger en referansepolicy. Enten har du en skriptert ekspert, i hvilket tilfelle det interessante problemet er allerede løst, eller en menneske fortsetter å produsere handlinger i bakgrunnen slik at en avstand kan beregnes.
• Tvil-signaler trenger kalibrert epistemisk usikkerhet. Et ensemble av små kontrollnettverk tilnærmer det; et ensemble av en tre-milliard-parameter syn-språk-handling-modell er først et minne- og latensesproblem.
• Nyhet- og risikosignaler trenger en lært estimator av oppgavefullføring, tilpasset på nok vellykkede og mislykkede rollouts. På en oppgave du fortsatt prøver å få til å fungere, eksisterer ikke de dataene i runde en.
• Menneske-gaten trenger oppmerksomhet og ingenting annet — det eneste signalet tilgjengelig på dag en, på enhver policy-arkitektur, med ingen ekstra modell å trene.
• Ingen robot-gate fjerner mennesket fra rommet. De reduserer hvor ofte mennesket må handle, ikke om de må være til stede.

Det er en stille forskjell i hva gaten produserer. En robot-gate som skytes midt i banen gir en person en bevegelig arm i en vilkårlig stilling. En menneske-gate lar operatøren velge øyeblikket — etter rekkevidde, før grep, ikke halvveis gjennom en sving. Gjenopprettingssegmentene fra de to er ikke like rene, og disse segmentene er hele produktet av runden.

Hvorfor menneske-gate-formen vinner på ekte maskinvare

Dette er et ingeniørargument, ikke et benchmark-resultat — ingen papir vi fant kjører alle fem gater på samme manipulator med samme policy-klasse. Det hviler på fire poeng.

For det første er supervisoren der uansett. Ingen lar være å SO-100-arm kjøre uten oppsyn ved siden av gjenstander den kan slå over. Når noen ser, er marginalkostnaden ved å gi dem en overtakelsesknapp nær null; å bygge en kalibrert risikoanslår er et prosjekt.

For det andre, usikkerheten du faktisk kan måle på en moderne policy er ofte den feil mengden. En diffusjons- eller strøm-matchingshode produserer varians over prøvde handlingsstykker, og det variansen reflekterer multimodaliteten hodet ble trent til å representere, ikke epistemisk uvitenhet om tilstanden. EnsembleDAgger's tvil-periode bruker et ensemble nettopp for å fange sistnevnte. De to ser ut som samme tall og er det ikke; handlings-chunking og strøm-matching oppføringer dekker hvordan disse hodene sender ut handlinger i utgangspunktet.

For det tredje, feilene som betyr noe i manipulering er ofte semantiske i stedet for statistisk uvanlige. En policy som lukker gripen to centimeter for tidlig, eller når trygt for den feil av to identiske kuber, er ikke i en høy-varians tilstand — den er trygg og feil. Ingen varians-terskel fanger det; en person som ser fanger det umiddelbart.

For det fjerde, merke-kvalitet — det originale HG-DAgger-punktet, og det som oftest hoppet over. Merker samlet mens mennesket hadde uavbrutt kontroll slår merker fortalte over et bevegelig system. Hvis målet er korrigerende data verdt å aggregere, ligger bevissbyrden på den automatiserte gaten.

Gaten er halvparten av metoden; datahåndtering er den andre halvparten

En gate bestemmer hvilke rammer et menneske kjørte, ikke hva de skal gjøre med dem, og det andre valget er der rundene oftest blir bortkastet. Den første regelen er den D i DAgger står for: aggreger, ikke erstatt. Fine-tuning en sjekpunkt rent på noen få hundre korreksjonsrammer gir deg en modell som har sett nesten ingenting unntatt gjenopprettinger og har glemt nominalbanen.

Den andre regelen er at intervensjonrammer ikke er vanlige rammer. Mandlekar et al. bygde et fjernteleoperasjonssystem for 6-DoF manipulering som lar operatører overvåke policier og overta ved feil, deretter trent iterativt med en algoritme som "oppfordrer policyen til å lære hvordan man traverserer flaskehalser gjennom intervensjonene"; agenter trent på disse dataene overgikk agenter trent på et likt tall ordinære demonstrasjonseksempler. Sirius presser ideen inn i distribusjon, "re-vekting av treningseksempler med omtrentlig mennesketillit og optimalisering av policiene med vektet atferdsetterligning". Begge trenger en per-ramme markør på hva som ble menneske-drevet, noe som er hvorfor intervensjon flagg betyr mer enn det ser ut til.

Den tredje regelen er at automatisk blanding er en felle. Et komponert datasett hvis kilder du ikke kan oppregne er et du ikke kan debugge når neste runde blir verre. På denne plattformen er compose-trinnet eksplisitt for den grunnen — originalt datasett pluss rettelser, episodevalg per kilde, og resultatet er en ordinær LeRobot datasett som synkroniserer og treninger som alle andre; datasett dokumentasjon dekker format-siden.

Stille en gate en person faktisk kan holde

"Mennesket bestemmer" er ikke en spesifikasjon. To operatører med forskjellige terskler produserer usammenliknbare runder, og en drivende terskel produserer en trend du ikke kan lese. Skriv ned triggerne før den første kjøringen.

1. Navngi betingelsene som åpner gaten — tilnærming av mer enn en fast margin, gripen lukkes på ingenting, et ledd drifter mot en grense, en stall på mer enn et sekund eller to — og hold listen uendret for runden.
2. Navngi hva som ikke åpner det. Overskyd policyen gjenoppretter fra på egen hånd er treningssignal; overtakelse der sletter en gjenoppretting den allerede vet.
3. Overta tidlig nok for en ren overlevering, gi tilbake så snart tilstanden er gjenopprettelig.
4. Logg hvorfor du overtok, per episode. Tre runder senere er det den eneste posten på om samme feil returneres.
5. Hold kameraer, oppgave-tekst og operatør konstant over runder. Endre en og tallene slutter å være sammenlignbar.

Mekanisk har overføringen to varianter. Med en lederarm, må lederen nå følgerens nåværende stilling før drivmoment overføres, eller armen hopper; denne justeringsbevegelsen er den minst testede delen av kjeden på ekte maskinvare. Uten en lederarm er overtakelsen manuell fra første tastetrygg: følgeren holdes og operatøren dytter den ledd for ledd fra tastaturet eller drar glidere, med server-sidebekkenninger som holder hvert inngang lite — et par grader per tastetrygging, en håndful per glideropdatering, fordi et stort trinn inn i en holdt stilling er hvordan du avslipp en servo. Step-for-steg-versjonen med tastetilordningene er i gjennomgangen av en DAgger-runde på en SO-100; bakgrunn på begge teleoperasjonsmodi er i teleoperasjon docsene og leder-følger-oppføring.

Lesing av om gaten gjorde noe

Metrikken for en menneske-gate runde er intervensjonshastigheten: intervensjonrammer delt med rammer av kjøringen. Den har en jobb — hvis den ikke faller over runder, kjøpte runden ingenting, og neste skulle endre noe annet enn mengden data.

Det er en partisk metrikk og du burde vite hvordan. Den måler operatørens terskel like mye som policyens kompetanse, som er hvorfor triggerlisten holder seg fast; en operatør som slapper av over en økt produserer en fallende kurve med ingenting bak den. Det ignorerer også alvorlighetsgrad — ti rammer for å stoppe en kollisjon og ti for å dytt et grep ser identisk ut. Par det med et fast evalueringssett ingen korreksjonsdata ble noen gang tegnet fra. Artikkelen om måling av en DAgger-løkke arbeider gjennom evaluerings-designet, inkludert hvordan man holder evalueringsepisoder ute av trenings-miks.

Åpne spørsmål verdt å holde i utsikt

Benchmarkene er svake. Spencer og kolleger undersøkte de som ble brukt til å teste etterlignelseslærtingmetoder og fant dem "realiserbare og enkle og derfor utilstrekkelige for å fange de vanskeligere regimene til feilkomposisjon sett i virkelige beslutningstakingsproblemer" — og, mot den omgivende litteraturen, fant vanlig atferdetterligning gjorde det godt på dem. Det er grunn til å være skeptisk på enhver rangering av DAgger-varianter som hviler på disse oppgavene, inkludert noen tall i tabellen ovenfor.

Robot-gater på store policier er heller ikke løst. AIM-arbeidet erstatter usikkerhet med en proxy Q-funksjon som etterligner menneskeintervensjonregelen og rapporterer en 40% forbedring i overtakelseskostnaden og læringseffektiviteten over ThriftyDAgger — i kontinuerlig og diskret kontroll, ikke på en syn-språk-handling-modell som styrer en manipulator. Hvorvidt noen av disse gatene overgår til en fin-justering VLA er åpent. Undersøkelsen gjør et beslektet poeng: feltets terminologi og struktur er ikke enhetlig på tvers av litteraturen, noe som gjør metoder vanskelig å sammenligne. På din egen arm, dine logger er beviset du har.

For en enkelt arm på et skrivebord er valget gjort: hold gaten selv, skriv ned hva som åpner den, og bruk innsatsen på datahåndteringen bak den i stedet for å automatisere bryteren. Platformsiden er beskrevet på DAgger-løkkesiden, treningsalternativer per policy-familie under opplæring og prising. For bakgrunn, start med etterlignelseslæring og etterlignelseslæring på SO-100; for en første kjøring, kjør din første policy er den kortere stien.