HG-DAgger en de Gated Varianten: Wie beslist wanneer een robot policy wordt overgenomen

Een gekloneerde policy faalt waar de trainingsgegevens opraken. De oplossing is om doorgaan met het verzamelen van gegevens onder de policy's eigen toestandsverdeling in plaats van die van de demonstrator, wat DAgger doet en wat de introductie tot datasetaggregatie behandelt vanuit eerste principes. Het laat het lastige gedeelte van het originele algoritme ongespecificeerd: terwijl de learner rijdt, wordt van de expert verwacht dat zij zeggen wat zij zouden hebben gedaan, voor elke toestand, zonder in controle te zijn.

In een simulator met een gescripte expert is dat gratis. Op een tafel met een echte arm erop is het noch gratis noch veilig. De HG-DAgger-auteurs stellen de tegenwerping precies: dergelijke bemonsteringsschema's "vereisen dat de expert acties labelt zonder volledig in controle van het systeem te zijn", wat "de veiligheid kan verminderen en, wanneer mens als experts worden gebruikt, waarschijnlijk de kwaliteit van de verzamelde labels zal verslechteren door waargenomen actuator-vertraging" (Kelly et al., 2019). Twee fouten schuilen in die zin: de policy blijft rijden naar toestanden die niemand erin wil hebben, en de labels die met dat risico zijn gekocht zijn slechter dan degene die een mens produceert terwijl hij de controle vasthoudt. Elke onderstaande variant beantwoordt dezelfde vraag — plaats een poort op de controle en laat iemand beslissen wanneer deze opent. Ze verschillen in wie die iemand is.

Human-gated en robot-gated: het onderscheid dat telt

Interactive imitation learning heeft zijn eigen overzicht; Celemin en collega's catalogiseren het langs feedbacktype, interface, leermodel, gebruikerservaring, toepassing en benchmark. Het onderscheid dat uw engineering bepaalt is eenvoudiger dan al die assen, en recent werk noemt het direct: een methode is human-gated wanneer de toezichthouder beslist wanneer in te grijpen, en robot-gated wanneer de agent beslist wanneer om hulp te vragen (Cai et al., 2025). Al het andere is mechanica die een van die twee keuzes dient. De afweging is vanaf het begin zichtbaar: een menselijke poort kost voortdurende aandacht, en een robot-poort belooft die aandacht terug te geven — maar alleen als het signaal waarop het poort zet betrouwbaar is, en het bouwen van dat signaal is zijn eigen onderzoeksprobleem.

SafeDAgger: een classificeerder die zijn eigen afwijking voorspelt

Zhang en Cho's SafeDAgger (2016) is de vroegste van deze poorten. Het bevragen van de referentie-policy is het dure deel, dus een tweede, klein netwerk — de veiligheid-policy — voorspelt of bevragen überhaupt de moeite waard is. Het "retourneert een binaire label die aangeeft of de primaire policy waarschijnlijk van een referentie-policy afwijkt zonder deze te bevragen". Het label wordt gedefinieerd tegen een kwadratensom-L2-afwijking tussen de twee policies' acties met een drempel tau, en de classificeerder wordt aangepast met binaire kruisentropie. Tijdens runtime beslist het per toestand of de learner doorgaat met rijden of de referentie overneemt. De samenvatting rapporteert minder referentievragen in een auto-racingsimulator plus een snelheidsverbetering die de auteurs toeschrijven aan een geautomatiseerd curriculum-effect, zonder een getal voor beide.

De vangst zit in de definitie, niet in de resultaten. Het trainen van de classificeerder vereist de actie van de referentie-policy op elke toestand die wordt gebruikt om het aan te passen, wat aanneemt dat de referentie een ander programma is. Als uw referentie een persoon met een lader-arm is, is die labelset niet goedkoop en verliest de methode de eigenschap waarvoor het is ontworpen.

EnsembleDAgger: twijfel en verschil, beide

Menda, Driggs-Campbell en Kochenderfer (2019) behandelen de poort als een probabilistische vraag. EnsembleDAgger "benadert een Gauss-proces met behulp van een ensemble van neurale netwerken" en leest de ensemble-variantie als een vertrouwensproxy: hoge variantie betekent een regio anders dan de trainingsgegevens, wat — aangenomen dat de expert faaltoestanden vermijdt — correleert met nabijheid tot mislukking. De regel is een conjunctie. De learner mag alleen handelen als de L2-afstand tussen zijn gemiddelde actie en de expert-actie onder de ene drempel blijft (verschil) en de variantie van zijn voorspelde actie onder een tweede (twijfel) blijft. Als een van beide faalt, neemt de expert de controle over. Het doel is de share van de learner in acties maximaliseren terwijl de waarschijnlijkheid van mislukking wordt beperkt; het artikel meldt verbeterde veiligheid en leren versus andere DAgger-varianten op een omgekeerde slinger en MuJoCo HalfCheetah.

LazyDAgger: voorkomen dat de schakelaar rammelt

Hoque en collega's (2021) vielen een kostprijs aan die de eerdere papers niet maten: de schakelaar zelf. Elke interventie "onderbreekt ander werk dat de mens doet, vertoont vertraging bij elke contextschakelaar tussen toezichthouder en autonome controle, en vereist tijd om uit te voeren". Een poort die tien keer per minuut opent en sluit is erger dan een poort die eenmaal voor tien seconden opent, bij identieke autonome share. LazyDAgger breidt SafeDAgger uit met asymmetrische drempels — moeilijker om in toezichthouder-controle te komen dan erin te blijven — zodat het systeem niet aan de grens oscilleert. In simulatie kan het "contextschakelaars gemiddeld met 60% reduceren ten opzichte van SafeDAgger op 3 continue controle-taken terwijl de state-of-the-art policy-performance wordt behouden"; in stofmanipulatie met een ABB YuMi "reduceert contextschakelaars met 60% terwijl een 60% hoger succespercentage wordt bereikt dan SafeDAgger bij executietijd".

ThriftyDAgger: novelty of risico, onder een budget

ThriftyDAgger (Hoque et al., CoRL 2021) begint vanuit het budget van de toezichthouder in plaats van de policy. Het "gebruikt een geleerd schakelarbeleid om interventies alleen in toestanden in te roepen die voldoende zijn (1) nieuw, waar de robot-policy geen referentiegedrag heeft om na te bootsen, of (2) risicovol, waar de robot een laag vertrouwen in taakafronding heeft", met een nieuwe metriek om dat risico in te schatten. Het budget is een invoer, geen uitkomst: u stelt hoeveel menselijke tijd u besteedt. Bij toepassing op executietijd bereikt de methode "een 100% succespercentage op zowel de simulatie- als fysieke taken", en een gebruikersstudie met tien deelnemers die een drie-robot vloot controleren naast een concentratietaak meldt dat het "menselijk en robot-prestatie met respectievelijk 58% en 80% verhoogt in vergelijking met het volgende beste algoritme terwijl de toezichthouder-last wordt verminderd". De vloot-instelling is de natuurlijke basis voor dit werk; Fleet-DAgger formaliseerde later interactief vloot-leren met meerdere robots en toezichthouders, stellende Return on Human Effort als de hoeveelheid om te optimaliseren.

HG-DAgger: de mens houdt de poort vast

Kelly et al. (2019) gaan andersom. Er is geen schakelarbeleid. De learner wordt uitgerold "totdat de expert waarneemt dat de novice een onveilige regio van de toestandsruimte is binnengegaan", op welk punt de expert de controle overneemt en het systeem teruggeleidt. De aggregatieregel is het strikte gedeelte: "Expert-actielabels worden alleen verzameld en aan de dataset toegevoegd tijdens deze hersteltrajecten, waarin de menselijke expert ononderbroken controle van het systeem heeft." Niets wordt gelabeld terwijl de mens een toeschouwer is.

Het stopt niet bij de schakelaar. HG-DAgger "leert ook een veiligheidsdrempel voor een model-onzekerheid-gebaseerde risicometriek die kan worden gebruikt om de prestatie van de volledig getrainde novice in verschillende regio's van de toestandsruimte te voorspellen": het registreert hoe onzeker de learner was op de momenten waarop de mens ingreep en middelt de laatste kwart van die records uit, waar de learner het meest op zijn eindvorm lijkt. Dat is geen poort die de robot bedient maar een diagnostisch hulpmiddel dat je vertelt waar van het eindige policy naar verwachting standhield. De evaluatie bestrijkt een gesimuleerde en een echte rijdtaak en meldt verbeterde prestatie ten opzichte van zowel DAgger als behavior cloning.

Een verwante lijn verandert wat als label telt. Spencer en collega's' Expert Intervention Learning stellen dat "enige hoeveelheid expert-feedback, of door interventie of niet-interventie, informatie geeft over de kwaliteit van de huidige toestand, de optimaliteit van de actie, of beide", geformaliseerd als een beperking op de waarde-functie van de learner en opgelost met online no-regret leren. Onder die lezing zijn de stukken waarin de mens toekeek en niets deed zwakke positieve bewijzen in plaats van leeg. EIL leert botsingsvoorkoming van ongeveer één minuut expert-controle.

De varianten naast elkaar

Wat elke poort oplevert, en wat het kost

Lees langs de kolom "nodig" en een patroon valt eruit: elk robot-gated signaal daar is een proxy die moet worden gefabriceerd, en elke proxy heeft zijn eigen rekening.

• Verschil-signalen (SafeDAgger, LazyDAgger, helft van EnsembleDAgger's regel) hebben een referentie-policy nodig. Of u hebt een gescripte expert, in welk geval het interessante probleem al is opgelost, of een mens produceert acties voortdurend op de achtergrond zodat een afstand kan worden berekend.
• Twijfel-signalen hebben gekalibreerde epistemische onzekerheid nodig. Een ensemble van kleine controle-netwerken benadert het; een ensemble van een drie-miljard-parameter vision-language-action model is eerst een geheugen- en latentieprobleem.
• Novelty en risico-signalen hebben een geleerde schatter van taakafronding nodig, aangebracht op voldoende geslaagde en mislukte rollouts. Op een taak die u nog moet laten werken, bestaan die gegevens niet in ronde één.
• De menselijke poort heeft aandacht nodig en niets anders — het enige signaal dat op dag één beschikbaar is, op elke policy-architectuur, zonder extra model om te trainen.
• Geen robot-poort verwijdert de mens uit de kamer. Ze verminderen hoe vaak de mens moet handelen, niet of ze aanwezig moeten zijn.

Er is een stiller verschil in wat de poort produceert. Een robot-poort die halverwege een traject afgaat, overhandigt een persoon een bewegende arm in een willekeurige houding. Een menselijke poort stelt de operator in staat het moment te kiezen — na de reikwijdte, voor het grijpen, niet halverwege een zwaai. De herstel-segmenten van de twee zijn niet even schoon, en die segmenten zijn het volledige product van de ronde.

Waarom de human-gated vorm wint op echte hardware

Dit is een technisch argument, geen benchmark-resultaat — geen paper die we vonden voert alle vijf poorten uit op dezelfde manipulator met dezelfde policy-klasse. Het steunt op vier punten.

Ten eerste is de toezichthouder daar toch al. Niemand laat een SO-100 arm onbewaakt lopen naast objecten die het kan omgooien. Zodra iemand toekijkt, is de marginale kost van hem een overnameknopp geven bijna nul; het bouwen van een gekalibreerde risico-schatter is een project.

Ten tweede is de onzekerheid die u daadwerkelijk op een modern policy kunt meten vaak de verkeerde hoeveelheid. Een diffusie- of flow-matching-kop produceert variantie over bemonsteractiechunks, en die variantie weerspiegelt de multimodaliteit waarvoor de kop was getraind, niet epistemische onwetendheid over de toestand. EnsembleDAgger's twijfel-term gebruikt juist een ensemble om dit vast te leggen. De twee zien er uit als dezelfde nummer en zijn het niet; de action chunking en flow matching vermeldingen behandelen hoe die koppen acties in de eerste plaats uitzenden.

Ten derde zijn de fouten die in manipulatie van belang vaak semantisch in plaats van statistisch ongebruikelijk. Een policy die de grijper twee centimeter eerder sluit, of zelfverzekerd grijpen naar een van twee identieke kubussen, is niet in een staat met hoge variantie — het is zelfverzekerd en fout. Geen variantie-drempel vangt dit; een persoon die toekijkt vangt het onmiddellijk.

Ten vierde, labelkwaliteit — het originele HG-DAgger-punt, en degene die het meest wordt overgeslagen. Labels die zijn verzameld terwijl de mens ononderbroken controle had verslaan labels genarreëerd over een bewegend systeem. Als het doel correctieve gegevens zijn die waard zijn om samen te voegen, ligt de bewijslast bij de geautomatiseerde poort.

De poort is de helft van de methode; gegevensverwerking is de andere helft

Een poort beslist welke frames een mens reed, niet wat ermee te doen, en die tweede beslissing is waar rondes het meest worden verspild. De eerste regel is degene waar de D in DAgger voor staat: aggregeren, niet vervangen. Fijn afstellen van een checkpoint puur op enkele honderden correctieframes geeft u een model dat bijna niets dan herstel heeft gezien en de nominale traject is vergeten.

De tweede regel is dat interventieframes niet gewoon frames zijn. Mandlekar et al. bouwde een extern-teleoperation-systeem voor 6-DoF manipulatie waarmee operators policies kunnen controleren en in geval van mislukking kunnen overnemen, en vervolgens iteratief traineren met een algoritme dat "de policy aanmoedigt te leren hoe je knelpunten traverseert via interventies"; agenten traineren op die gegevens overtraffen agenten getraind op een gelijk aantal gewone demonstratiesamples. Sirius duwt het idee in implementatie, "trainingsmonsters opnieuw wegen met benaderde menselijk vertrouwen en beleidsmatig optimaliseren met gewogen gedragsklonen". Beide moeten een per-frame markering hebben van wat mens-aangestuurd was, daarom de intervention vlag is belangrijker dan het eruitziet.

De derde regel is dat automatische menging een val is. Een samengestelde dataset waarvan u de bronnen niet kunt opsommen is er een die u niet kunt debuggen wanneer de volgende ronde slechter wordt. Op dit platform is de samenstelling-stap om die reden expliciet — originele dataset plus correcties, episode-selectie per bron, en het resultaat is een gewoon LeRobot dataset die synchroniseert en traint als elk ander; de datasetdocumentatie behandelt de indelingskant.

Een poort instellen die een persoon werkelijk vast kan houden

"De mens beslist" is geen specificatie. Twee operators met verschillende drempels produceren niet-vergelijkbare rondes, en een drijvende drempel produceert een trend die u niet kunt lezen. Schrijf de triggers op voor de eerste run.

1. Noem de voorwaarden die de poort openen — benadering meer dan een vaste marge af, grijper sluit op niets, een gewricht drijft naar een limiet, een vastloop van meer dan een tweede of twee — en houd de lijst ongewijzigd voor de ronde.
2. Noem wat het niet opent. Overschrijding die de policy zelf van zich af haalt is trainingssignaal; daar overnemen verwijdert een herstel dat al bekend is.
3. Overneem vroeg genoeg voor een schone handover, geef terug zodra de toestand herstelbaargesteld is.
4. Registreer waarom u overnaam, per aflevering. Drie rondes later is het de enige record of dezelfde mislukking terugkeert.
5. Houd camera's, taaktekst en operator constant over rondes heen. Verander één en de getallen worden niet meer vergelijkbaar.

Mechanisch heeft de handover twee varianten. Met een lader-arm moet de lader de huidige houding van de volger bereiken voordat koppel overgaat, of de arm springt; deze uitlijn-beweging is het minst geteste gedeelte van de ketting op echte hardware. Zonder lader-arm is de overneming handmatig vanaf de eerste toetsaanslag: de volger wordt vastgehouden en de operator stuurt het gewricht voor gewricht van het toetsenbord of sleept schuifregelaars, met server-kant klemmen die elke invoer klein houden — een paar graden per toetsaanslag, een handvol per slider-update, omdat een grote stap in een vastgehouden houding hoe u een servo beschadigt. De stap-voor-stap versie met de toetscombinaties staat in de walkthrough van een DAgger-ronde op een SO-100; achtergrond op beide teleoperation-modi staat in de teleoperation-documenten en de invoer voor lader-volger.

Lezen of de poort iets deed

De metriek van een human-gated ronde is de interventie-tarief: interventie-frames gedeeld door frames van de run. Het heeft één taak — als het niet over rondes daalt, kocht de ronde niets, en de volgende zou iets anders dan hoeveelheid gegevens moeten wijzigen.

Het is een voorgeprogrammeerde metriek en u moet weten hoe. Het meet de drempel van de operator zoveel als de bekwaamheid van de policy, daarom blijft de trigger-lijst vast; een operator die over een sessie ontspant produceert een dalende curve met niets erachter. Het gaat ook voorbij aan ernst — tien frames om een botsing te stoppen en tien om een grijpen aan te raken zien er identiek uit. Koppel het aan een vaste evaluatiegroep waarvan geen correctiegegevens ooit zijn gehaald. Het artikel over het meten van een DAgger-lus werkt door het evaluatieontwerp, inclusief hoe u evaluatie-afleveringen uit de trainingsmix houdt.

Open vragen waar het goed is om oog op te houden

De benchmarks zijn zwak. Spencer en collega's onderzochten die gebruikt om imitation learning-benaderingen te testen en vonden ze "realiseerbaar en eenvoudig en daarom ontoereikend voor het vastleggen van de moeilijker regimes van foutversameling gezien in echte problemen met besluitvorming" — en, tegen de omringende literatuur in, vonden gewoon gedragsklonen deed het goed erop. Dat is reden om sceptisch te zijn van enig rangschikking van DAgger-varianten steunend op die taken, inclusief enkele getallen in bovenstaande tabel.

Robot-poorten op grote policies zijn evenmin opgelost. Het AIM-werk vervangt onzekerheid door een proxy Q-functie die het menselijke interventiebeleid nabootst en meldt een 40% verbetering in overnamekost en leerefficiëntie ten opzichte van ThriftyDAgger — in continue en discrete controle, niet op een vision-language-action model dat een manipulator aandrijft. Of een van deze poorten naar een fijngestemd VLA draagt is open. Het overzicht maakt een gerelateerd punt: de terminologie en structuur van het veld zijn niet uniform in de literatuur, wat methoden moeilijk vergelijkbaar maakt. Op uw eigen arm zijn uw logs het bewijs dat u hebt.

Voor een enkele arm op een bureau is de keuze gemaakt: houd de poort zelf vast, schrijf op wat hem opent, en besteed de moeite op de gegevensverwerking erachter in plaats van op het automatiseren van de schakelaar. De platform-kant staat beschreven op de DAgger-luspagina, trainingsopties per policy-familie onder trainings- en prijsstelling. Voor achtergrond, begin met imitation learning en imitation learning op de SO-100; voor een eerste run, voer uw eerste policy uit is het kortere pad.