HG-DAgger och de gated varianterna: Vem bestämmer när en robotpolicy ska överta

En klonad policy misslyckas där dess träningsdata tog slut. Lösningen är att fortsätta samla data under policyns egen tillståndsfördelning istället för demonstrantens, vilket är vad DAgger gör och vad introduktionen till datasetaggregering täcker från första principerna. Det lämnar öppen den awkward delen av den ursprungliga algoritmen: medan eleven kör skall experten säga vad de skulle ha gjort, för varje tillstånd, utan att ha kontroll.

I en simulator med en skriptad expert som är gratis. Vid ett bord med en verklig arm på det är det varken gratis eller säkert. HG-DAgger-författarna säger motsägelsen precis: sådan provtagningsscheman "kräver att experten ger åtgärdsmärken utan att vara helt i kontroll av systemet", vilket "kan minska säkerheten och, när människor används som experter, sannolikt försämra kvaliteten på de insamlade märkningarna på grund av upplevd aktuatorfördröjning" (Kelly et al., 2019). Två misslyckanden gömmer sig i den meningen: policyn fortsätter att köra in i tillstånd som ingen vill ha den i, och märkningarna som köptes med den risken är sämre än de som en människa producerar medan hon håller kontrollerna. Varje variant nedan svarar på samma fråga — sätt en grind på kontroll och låt någon besluta när den öppnas. De skiljer sig i vem den någon är.

Människoreglerad och robotreglerad: skiljetecken som betyder något

Interaktiv imitationslärande har sin egen enkät; Celemin och kollegor katalogiserar den enligt återkopplingstyp, gränssnitt, inlärningsmodell, användarupplevelse, tillämpning och benchmark. Skillnaden som bestämmer din teknik är enklare än någon av dessa axlar, och det senaste arbetets namn är direkt: en metod är människoreglerad när handledaren bestämmer när som ska ingripa, och robotreglerad när agenten bestämmer när den ska be om hjälp (Cai et al., 2025). Allt annat är maskiner som tjänar en av dessa två val. Handeln är synlig från början: en människogrind kostar kontinuerlig uppmärksamhet, och en robotgrind lovar att ge den uppmärksamheten tillbaka — men bara om den signal den grädar på är trovärdig, och att bygga den signalen är sitt eget forskningsproblem.

SafeDAgger: en klassificerare som förutsäger sin egen avvikelse

Zhang och Cho:s SafeDAgger (2016) är den tidigaste av dessa grindar. Att fråga referenspolicyn är den dyra delen, så ett andra, litet nätverk — säkerhetspolicyn — förutsäger om fråga alls är värt besväret. Den "returnerar en binär etikett som anger huruvida den primära policyn sannolikt kommer att avvika från en referenspolicy utan att fråga den". Etiketten definieras mot ett kvadrerat L2-avvikelse mellan de två policyers åtgärder med en tröskel tau, och klassificeraren är passad med binär korsenteropi. Vid körtid beslutar den per tillstånd om eleven fortsätter att köra eller referensen tar över. Det abstrakta rapporterar färre referensfrågor i en bilarena-simulator plus en konvergeringshastighetsökning som författarna tillskriver en automatiserad läroplanareffekt, utan att ge en siffra för någon av dem.

Fångsten är i definitionen, inte i resultaten. Att träna klassificeraren kräver referenspolicyns åtgärd på varje tillstånd som användes för att passa den, vilket förutsätter att referensen är ett annat program. Om din referens är en person med en ledararm är den etikettsatsen inte billig och metoden förlorar den egenskap den designades för.

EnsembleDAgger: tvivel och diskrepans, båda två

Menda, Driggs-Campbell och Kochenderfer (2019) behandlar grinden som en sannolikhetsfråga. EnsembleDAgger "ungefärligar en Gaussisk process med en ensemble av neurala nätverk" och läser ensembleavvikelsen som en förtroendeproxy: högt avvikelse betyder en region som inte liknar träningsdata, vilket — förutsatt att experten undviker felländer — korrelerar med närhet till fel. Regeln är en konjunktion. Eleven får agera bara när L2-avståndet mellan dess medelvärdeåtgärd och expertens åtgärd stannar under en tröskel (diskrepans) och variationen i dess förutsagda åtgärd stannar under en andra (tvivel). Om något misslyckas tar experten kontroll. Målet är att maximera elevens andel av åtgärder samtidigt som man begränsar sannolikheten för misslyckande; papperet rapporterar förbättrad säkerhet och lärande mot andra DAgger-varianter på en inverterad pendel och MuJoCo HalfCheetah.

LazyDAgger: stoppa omkopplaren från att chatta

Hoque och kollegor (2021) angrep en kostnad som tidigare papper inte mätte: omkopplaren själv. Varje intervention "avbryter annat arbete som människan gör, medför latens med varje kontextväxel mellan handledare och autonom kontroll, och kräver tid för att utföra". En grind som öppnas och stängs tio gånger per minut är värre än en som öppnas en gång i tio sekunder, med identisk autonom andel. LazyDAgger utökar SafeDAgger med asymmetriska trösklar — svårare att gå in i handledarkontroll än att stanna i den — så systemet svänger inte vid gränsen. I simulering kan den "minska kontextväxlar med ett genomsnitt på 60% över SafeDAgger på 3 kontinuerliga kontrolltasks samtidigt som den behåller state-of-the-art policyprestanda"; i tygmanipulation med en ABB YuMi "minskar kontextväxlar med 60% samtidigt som den uppnår en 60% högre framgångsgrad än SafeDAgger vid körningstid".

ThriftyDAgger: nyhet eller risk, under en budget

ThriftyDAgger (Hoque et al., CoRL 2021) utgår från handledarens budget snarare än policyn. Det "använder en inlärd omkopplingspolicy för att begära interventioner bara på tillstånd som är tillräckligt (1) nya, där robotpolicyn inte har någon referensbeteende att efterlikna, eller (2) riskabla, där roboten har lågt förtroende för uppgiftsuppfyllelse", med ett nytt mått för att uppskatta den risken. Budgeten är en ingång, inte ett resultat: du anger hur mycket humantid du kommer att spendera. Applicerad vid körningstid uppnår metoden "en 100% framgångsgrad på både simuleringen och fysiska uppgifter", och en användarstudie med tio deltagare som kontrollerar en trerobots-flotta tillsammans med en koncentrationsuppgift rapporterar att den "ökar mänsklig och robotprestanda med 58% respektive 80% jämfört med nästa bästa algoritm samtidigt som den minskar handledarbördan". Flottsäljningen är det naturliga hemmet för detta arbete; Fleet-DAgger formaliserade senare interaktiv flottalärning med flera robotar och handledare, vilket föreslog Return on Human Effort som den storhet som skulle optimeras.

HG-DAgger: människan håller grinden

Kelly et al. (2019) går åt andra vägen. Det finns ingen omkopplingspolicy. Eleven rullas ut "tills experten observerar att nybörjaren har gått in i en osäker region av tillståndsrummet", vid vilken punkt experten tar kontroll och guidar systemet tillbaka. Aggregeringsregeln är den strikta delen: "Expertåtgärdsmärken samlas bara in och läggs till datauppsättningen under dessa återhämtningsvägar, under vilka människoexperten har oavbruten kontroll av systemet." Ingenting märks medan människan är en åskådare.

Det stannar inte vid omkopplaren. HG-DAgger "lär sig också en säkerhetströskel för ett modellmått-osäkerhet-baserat riskmått som kan användas för att förutsäga prestandan för den fullt tränade nybörjaren i olika regioner av tillståndsrummet": den loggar hur osäker eleven var vid de stunder människan ingrep och genomsnittet för den senaste fjärdedelen av dessa register, där eleven mest liknar sin slutliga form. Det är inte en grind som roboten använder utan en diagnostik som berättar var den färdiga policyn förväntas hålla. Utvärderingen täcker en simulerad och en verklig körningsuppgift och rapporterar förbättrad prestanda över både DAgger och behavior cloning.

En relaterad linje ändrar vad som räknas som en etikett. Spencer och kollegors Expert Intervention Learning hävdar att "någon mängd expertfeedback, oavsett om det är genom intervention eller icke-intervention, ger information om kvaliteten på det nuvarande tillståndet, optimaliteten för åtgärden eller båda", formaliseras som en begränsning på elevens värdifunktion och löses med no-regret online-lärande. Under den läsningen är sträckorna där människan tittade och gjorde ingenting svag positiv evidens snarare än tom. EIL lär sig kollisionsvarnande från ungefär en minut av expertöversikt.

Varianterna sida vid sida

Vad varje grind köper, och vad den kostar

Läs ner kolumnen "behov" och ett mönster faller ut: varje robotreglerad signal där är en proxy som måste tillverkas, och varje proxy har sitt eget räknekonto.

• Diskrepanssignaler (SafeDAgger, LazyDAgger, halva EnsembleDAggers regel) behöver en referenspolicy. Antingen har du en skriptad expert, i vilket fall det intressanta problemet redan är löst, eller en människa fortsätter att producera åtgärder i bakgrunden så att ett avstånd kan beräknas.
• Tvivelsignaler behöver kalibrerad epistemisk osäkerhet. En ensemble av små kontrollnätverk ungefärligar den; en ensemble av en tre-miljard-parameter vision-language-action modell är ett minnes- och latensproblemet först.
• Nyhet- och risksignaler behöver en inlärd uppskattare av uppgiftsuppfyllelse, passad på tillräckligt många lyckade och misslyckade rullningar. På en uppgift som du fortfarande får fungera, finns den data inte i omgång ett.
• Människogrinden behöver uppmärksamhet och ingenting mer — den enda signal som är tillgänglig på dag ett, på vilken policarkitektur som helst, utan extra modell att träna.
• Ingen robotgrind tar människan ur rummet. De minskar hur ofta människan måste agera, inte om de måste vara närvarande.

Det finns en tystare skillnad i vad grinden producerar. En robotgrind som skjuter mitt i en bana ger en person en arm i rörelse vid en godtycklig pose. En människogrind låter operatören välja ögonblicket — efter nåtningen, före greppet, inte mitt i en svängning. Återhämtningssegmenten från de två är inte lika rena, och dessa segment är hela produkten av omgången.

Varför den människoreglerade formen vinner på verklig hårdvara

Det här är ett teknikargument, inte ett benchmarkresultat — ingen artikel som vi hittat kör alla fem grindar på samma robot med samma policyklass. Det vilar på fyra poänger.

För det första är handledaren där ändå. Ingen lämnar ett SO-100 arm körande utan uppsikt bredvid föremål som den kan knocka över. När någon väl tittar är marginalkostnaden för att ge dem en övertagningsknapp nära noll; att bygga en kalibrerad riskuppskattare är ett projekt.

För det andra är den osäkerhet du faktiskt kan mäta på en modern policy ofta den felaktiga mängden. En diffusion eller flow-matching huvud producerar varians över samplade åtgärdsmassor, och den variansen återspeglar multimodaliteten som huvudet tränades att representera, inte epistemisk okunnighet om staten. EnsembleDAggers tvivelstyck använder en ensemble precis för att fånga det senare. De två ser ut som samma tal och är det inte; åtgärdschunking och flow matching poster täcker hur dessa huvuden utsänder åtgärder i första hand.

För det tredje är de misslyckanden som spelar roll i manipulation ofta semantiska snarare än statistiskt ovanliga. En policy som stänger griparen två centimeter för tidigt, eller nås självsäkert för den felaktiga av två identiska kuber, är inte i ett högt-variansläge — den är självsäker och fel. Ingen variansöverensstämmelse fångar det; en person som ser fångar det omedelbar.

För det fjärde, etikettkvalitet — den ursprungliga HG-DAgger-poängen, och den som oftast hoppas över. Etiketter som insamlats medan människan hade oavbruten kontroll slår etiketter som berättats över ett rörligt system. Om målet är korrigeringsdata värd att aggregera, ligger bevisbördan på den automatiserade grinden.

Grinden är halva metoden; datahantering är den andra hälften

En grind bestämmer vilka ramar en människa körde, inte vad som ska göras med dem, och det andra beslutet är där omgångar ofta slösas bort. Den första regeln är den som D:et i DAgger står för: aggregera, ersätt inte. Finjustering av en kontrolpunkt enbart på några hundra korrigeringsramar ger dig en modell som nästan bara har sett återhämtningar och glömt den nominella banan.

Den andra regeln är att interventionsramar inte är vanliga ramar. Mandlekar et al. byggde ett fjärrteleoperationssystem för 6-DoF-manipulation som låter operatörer övervaka policyer och ta över vid misslyckande, tränade sedan iterativt med en algoritm som "uppmuntrar policyn att lära sig hur man traverserar flaskhalsar genom interventionerna"; agenter tränade på den data överträffade agenter tränade på ett lika stort antal vanliga demonstrationssampler. Sirius skjuter idén in i distribution, "omvägar träningssampler med ungefärlig mänsklig tilltro och optimerar policyen med viktad behavioral cloning". Båda behöver en per-rammarkör för vad som var människostyrd, vilket är varför intervention flaggan betyder mer än det ser ut.

Den tredje regeln är att automatisk blandning är en fälla. En sammansatt dataset vars källor du inte kan räkna upp är en du inte kan felsöka när nästa omgång blir sämre. På denna plattform är kompositstepet explicit av den anledningen — ursprunglig dataset plus korrektioner, episodval per källa, och resultatet är en vanlig LeRobot dataset som synkroniserar och tränar som något annat; datasetdokumentationen täcker formatsidan.

Sätta en grind en person faktiskt kan hålla

"Människan bestämmer" är inte en specifikation. Två operatörer med olika trösklar producerar ojämförbara omgångar, och en drift tröskel producerar en trend du inte kan läsa. Skriv ned de utlösare innan den första körningen.

1. Namnge de villkor som öppnar grinden — närmare fler än ett fast marginalpantau, gripper stänger på ingenting, ett lager drar mot en gräns, en stall på mer än en sekund eller två — och behåll listan oförändrad för omgången.
2. Namnge vad som inte öppnar den. Överskud som policyn återhämtar sig från på egen hand är träningssignal; att ta över där raderar en återhämtning den redan vet.
3. Ta över tillräckligt tidigt för en ren handöver, överge så snart tillståndet kan återhämtas.
4. Logga varför du överväxlade, per episod. Tre omgångar senare är det den enda posten för om samma misslyckande återkommer.
5. Håll kameror, uppgiftstext och operatör konstant över omgångar. Byt en och siffrorna sluta att vara jämförbara.

Mekaniskt har handöver två varianter. Med en ledararm måste ledaren nå följarens nuvarande pose innan vridmoment överförs, annars hoppar armen; denna justeringsrörelse är den minst testade delen av kedjan på verklig hårdvara. Utan en ledararm är övertagandet manuellt från första tangentnedtryckning: följaren hålls och operatören knuffar den led för led från tangentbordet eller drar skjutreglage, med server-sidoklampar som håller varje ingång liten — ett par grader per tangentnedtryckning, en handfull per skjutreglaguppdatering, eftersom ett stort steg in i en hållen pose är hur man river en servo. Steg-för-steg-versionen med tangentbindningarna är i genomgången av en DAgger-omgång på en SO-100; bakgrund på båda teleopereringslägen är i teleopereringsdokumentationen och leader-follower-posten.

Läsa om grinden gjorde något

Måttet för en människoreglerad omgång är interventionsgraden: interventionsramar dividerat med ramar från körningen. Det har ett jobb — om det inte faller över omgångar sköt omgången ingenting, och nästa skulle ändra något annat än mängden data.

Det är ett förintat mått och du bör veta hur. Det mäter operatörens tröskel lika mycket som policyn:s kompetens, vilket är varför utlösarlistan förblir fixerad; en operatör som slappnar av under en session producerar en fallande kurva utan något bakom det. Det ignorerar också allvarlighetsgrad — tio ramar för att stoppa en kollision och tio för att knuffa ett grepp ser identiska ut. Para det med en fast utvärderingsuppsättning som ingen korrigeringsdata någonsin drogs från. Artikeln om att mäta en DAgger-loop arbetar genom utvärderingen design, inklusive hur man håller utvärderingsepisoder ute från träningsblandningen.

Öppna frågor värda att hålla i sikte

Benchmarks är svaga. Spencer och kollegor granskar de som används för att testa inlärningsmetoder för imitering och fann dem "realiserbar och enkel och därför otillräcklig för att fånga de svårare regimerna för felsammansättning som ses i verkliga världens beslutsfattande problem" — och, mot omgivande litteratur, fann vanlig behavior cloning gjorde det bra på dem. Det är anledning att vara skeptisk till någon rangordning av DAgger-varianter som vilar på dessa uppgifter, inklusive några siffror i tabellen ovan.

Robotgrindar på stora policyer är inte lösta heller. AIM-arbetet ersätter osäkerhet med en proxy Q-funktion som efterliknar människans interventionsregel och rapporterar en 40% förbättring i övertagandekostnad och inlärningseffektivitet över ThriftyDAgger — i kontinuerlig och diskret kontroll, inte på en vision-language-action modell som kör en manipulator. Huruvida någon av dessa grindar överför till en fin-justerad VLA är öppen. Enkäten gör en relaterad punkt: fältets terminologi och struktur är inte enhetlig över litteraturen, vilket gör metoderna svåra att jämföra. På din egen arm är dina loggar beviset du har.

För en enkel arm på ett bord är valet gjort: håll grinden själv, skriv ner vad som öppnar den, och spendera ansträngningen på datahantering bakom den snarare än på att automatisera omkopplaren. Plattformsidan beskrivs på DAgger-loopsidan, träningsalternativ per policyfamilj under träning och prissättning. För bakgrund, börjar med imitationslärande och imitation learning on the SO-100; för en första körning, kör din första policy är den kortare vägen.