DAgger uitgelegd: waarom Behavior Cloning afdrijft en wat Dataset Aggregation eigenlijk bewijst

Er is een bepaalde fout die iedereen die een manipulatiepolicy traint vroeg of laat tegenkomt. De policy reikt naar de kubus, komt tot twee centimeter, aarzelt, drijft zijwaarts af, doet vervolgens iets wat niets met de taak te maken heeft. Validatieverlies was goed. Open-loop replay tegen ingehouden afleveringen was goed. En toch eindigt de arm in een houding die nergens in de trainingsgegevens voorkomt, en van daar uit kan het niets zinnigs zeggen.

Die fout heeft een naam en een vastgestelde theorie erachter. Dit is de eerste van vier artikelen over DAgger, en het behandelt het argument zelf: waarom het aanpassen van een policy op de eigen trajecten van de demonstrator een fout oplevert die kan groeien met het kwadraat van de afleveringslengte, wat dataset aggregation verandert, en wat het no-regret bewijs niet belooft. De lus op echte hardware wordt behandeld in een DAgger-lus op een SO-100 uitvoeren, de door mens ondersteunde variant in HG-DAgger en door mens ondersteunde interventies, en de meetvraag in een DAgger-lus meten.

De stilzwijgende aanname die behavior cloning doet

Een demonstratiedataset is een stapel observatie-actie-paren. Behavior cloning past een functie op die stapel met gewone supervised learning en stopt daar. Het is het oudste idee in het veld. Pomerleau's ALVINN, in 1988, was een drie-laags backpropagation-netwerk dat afbeeldingen van een camera en een lasersensor innam en de richting opleverde waarin het voertuig zou moeten rijden; het werd getraind op gesimuleerde wegen en volgde echte wegen onder enkele veldomstandigheden. Het recept is niet veel veranderd; de netwerken wel.

Wat wordt overgeslagen is een controle op waar die paren vandaan kwamen. Elk ervan ligt op een traject dat de demonstrator produceerde. De policy die je implementeert, produceert haar eigen traject. Op het moment dat het afwijkt, wordt het bevraagd over staten die niet in de trainingsverdeling waren, en het antwoord voert het verder weg. Ross, Gordon en Bagnell openen het DAgger-artikel precies hiermee: sequentiële voorspelling schendt de i.i.d.-aanname onder statistische leren, omdat de voorspellingen van de leerder zelf bepalen welke inputs het vervolgens ziet.

De duidelijkste illustratie in dat artikel is helemaal geen robot. Het klonen van een bijna-optimale planner voor Super Mario Bros. produceerde een policy die herhaaldelijk tegen een hindernis vast liep in plaats van erover heen te springen. De reden is het hele argument in één zin: de expert sprong altijd vanuit een comfortabele afstand, dus de dataset bevatte geen staat waarin Mario tegen een hindernis werd gepijpd, en daarom geen label voor wat je moet doen zodra dat gebeurde.

Vervang Mario door een SO-100 arm en de structuur is identiek. Je demonstraties tonen een schone benadering en een schone grijping, niet de grijper die twee centimeter te kort sluit - dus de policy weet niet wat ze moet doen van daar, en wat ze ook raadt brengt haar verder weg. Covariate shift is een eigenschap van de dataverzamelingsprocedure, niet van de netwerkarchitectuur.

Waar de kwadratische term vandaan komt

Het AISTATS-artikel uit 2010 door Ross en Bagnell, Efficient Reductions for Imitation Learning, maakt het stapelen precies. Laat T de taakhorizon zijn, laat de taakkost begrensd zijn in het eenheidsinterval, en laat epsilon de surrogate loss zijn gemeten onder de expert's staatsverdeling - het getal dat je validatieset rapporteert. Dan is de extra kosten van het uitvoeren van die policy voor T stappen, relatief tot de expert, begrensd door T kwadraat maal epsilon. Ross, Gordon en Bagnell herstellen dit als Stelling 2.1 in het DAgger-artikel en voegen de zin toe die van belang is: de grens is strak. Problemen bestaan waar een policy met epsilon verlies op de experts verdeling echt extra kosten oploopt die kwadratisch groeien in T.

Strak betekent niet typisch. De kwadratische term is een worst-case over een klasse van problemen, niet een voorspelling over jouw pick-and-place taak. Wat het vaststelt is dat meer deskundigedemonstatie het probleem niet kan verwijderen: het scherpt alleen de schatting van epsilon op een verdeling waarop de policy niet zal worden getest.

De uitweg is in hetzelfde artikel, herhaald als Stelling 2.2. Als een policy verlies epsilon bereikt onder haar eigen staatsverdeling, en één verkeerde actie kost hooguit u in kosten-tot-doel onder de expert, dan is de extra kosten begrensd door u maal T maal epsilon - lineair in de horizon. De constante u is de interessante hoeveelheid: hooguit 1 voor 0-1 onenigheid met de expert, en O(1) wanneer de expert zich binnen enkele stappen kan herstellen. In het ergste geval is het O(T), en de lineaire grens is dan niet beter dan de kwadratische.

De twee pogingen die voor DAgger kwamen

Forward training is het eerlijke maar onpraktische antwoord. Train een aparte policy voor elke tijdstap, in volgorde, elk op de staatsverdeling geïnduceerd door de policies al vastgesteld voor eerdere stappen, dus elke policy ziet precies de verdeling waar ze mee te maken krijgt. De val zit in de beschrijving: T beleidslijnen, opeenvolgend getraind, geen vroeg stoppen. Voor een manipulatie aflevering bij 30 frames per seconde, is T in de honderden.

SMILe, uit hetzelfde artikel, en SEARN, uit het werk van Daume, Langford en Marcu over gestructureerde voorspelling, nemen de andere route: één stationaire policy, maar stochastisch. Elke iteratie traint een component en voegt die toe aan een mix, verschuiving waarsteen waarschijnlijkheidsmassa weg van de expert. Het resultaat is een mix waarin sommige componenten erger zijn dan anderen - op een fysieke arm, een controller die een slechte component mid-motion kan samplen. Dat is de verklaard motivatie om in plaats daarvan een stationaire deterministische policy te willen.

DAgger: één idee, één doos

Dataset Aggregation houdt de deterministische policy aan en verplaatst de fix naar dataverzameling. Elke ronde: voer de huidige policy uit, noteer de staten die het bezoekt, vraag de expert wat de juiste actie zou zijn geweest in elk, voeg die paren toe aan de dataset die je al hebt, train opnieuw op de unie. De naam is het algoritme - je aggregeert, je verwijdert nooit.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Drie details dragen meer gewicht dan ze lijken. De labels zijn voor staten bezocht door de gemengde policy, maar de acties komen van de expert - de policy levert de vragen, de expert de antwoorden. Het opnieuw trainen is op de hele samenvoeging, wat elke ronde een Follow-The-Leader stap maakt: in ronde n kies je de beste policy in retrospectief over elk traject tot nu toe. Die framing is waar het bewijs van afhangt. En het algoritme eindigt door de beste policy in de volgorde terug te geven, gekozen op een validatieset, omdat de stellingen garanderen dat sommige policy in de volgorde goed is, niet dat de laatste is.

Het beta schedule, en waarom het geen afstellingsknop is

De gemengde policy is beta_i maal de expert plus één minus beta_i maal de leerder. Het punt is praktisch: de eerste paar aangeleerde beleidslijnen worden getraind op heel weinig gegevens, maken veel fouten, en zouden anders de rollout in staten doorbrengen die irrelevant worden zodra de policy verbetert.

De theorie legt precies één voorwaarde op: het lopende gemiddelde van de betas moet naar nul gaan. De analyse werkt met beta_i begrensd door (1 - alpha) tot de macht i-1, voor een constante alpha onafhankelijk van T.

Het gat tussen 2980 en 3030 op een schaal die tot ongeveer 4300 loopt is klein, maar de uitleg van het artikel erover is de meest nuttige praktische opmerking in het gedeelte. Met het parameter-vrije schema raakte Mario vast op dezelfde plek vroeg en genereerde een massa bijna-dubbele gegevens uit die ene locatie; door de expert een fractie van de tijd het stuur te laten houden, zowel ontzekering als verbreding van de verscheidenheid van staten. Het schema gaat minder om de mengingsverhouding dan erover of je dataverzameling blijft nieuwe staten produceren of dezelfde fout.

De garantie: een reductie tot no-regret online learning

Hier is de zet die het artikel maakt wat het is. Behandel elke DAgger-ronde als één voorbeeld in een online leerprobleem, waarbij het verlies in ronde i de surrogate loss is onder de staatsverdeling van de policy gebruikt in ronde i. De leerder verbindt zich tot een policy voordat die verlies ziet, en de volgorde is niet-stationair omdat het afhangt van de beleidslijnen geproduceerd tot nu toe.

Een algoritme is no-regret als het gemiddelde verlies over N rondes dat van de beste enkele policy in retrospectief nadert. Follow-The-Leader op sterk convex verliezen is zo'n algoritme, met gemiddelde spijt die samentrekt in de orde van 1/N - en opnieuw trainen op de volledige samenvoeging is precies Follow-The-Leader. Elke andere no-regret leerder zou dienstig zijn: de analyse is een reductie, geen eigenschap van één optimizer.

Één lemma overbrugt de kloof tussen de gemengde policy die de gegevens verzamelde en de aangeleerde policy die wordt ingezet: Lemma 4.1 begrenst de L1 afstand tussen hun staatsverdelingen door 2 T beta_i. Dit is waarom de betas moeten vervallen - terwijl de expert nog aanzienlijke besturingsbevoegdheid houdt, zijn de staten die je verzamelt niet de staten die je policy produceert. Combineer het lemma met de spijt gewoekerd en het hoofdresultaat volgt: na ongeveer T iteraties, enige policy in de volgorde heeft surrogate verlies onder haar eigen verdeling binnen O(1/T) van epsilon_N. Voer dat in in de lineaire grens en je landen op Stelling 3.2.

De empirische kant is bescheiden naar huidige normen. In Super Tux Kart verbeterde de supervised baseline niet de gemiddelde vallen per ronde terwijl meer gegevens aankwamen, DAgger bereikte een policy die nooit van het parcours afviel na vijftien iteraties, en SMILe na twintig viel nog steeds ongeveer twee keer per ronde. Op de handschriftbenchmark, karakternauwkeurigheid liep 82 procent zonder structuur, 83,6 procent supervised, 85,5 procent met DAgger. Geen van deze is een manipulatieresultaat.

Wat het bewijs niet belooft

De stellingverklaringen zijn voorwaardelijk, en de voorwaarden zijn dragend.

Nog één verder resultaat wordt vaak aangehaald als een tegenspraak en is het niet. Rajaraman, Yang, Jiao en Ramachandran bestuderen de minimax limieten van imitatieleren in episodische MDP's met een eindige statusruimte S en horizon H, en bewijzen een suboptimaliteitsbenedengrens in de orde van |S| H kwadraat over N die ook blijft als de leerder actief de expert mag bevragen op bezochte staten. Dat is een worst-case tarief over een klasse van MDP's met een vast afleveringsbudget, en wat het uitsluit is het idee dat interactie het minimax tarief verbetert; DAgger's stelling is een ander statement, het ingezette beleid begrensd ten opzichte van wat zijn eigen beleidsklasse kan bereiken.

Swamy, Choudhury, Bagnell en Wu klassificeerden later deze algoritmen naar welke momenten van de expertise-gedrag ze matchen, en introduceerden een notie van moment-herstellingbaarheid die afbakent hoe goed elke familie samengestelde fout verzwakt. De onderzoeken door Osa en door Celemin bestrijken het algoritmische landschap en de mensenteruggekoppelde interfaces.

De rekening: staten etiketteren die de expert nooit produceerde

Alles hierboven gaat ervan uit dat een expert kan worden bevraagd overal. In simulatie met een planner die bijna gratis is - de Mario experimenten gebruikten een bijna-optimale planner met volledige toegang tot spelstaat. Met een mens op een robot is het de heersende kosten, en een vreemde: de mens moet een correct actie produceren in een configuratie die hun eigen competentie nooit zou hebben gecreëerd.

Kelly, Sidrane, Driggs-Campbell en Kochenderfer stellen het bezwaar direct in het HG-DAgger artikel. Vanilla DAgger vereist dat de expert acties labels levert terwijl niet volledig in controle van het systeem. Dit vermindert veiligheid, en met mensenexperts is het waarschijnlijk de kwaliteit van de verzamelde labels verslechterd, wat zij toeschrijven aan waargenomen actuator lag. Het label dat je terugkrijgt is niet het label dat het algoritme aanneemt.

Laskey en collega's vallen het probleem van de andere kant aan met DART, en hun framing is bot: on-policy technieken zijn vervelend voor menselijke supervisors, voegen computationele last toe, en kunnen gevaarlijke staten bezoeken tijdens training. Hun alternatief injecteert gekalibreerde ruis in de eigen demonstraties van de toezichthouder, dus herstel komt in beeld zonder dat de robot ooit een niet-vertrouwd beleid uitvoert. Op MuJoCo Humanoid rapporteren zij DART vermindert de supervisor's cumulatieve beloning met 5 procent tijdens training, terwijl DAgger beleidslijnen uitvoert met 80 procent minder cumulatieve beloning dan de supervisor; op grijping in rommeligheid met een Toyota HSR, een gemiddelde 62 procent stijging over behavior cloning.

Zhang en Cho's SafeDAgger behandelen vragen aan het referentiebeleid als de schaarse hulpbron: een apart veiligheidsbeleid voorspelt, zonder te bevragen, of het primaire beleid op het punt staat om van de referentie af te wijken voorbij een drempel, en alleen die staten worden overgedragen. Alle drie reageren op hetzelfde feit - de DAgger analyse berekent niets voor expertlabels, en werkelijkheid berekent veel.

Wat dit voor een SO-100 op je bureau betekent

Vertaal de horizon naar je eigen eenheden. Een twintig seconde aflevering bij 30 frames per seconde is 600 beslissingsstappen, en T in elke grens hierboven is dat getal. Bij T = 600, is het verschil tussen een term schaling met T en schaling met T kwadraat het verschil tussen een beleid dat herstelt van een slechte benadering en een die niet herstelt.

Dit is deels waarom actie chunking helpt: wanneer een beleid een korte volgorde van acties per inferentie stap uitgeeft, daalt het aantal beslispunten, en dus ook het aantal kansen om samen te stellen. Zhao, Kumar, Levine en Finn noemen samengestelde fout als de motivatie voor Action Chunking with Transformers, en rapporteren 80 tot 90 procent succes op zes moeilijke echte taken, op goedkope bimanuale hardware, van tien minuten waard van demonstraties. Chunking verwijdert covariate shift niet - de staten zijn nog steeds de eigen policy's - maar het verkort de effectieve horizon. Zie actie chunking en de SO-100 imitatieleren handleiding.

De tweede vertaling is de vooruitgangsmaatstaf. Je kunt epsilon onder de eigen verdeling van de policy niet rechtstreeks meten - dat heeft nodig ground-truth expertacties voor elke bezochte staat, het ding dat je probeert te voorkomen dat je produceert. Wat een mens-gated lus je in plaats daarvan geeft is de interventiegraad: de fractie van frames in een loop waarin de mens had overgenomen. Het is een proxy, en het beweegt om redenen niet gerelateerd aan het beleid - een geduldig operator interveneert minder. Consistent gebruikt, is het het enige getal dat zegt of een ronde de middag waard was.

Een derde vertaling is een waarschuwing voor gegevenskwaliteit die de analyse niet behandelt. Mandlekar en collega's bestudeerden zes offline leeralgoritmen op vijf gesimuleerde en drie echte wereldwijde multi-stage manipulatietaken, en rapporteren gevoeligheid voor algoritmische ontwerpkeuzes, afhankelijkheid van de kwaliteit van demonstraties, en variabiliteit veroorzaakt door het stoppingscriterium. Belkhale, Cui en Sadigh stellen dat gegevenskwaliteit formeel moet worden bepaald door actiedivergens en transitiediversiteit, en opmerken dat statesdiversiteit niet altijd voordelig is. Een DAgger ronde voegt staten toe die niemand opzettelijk koos: sommigen zijn de herstellingsgegevens die je nodig hebt, sommigen zijn de robot flaillend terwijl je naar de overname controle grijpt.

Mechanisch is een ronde zes stappen: voer inferentie uit met opname aan, neem over wanneer het beleid zich misdraagt, beoordeel de loop en dossier elke aflevering, synchroniseer de correcties, zet een gemengde dataset samen uit originals plus correcties met afleveringsselectie gemaakt expliciet per bron, en ga door met training van de vorige checkpoint eerder dan het basismodel. Op ay-robots bestaan die stappen als knoppen, wat de leidingen verwijdert maar niet het oordeel. Twee waarschuwingen: doorGaan vanuit een checkpoint initialiseert gewichten en is geen optimizer resume, en de leader-arm uitlijning beweging is nog steeds licht getest op hardware. Zie training en datasets.

De stamboom, in één tabel

Veelgestelde vragen

Waar je verder moet gaan

Als je nog geen beleid hebt getraind, is deze theorie voortijdig: noteer eerst een dataset, beginnend met je eerste beleid trainen en de desktop client. Als je afweegt nog honderd schone demonstraties tegen het starten van correcties: schone demonstraties zetten geen verdelingsprobleem vast. Voor de mechanica, ga door met de mens-gated variant en vervolgens de SO-100 walkthrough.