DAgger Verduidelik: Waarom Behavior Cloning Afdryf en Wat Datastel-aggregasie Werklik Bewys

Daar is 'n spesifieke mislukking wat almal wat 'n manipulasiebeleid oplei, vroeër of later teëkom. Die beleid reik na die kubus, kom binne twee sentimeter, huiwer, dryf sywaarts weg, en doen dan iets wat niks met die taak te doen het nie. Validasieverlies was in orde. Open-loop-herspeling teen teruggehoue episodes was in orde. En tog beland die arm in 'n posisie wat nêrens in die opleidingsdata voorkom nie, en van daar af het dit niks sinvols om te sê nie.

Daardie mislukking het 'n naam en 'n gevestigde stuk teorie daaragter. Dit is die eerste van vier artikels oor DAgger, en dit dek die argument self: waarom die pas van 'n beleid op die demonstreerder se eie trajekte 'n fout veroorsaak wat met die kwadraat van die episode-lengte kan groei, wat datastel-aggregasie verander, en wat die no-regret-bewys nie belowe nie. Die lus op werklike apparatuur word gedek in 'n DAgger-lus op 'n SO-100 laat loop, die mens-gehekte variant in HG-DAgger en mens-gehekte intervensies, en die metingsvraag in 'n DAgger-lus meet.

Die aanname wat behavior cloning stilweg maak

'n Demonstrasiedatastel is 'n hoop waarneming-aksie-pare. Behavior cloning pas 'n funksie op daardie hoop met gewone toesigleer en hou dit daarby. Dit is die oudste idee in die veld. Pomerleau se ALVINN, in 1988, was 'n drie-laag terugpropagering-netwerk wat beelde van 'n kamera en 'n laser-afstandmeter geneem het en die rigting waarheen die voertuig moes ry, voortgebring het; dit is opgelei op gesimuleerde padbeelde en het werklike paaie onder sommige veldomstandighede gevolg. Die resep het nie veel verander nie; die netwerke wel.

Wat oorgeslaan word, is 'n kontrole op waar daardie pare vandaan kom. Elkeen daarvan lê op 'n trajek wat die demonstreerder voortgebring het. Die beleid wat jy ontplooi, bring sy eie voort. Sodra dit afwyk, word dit gevra oor toestande wat nie in die opleidingsverspreiding was nie, en sy antwoord beweeg dit verder weg. Ross, Gordon en Bagnell open die DAgger-artikel presies hiermee: opeenvolgende voorspelling skend die i.i.d.-aanname onderliggend aan statistiese leer, omdat die leerder se eie voorspellings die insette bepaal wat dit vervolgens sien.

Die duidelikste illustrasie in daardie artikel is glad nie 'n robot nie. Die kloning van 'n byna-optimale beplanner vir Super Mario Bros. het 'n beleid opgelewer wat herhaaldelik vasgesteek het teen 'n hindernis in plaas daarvan om daaroor te spring. Die rede is die hele argument in een sin: die kenner het altyd van 'n gemaklike afstand af gespring, sodat die datastel geen toestand bevat het waarin Mario teen 'n hindernis vasgedruk was nie, en dus geen etiket vir wat om te doen sodra hy dit was nie.

Vervang Mario met 'n SO-100-arm en die struktuur is identies. Jou demonstrasies wys 'n skoon aanloop en 'n skoon greep, nie die grypertjie wat twee sentimeter te kort toemaak nie - sodat die beleid geen idee het wat om van daar af te doen nie, en wat dit ook al raai, neem dit verder weg. Kovariaatverskuiwing is 'n eienskap van die dataversamelingsprosedure, nie van die netwerkargitektuur nie.

Waar die kwadratiese term vandaan kom

Die 2010 AISTATS-artikel deur Ross en Bagnell, Efficient Reductions for Imitation Learning, maak die opeenhoping presies. Laat T die taakhorison wees, laat taakkoste begrens wees in die eenheidsinterval, en laat epsilon die surrogaatverlies wees gemeet onder die kenner se toestandsverspreiding - die getal wat jou validasiestel rapporteer. Dan word die ekstra koste om daardie beleid vir T stappe te laat loop, relatief tot die kenner, begrens deur T-kwadraat maal epsilon. Ross, Gordon en Bagnell herhaal dit as Stelling 2.1 in die DAgger-artikel en voeg die sin by wat saak maak: die grens is skerp. Daar bestaan probleme waar 'n beleid met epsilon-verlies op die kenner se verspreiding werklik ekstra koste dra wat kwadraties in T groei.

Skerp beteken nie tipies nie. Die kwadratiese term is 'n ergste geval oor 'n klas probleme, nie 'n voorspelling oor jou pick-and-place-taak nie. Wat dit vasstel, is dat meer kenner-demonstrasie die probleem nie kan verwyder nie: dit verskerp net die skatting van epsilon op 'n verspreiding waarop die beleid nie getoets sal word nie.

Die ontsnaproete is in dieselfde artikel, herhaal as Stelling 2.2. As 'n beleid verlies epsilon behaal onder sy eie toestandsverspreiding, en 'n enkele verkeerde aksie kos hoogstens u in koste-tot-gaan onder die kenner, dan word die ekstra koste begrens deur u maal T maal epsilon - lineêr in die horison. Die konstante u is die interessante grootheid: hoogstens 1 vir 0-1-onenigheid met die kenner, en O(1) wanneer die kenner binne 'n paar stappe kan herstel. In die ergste geval is dit O(T), en dan is die lineêre grens nie beter as die kwadratiese een nie.

Die twee pogings wat voor DAgger gekom het

Forward training is die eerlike maar onprakties antwoord. Trein 'n aparte beleid vir elke tydstap, in volgorde, elkeen op die toestandsverspreiding geïnduseer deur die beleide wat reeds vir vroeëre stappe vasgestel is, sodat elke beleid presies die verspreiding sien wat dit sal teëkom. Die vangs is in die beskrywing: T beleide, opeenvolgend opgelei, geen vroeë stopping nie. Vir 'n manipulasie-episode teen 30 raampies per sekonde is T in die honderde.

SMILe, uit dieselfde artikel, en SEARN, uit Daume, Langford en Marcu se werk oor gestruktureerde voorspelling, volg die ander roete: een stasionêre beleid, maar stogasties. Elke iterasie trein 'n komponent en voeg dit by 'n mengsel, wat waarskynlikheidsmassa wegskuif van die kenner af. Die resultaat is 'n mengsel waarin sommige komponente swakker as ander is - op 'n fisiese arm, 'n beheerder wat 'n swak komponent mid-beweging kan monster. Dit is die aangevoerde motivering vir die begeerte na 'n stasionêre deterministiese beleid in plaas daarvan.

DAgger: een idee, een boks

Datastel-aggregasie behou die deterministiese beleid en verskuif die oplossing na dataversameling. Elke ronde: laat die huidige beleid loop, teken die toestande op wat dit besoek, vra die kenner wat die korrekte aksie in elkeen sou gewees het, voeg daardie pare by die datastel wat jy reeds het, hertrain op die vereniging. Die naam is die algoritme - jy aggregeer, jy verwyder nooit.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Drie besonderhede dra meer gewig as wat dit lyk. Die etikette is vir toestande wat deur die gemengde beleid besoek word, maar die aksies kom van die kenner - die beleid verskaf die vrae, die kenner die antwoorde. Die hertrein vind plaas op die hele geaggregeerde geheel, wat elke ronde 'n Follow-The-Leader-stap maak: by ronde n kies jy die beste beleid agterna beskou oor elke trajek tot dusver. Daardie raamwerk is waarop die bewys rus. En die algoritme eindig deur die beste beleid in die reeks terug te gee soos gekies op 'n validasiestel, omdat die stellings waarborg dat een of ander beleid in die reeks goed is, nie dat die laaste een dit is nie.

Die beta-skedule, en waarom dit nie 'n verstelknop is nie

Die gemengde beleid is beta_i maal die kenner plus een-minus-beta_i maal die leerder. Die punt is prakties: die eerste paar geleerde beleide word op baie min data opgelei, maak baie foute, en sou andersins die rollout deurbring in toestande wat irrelevant word sodra die beleid verbeter.

Die teorie stel presies een voorwaarde: die lopende gemiddelde van die betas moet na nul gaan. Die analise werk met beta_i begrens deur (1 - alpha) tot die mag i-1, vir 'n konstante alpha onafhanklik van T.

Die gaping tussen 2980 en 3030 op 'n skaal wat tot ongeveer 4300 loop, is klein, maar die artikel se verklaring daarvan is die nuttigste praktiese wenk in die afdeling. Met die parametervrye skedule het Mario vroeg op dieselfde plek vasgesteek en 'n massa byna-duplikaatdata van daardie een ligging gegenereer; deur die kenner 'n gedeelte van die tyd te laat bestuur, is hy beide losgemaak en het die verskeidenheid toestande verbreed. Die skedule gaan minder oor die mengverhouding as oor of jou dataversameling voortgaan om nuwe toestande te produseer, of dieselfde mislukking.

Die waarborg: 'n reduksie na no-regret-aanlynleer

Hier is die skuif wat die artikel maak wat dit is. Behandel elke DAgger-ronde as een voorbeeld in 'n aanlynleerprobleem, waar die verlies by ronde i die surrogaatverlies is onder die toestandsverspreiding van die beleid wat by ronde i gebruik is. Die leerder verbind hom tot 'n beleid voordat daardie verlies gesien word, en die reeks is nie-stasionêr omdat dit afhang van die beleide wat tot dusver voortgebring is.

'n Algoritme is no-regret as sy gemiddelde verlies oor N rondes dié van die beste enkele beleid agterna beskou, benader. Follow-The-Leader op sterk konvekse verliese is so 'n algoritme, met gemiddelde spyt wat krimp in die orde van 1/N - en hertrein op die volle geaggregeerde geheel is presies Follow-The-Leader. Enige ander no-regret-leerder sou net so goed dien: die analise is 'n reduksie, nie 'n eienskap van een optimeerder nie.

Een lemma oorbrug die gaping tussen die gemengde beleid wat die data versamel het en die geleerde beleid wat ontplooi gaan word: Lemma 4.1 begrens die L1-afstand tussen hul toestandsverspreidings deur 2 T beta_i. Dit is waarom die betas moet afneem - terwyl die kenner nog aansienlike beheergesag het, is die toestande wat jy versamel nie die toestande wat jou beleid gaan voortbring nie. Kombineer die lemma met die spyt-grens en die hoofresultaat volg: na ongeveer T iterasies het een of ander beleid in die reeks surrogaatverlies onder sy eie verspreiding binne O(1/T) van epsilon_N. Voer dit in die lineêre grens in en jy beland by Stelling 3.2.

Die empiriese kant is beskeie volgens huidige standaarde. In Super Tux Kart het die toesig-basislyn sy gemiddelde valle per rondte nie verbeter namate meer data bygekom het nie, het DAgger 'n beleid bereik wat na vyftien iterasies nooit van die baan afgeval het nie, en het SMILe na twintig steeds ongeveer twee keer per rondte geval. Op die handskrif-maatstaf was karakterakkuraatheid 82 persent sonder struktuur, 83.6 persent met toesig, 85.5 persent met DAgger. Nie een hiervan is 'n manipulasieresultaat nie.

Wat die bewys nie belowe nie

Die stellings is voorwaardelik, en die voorwaardes dra gewig.

Een verdere resultaat word dikwels aangehaal as 'n weerlegging en is nie een nie. Rajaraman, Yang, Jiao en Ramachandran bestudeer die minimax-grense van nabootsingsleer in episodiese MDP's met 'n eindige toestandsruimte S en horison H, en bewys 'n suboptimaliteit-ondergrens in die orde van |S| H-kwadraat oor N wat selfs geld wanneer die leerder die kenner aktief by besoekte toestande mag raadpleeg. Dit is 'n ergste-geval-koers oor 'n klas MDP's by 'n vaste episode-begroting, en wat dit uitsluit, is die idee dat interaksie die minimax-koers verbeter; DAgger se stelling is 'n ander bewering, wat die ontplooide beleid begrens relatief tot wat sy eie beleidsklas kan bereik.

Swamy, Choudhury, Bagnell en Wu het hierdie algoritmes later geklassifiseer volgens watter momente van die kenner se gedrag hulle ooreenstem, en het 'n begrip van moment-herwinbaarheid ingestel wat aandui hoe goed elke familie opeenhopende fout versag. Die oorsigartikels deur Osa en deur Celemin dek die algoritmiese landskap en die menslike-terugvoer-koppelvlakke.

Die rekening: die etikettering van toestande wat die kenner nooit voortgebring het nie

Alles hierbo neem 'n kenner aan wat oral geraadpleeg kan word. In simulasie met 'n beplanner wat byna gratis is - die Mario-eksperimente het 'n byna-optimale beplanner met volle toegang tot die spelstaat gebruik. Met 'n mens op 'n robot is dit die dominante koste, en 'n eienaardige een: die mens moet 'n korrekte aksie voortbring in 'n konfigurasie wat sy eie bekwaamheid nooit sou geskep het nie.

Kelly, Sidrane, Driggs-Campbell en Kochenderfer stel die beswaar direk in die HG-DAgger-artikel. Gewone DAgger vereis dat die kenner aksie-etikette verskaf terwyl hy nie volle beheer oor die stelsel het nie. Dit verminder veiligheid, en met menslike kenners lei dit waarskynlik tot verswakking van die kwaliteit van die versamelde etikette, wat hulle toeskryf aan waargenome aktuator-vertraging. Die etiket wat jy terugkry, is nie die etiket wat die algoritme aangeneem het nie.

Laskey en kollegas val die probleem van die ander kant af aan met DART, en hul raamwerk is bot: on-policy-tegnieke is vervelig vir menslike toesighouers, voeg berekeningslas by, en kan gevaarlike toestande tydens opleiding besoek. Hul alternatief spuit gekalibreerde geraas in die toesighouer se eie demonstrasies in, sodat herstel gedemonstreer word sonder dat die robot ooit 'n onbetroubare beleid uitvoer. Op MuJoCo Humanoid rapporteer hulle dat DART die toesighouer se kumulatiewe beloning tydens opleiding met 5 persent verminder, terwyl DAgger beleide uitvoer met 80 persent minder kumulatiewe beloning as die toesighouer; by gryp in gedrang met 'n Toyota HSR, 'n gemiddelde toename van 62 persent bo behavior cloning.

Zhang en Cho se SafeDAgger behandel navrae aan die verwysingsbeleid as die skaars hulpbron: 'n aparte veiligheidsbeleid voorspel, sonder om te raadpleeg, of die primêre beleid op die punt staan om verder as 'n drempel van die verwysing af te wyk, en slegs daardie toestande word oorhandig. Al drie reageer op dieselfde feit - die DAgger-analise reken niks vir kenner-etikette aan nie, en die werklikheid reken heelwat aan.

Wat dit beteken vir 'n SO-100 op jou lessenaar

Vertaal die horison na jou eie eenhede. 'n Twintig-sekonde episode teen 30 raampies per sekonde is 600 besluitstappe, en T in elke grens hierbo is daardie getal. By T = 600 is die verskil tussen 'n term wat met T skaal en een wat met T-kwadraat skaal, die verskil tussen 'n beleid wat van 'n swak aanloop herstel en een wat nie.

Dit is deel van waarom action chunking help: wanneer 'n beleid 'n kort reeks aksies per inferensiestap uitstuur, daal die aantal besluitpunte, en daarmee ook die aantal kanse om op te hoop. Zhao, Kumar, Levine en Finn noem opeenhopende fout as die motivering vir Action Chunking with Transformers, en rapporteer 80 tot 90 persent sukses op ses moeilike werklike-wêreld-take, op goedkoop tweehandige apparatuur, vanaf tien minute se demonstrasies. Chunking verwyder nie kovariaatverskuiwing nie - die toestande is steeds dié van die beleid self - maar dit verkort die effektiewe horison. Sien action chunking en die SO-100-nabootsingsleergids.

Die tweede vertaling is die vorderingsmaatstaf. Jy kan epsilon nie direk onder die beleid se eie verspreiding meet nie - dit benodig grondwaarheid-kenneraksies vir elke besoekte toestand, presies dít wat jy probeer vermy om voort te bring. Wat 'n mens-gehekte lus jou in plaas daarvan gee, is die intervensiekoers: die fraksie raampies in 'n loop waartydens die mens oorgeneem het. Dit is 'n proksie, en dit beweeg om redes wat niks met die beleid te doen het nie - 'n geduldige operateur gryp minder in. Konsekwent gebruik, is dit die een getal wat sê of 'n ronde die middag werd was.

'n Derde vertaling is 'n dataskwaliteit-waarskuwing wat die analise nie dek nie. Mandlekar en kollegas het ses offline-leeralgoritmes bestudeer op vyf gesimuleerde en drie werklike-wêreld multi-stadium-manipulasietake, en rapporteer 'n sensitiwiteit vir algoritmiese ontwerpkeuses, 'n afhanklikheid van die kwaliteit van die demonstrasies, en veranderlikheid veroorsaak deur die stopkriterium. Belkhale, Cui en Sadigh voer aan dat datastelkwaliteit deur aksie-divergensie en oorgangsdiversiteit geformaliseer behoort te word, en meld dat toestandsdiversiteit nie altyd voordelig is nie. 'n DAgger-ronde voeg toestande by wat niemand doelbewus gekies het nie: sommige is die herstel-data wat jy nodig het, sommige is die robot wat rondswaai terwyl jy na die oorname-beheer soek.

Meganies is 'n ronde ses stappe: laat inferensie loop met opname aan, neem oor wanneer die beleid wangedra, gaan die loop na en liasseer elke episode, sinkroniseer die regstellings, stel 'n gemengde datastel saam uit oorspronklikes plus regstellings met episode-seleksie eksplisiet per bron gemaak, en gaan voort met opleiding vanaf die vorige checkpoint eerder as die basismodel. Op ay-robots bestaan daardie stappe as knoppies, wat die loodgieterswerk verwyder maar nie die oordeel nie. Twee voorbehoude: om vanaf 'n checkpoint voort te gaan, inisialiseer gewigte en is nie 'n optimeerder-hervatting nie, en die leierarm-belyningskuif is nog net liggies op apparatuur getoets. Sien opleiding en datastelle.

Die familiestamboom, in een tabel

Gereelde vrae

Waarheen van hier af

As jy nog nie 'n beleid opgelei het nie, is hierdie teorie voorbarig: teken eers 'n datastel op, begin by jou eerste beleid oplei en die lessenaarkliënt. As jy nog honderd skoon demonstrasies opweeg teen die begin van regstellings: skoon demonstrasies herstel nie 'n verspreidingsprobleem nie. Vir die meganika, gaan voort met die mens-gehekte variant en dan die SO-100-deurloop.