DAgger pojasnjeno: Zakaj se Behavior Cloning premika in kaj je Agregacija nabora podatkov dejansko dokazala

Obstaja posebna napaka, ki jo kdor koli, ki usposablja politiko manipulacije, srečana prej ali slej. Politika sega za kocko, pride v razdalji dveh centimetrov, se neodločno obnaša, drsi vstran, nato naredi nekaj, kar nima zveze z nalogo. Validacijska izguba je bila dobra. Ponovitev odprte zanke proti ločenim epizodama je bila dobra. Vendar pa se roka konča v drži, ki se ne pojavi nikjer v podatkih za usposabljanje, in od tam nima kaj pametnega reči.

Ta napaka ima ime in trdno teoretsko podlago. To je prvi od štirih člankov o DAgger, in pokriva sam argument: zakaj prilagajanje politike na lastne trajektorije demonstratora ustvari napako, ki se lahko povečuje s kvadratom dolžine epizode, kaj spremeni agregacija nabora podatkov in kaj dokaz brez obžalovanja ne obljublja. Zanka na pravi strojni opremi je obravnavana v izvajanje DAgger zanke na SO-100, varianta z vrati ljudi v HG-DAgger in intervencije s človeškimi vrati, in vprašanje merjenja v merjenje DAgger zanke.

Predpostavka, ki jo Behavior Cloning mirno naredi

Nabor podatkov demonstracije je kupa parov opazovanje-akcija. Behavior cloning prilagodi funkcijo tej kupi z navadnim nadzorovanih učenjem in se tam ustavil. To je najstarejša ideja na področju. Pomerleau ALVINN, leta 1988, je bila trislojna mreža povratnega razširjanja, ki je vzela slike s kamere in daljinomera z laserski obsegom ter proizvedla smer, v katero bi se vozilo moralo premikati; usposabljana je bila na simuliranih cestnih slikah in je sledila pravim cestam v nekaterih terenskih pogojih. Recept se ni spremenil veliko; omrežja so.

Kar se preskoči, je preverjanje, od koder so prišli tisti pari. Vsakega od njih je na trajektoriji, ki jo je ustvaril demonstrator. Politika, ki jo razporediš, proizvaja lastno. V trenutku, ko se odkloni, je povpraševana o stanja, ki niso bila v distribuciji usposabljanja, in njen odgovor jo premakne dalje. Ross, Gordon in Bagnell odprejo papir DAgger s točno tem: sekvencialno napovedovanje krši predpostavko neodvisnega in identično porazdeljenega pod statističnem učenjem, saj lastne napovedi učenca določajo inpute, ki jih vidi naprej.

Najjasnija ilustracija v tem papirju ni sploh robot. Kloniranje skoraj-optimalnega planerja za Super Mario Bros. je proizvedlo politiko, ki se je večkrat zapletla ob oviro namesto da bi jo preskočila. Razlog je celoten argument v enem stavku: ekspert je vedno preskočil z udobne razdalje, zato nabor podatkov ni vseboval stanja, v katerem je bil Mario pritisnjen ob oviro, zato ni bilo oznake, kaj storiti, ko bi bil.

Zamenjaj Mario z SO-100 rokom in struktura je enaka. Vaše demonstracije kažejo čist pristop in čist primež, ne griferja, ki se zapira dva centimetra krajše - zato politika nima pojma, kaj storiti od tam, in karkoli ugiba, je premakne dalje. Kovarijantni premik je lastnost postopka zbiranje podatkov, ne arhitekture omrežja.

Od koder prihaja kvadratni člen

Papir AISTATS iz 2010 roku Ross in Bagnell, Efficient Reductions for Imitation Learning, naredi sestavljanje precizno. Naj bo T horizont naloge, naj bodo stroški naloge omejeni v enotnem intervalu, in naj bo epsilon nadomestna izguba, merjena pod stanja eksperta porazdelitvi - številka, ki jo vaš nabor validacije poroča. Nato je dodatni strošek izvajanja te politike za T korakov, relativno glede na eksperta, omejen s T na kvadrat krat epsilon. Ross, Gordon in Bagnell ta ponovno navedejo kot Izrek 2.1 v papirju DAgger in dodajo stavek, ki se šteje: meja je tesna. Problemi obstajajo, kjer politika z epsilon izgubo na porazdelitvi eksperta res ima dodatni strošek, ki raste kvadratno v T.

Tesna ne pomeni tipično. Kvadratni člen je najhujši primer preko razreda problemov, ne napoved o vaši nalogi dviga in odmika. Kar ugotavlja, je, da več eksperta demonstracije ne more odstraniti problem: samo izboljša oceno epsilon na porazdelitvi, ki je politika ne bo testirana.

Pot pobega je v istem papirju, ponovno navedena kot Izrek 2.2. Če politika doseže izgubo epsilon pod lastne porazdelitvi stanja, in ena napačna akcija stane največ u v stroških do cilja pod ekspertom, je dodatni strošek omejen z u krat T krat epsilon - linearen v horizont. Konstanta u je zanimiva količina: največ 1 za 0-1 nestrinjanje s predstavnikom in O(1) kadarkoli lahko predstavnik okreva v nekaj korakih. V najhujšem primeru je O(T), in linearna meja je potem ne boljša od kvadratne.

Dva poskusa, ki sta prišla pred DAgger

Forward training je pošten, toda nepraktičen odgovor. Uredi ločeno politiko za vsak časovni korak, v redu, vsak na porazdelitvi stanja, ki jo sprožijo že fiksne politike za prejšnje korake, tako da se vsaka politika sooči točno s porazdelitvijo, s katero se bo soočila. Hič je v opisanju: T politik, usposabljanih sekvencialno, brez zgodnjega ustavljanja. Za manipulacijo epizodo pri 30 okvirih na sekundo je T v stotinah.

SMILe, iz istega papirja, in SEARN, iz del Daumeja, Langforda in Marcuja o strukturirani napovedi, gredo drugo pot: ena stacionarna politika, ampak stohastična. Vsaka iteracija usposablja komponento in jo doda zmesi, premika maso verjetnosti stran od eksperta. Rezultat je zmes, pri kateri so nekatere komponente slabše od drugih - na fizičnem roku, kontroler, ki lahko vzorči slabo komponento srednje gibanja. To je navedena motivacija za željo stacionarne determinirane politike namesto.

DAgger: ena ideja, ena škatla

Agregacija nabora podatkov drži determinirano politiko in premakne popravek v zbiranje podatkov. Vsak krog: vozite sedanjo politiko, zapišite stanja, ki jih obišče, vprašajte eksperta, kakšna bi bila prava akcija v vsakem, dodajte te pare naboru podatkov, ki ga že imate, ponovno usposobite unijo. Ime je algoritem - agregirate, nikoli ne zavrzete.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Tri podrobnosti imajo več teže, kot se zdijo. Oznake so za stanja, ki jih obišče mešana politika, ampak akcije prihajajo od eksperta - politika predstavlja vprašanja, ekspert odgovore. Ponovno usposabljanje je na celotnem agregatnem, kar vsak krog naredi Follow-The-Leader korak: v krogu n izaberete najboljšo politiko v retrospektivi čez vsako doslej nasledstvo. To je okvir, na katerega se dokaz opira. In algoritem se konča z vrnitvijo najbolje politike v zaporedju, kot je izbrano na naboru validacije, ker izreki zagotavljajo, da kaj politika v zaporedju je dobra, ne da je zadnja.

Razpored beta, in zakaj ni nastavljive gumbe

Mešana politika je beta_i krat ekspert plus ena minus beta_i krat učenec. Smisel je praktičen: prve naučene politike so usposabljane na zelo malo podatkov, naredijo veliko napak, in bi drugače prebivale rollout v stanja, ki postanejo nepomembna, ko se politika izboljša.

Teorija nalaga točno en pogoj: tekoči povprečni beti mora iti proti nič. Analiza deluje s beta_i omejeno z (1 - alfa) na moč i-1, za konstanto alfa neodvisno od T.

Razkorak med 2980 in 3030 na lestvici, ki teče v približno 4300, je majhen, vendar je pojasnilo papirja malo koristna praktična opomba v razdelku. S verzijo brez parametra je Mario zgodaj zaglavljen na istem mestu in ustvaril množico skoraj-duplikat podatkov iz ene lokacije; prepuščanje eksperta voziti del časa je bilo tako ponovno odprete kot razširilo raznolikost stanja. Urnik je manj o razmerju mešanja kot o tem, ali vaše zbiranje podatkov še naprej proizvaja nova stanja ali isti neuspeh.

Garancija: zmanjšanje na učenje brez obžalovanja po spletu

Tukaj je poteza, ki naredi papir to, kar je. Obravnavajte vsak DAgger krog kot en primer v problemu spletnega učenja, kjer je izguba v krogu i nadomestna izguba pod porazdelitvi stanja politike, uporabljene v krogu i. Učenec se zavezuje politiki preden vidi to izgubo, in zaporedje je nestacionarno, ker je odvisno od proizvedenih politik do sedaj.

Algoritem je brez obžalovanja, če se njegov povprečni izguba čez N krogov približuje tistim najboljši samski politiki v retrospektivi. Follow-The-Leader pri moč konveksnih izgubah je tak algoritem, s povprečnim obžalovanjem skrčitvijo na red 1/N - in ponovno usposabljanje na celotnem agregatu je natančno Follow-The-Leader. Kateri koli drugi learner brez obžalovanja bi bil dovolj: analiza je zmanjšanje, ne lastnost enega optimalnika.

Ena lema premosti razkorak med mešano politiko, ki je zbral podatke, in naučeno politiko, ki bo razpostavljena: Lema 4.1 omejuje L1 razdaljo med njunimi porazdelitvami stanja s 2 T beta_i. To je razlog, zakaj morajo biti betiji padajo - medtem ko ekspert še drži precejšnjo avtoriteto nadzora, stanja, ki jih zbirate, niso stanja, ki jih bo proizvedla vaša politika. Kombinirajte lemo z mejo obžalovanja in glavna rezultate sledijo: po približno T iteracijah, neka politika v zaporedju ima nadomestno izgubo pod lastno porazdelitvijo znotraj O(1/T) od epsilon_N. Vstavite to v linearno mejo in pristate na Izrek 3.2.

Empirična stran je modest po trenutnih standardih. V Super Tux Kartu nadzorni osnovni se ni izboljšal njegov povprečni padce na krog, ko so prispeli podatki, DAgger je dosegla politiko, ki nikoli ni padla s proge po petnajstih iteracijah, in SMILe po dvajsetih je še vedno padala približno dvakrat na krog. Na primerjalni napisanju je bila natančnost znakov 82 odstotka brez strukture, 83,6 odstotka nadzorovane, 85,5 odstotka z DAgger. Noben od teh ni rezultat manipulacije.

Kaj dokaz ne obljublja

Izjave izreka so pogojne, in pogoji so obremenjeni.

En nadaljnji rezultat je pogosto citiran kot zavrnitev in ni ena. Rajaraman, Yang, Jiao in Ramachandran preučijo minimax omejitve učenja posnemovanja v epizodnih MDP-jih s končnim prostorom stanja S in horizonte H, in dokazujejo podoptimalnega spodnje omejitve na redu |S| H na kvadrat čez N, ki držijo celo, ko se je učenec lahko aktivno poizvedel eksperta v obiskanih državah. To je hujši primer čez razred MDP-jev pri fiksnem proračunu epizode, in kaj izključuje je ideja, da je interakcija izboljšuje minimax tempo; DAgger izrek je drugačna izjava, omejevanje razporejene politike glede na to, kaj lahko dosežejo njena politika razreda.

Swamy, Choudhury, Bagnell in Wu kasneje klasificirali te algoritme po katerih momentov vedenja eksperta se ujemajo, in uvedli pojem trenutka povrnljive, ki razmejuje, kako dobro vsaka družina blažilo napake sestavljanja. Pregledi Osa in Celemin pokrivajo algoritmični krajino in vmesnike povratne informacije človeka.

Račun: označevanje stanja, ki jih ekspert nikoli ni proizvedel

Vse zgoraj predpostavlja eksperta, ki je lahko poizvedljiv kjerkoli. V simulaciji s planerjem, ki je skoraj brezplačen - eksperimenti Mario so uporabili skoraj-optimalen planer s polnim dostopom do stanja igre. S človekom na robotu je to prevladujoči strošek, in čudenodejan: človek mora proizvedti pravilno akcijo v konfiguraciji, katere lastna kompetenca nikoli ne bi mogla ustvariti.

Kelly, Sidrane, Driggs-Campbell in Kochenderfer navedejo nesoglas neposredno v dokumentu HG-DAgger. Vanilija DAgger zahteva, da ekspert daje oznake akcije, medtem ko nima polnega nadzora nad sistemom. To zmanjša varnost, in s človeškimi strokovnjaki je verjetno, da bo poslabšala kakovost zbranih oznak, kar pripisujejo zaznani zakasnitve aktuatorja. Oznaka, ki se vrne, ni oznaka, ki jo je algoritem predpostavka.

Laskey in sodelavci napadejo problem z druge strani z DART, in njihov okvir je neposreden: na-politika tehnike so utruječe za človeške nadzornike, dodajajo računsko breme, in lahko obiskujejo nevarne države med usposabljanjem. Njihova alternativa injecira kalibrirane šume v lastne demonstracije nadzornika, zato se okrevanje demonstracijo brez robota kdaj teči untrusted politiko. Na MuJoCo Humanoid poročajo DART zmanjšanju kumulativne nagrade nadzornika za 5 odstotkov med usposabljanjem, medtem ko DAgger izvaja politike s 80 odstotkov manjšo kumulativno nagrado kot nadzornik; na priimanju v neuradih z Toyota HSR, povprečno 62 odstotka povečanje preko behavior cloning.

Zhang in Cho SafeDAgger obravnavata poizvedbe na referenčni politiki kot redek vir: ločena politika varnosti napoveduje, brez poizvedbe, ali se glavna politika pripravlja, da se odkloni od reference onkraj praga, in samo ta stanja se predata. Vsi trije se odzivajo na isti dejstvo - analiza DAgger zaračunava nič za oznake eksperta, in realnost zaračunava veliko.

Kaj to pomeni za SO-100 na vaši mizi

Prevedite horizont na svoje lastne enote. Epizoda dvajset sekund pri 30 okvirih na sekundo je 600 odločitvenih korakov, in T v vsaki zgornji meji je to število. Pri T = 600 je razkorak med izrazom, ki se spreminja s T in tistim, ki se spreminja s T na kvadrat, razkorak med politiko, ki se okrevol iz slabega pristopa, in eno, ki je ne.

To je delno razlog, zakaj chunking akcije pomaga: kadar politika izda kratko zaporedje akcij na korak sklepanja, število točk odločitve pade, tako kot je priložnost za sestavljanje. Zhao, Kumar, Levine in Finn imenujejo napako sestavljanja kot motivacijo za Action Chunking s Transformers in poročajo 80 do 90 odstotkov uspeha na šestih težkih resničnih nalogah, na poceni bimanual strojni opremi, iz desetih minut demonstracij. Chunking ne umaknjena kovarijantnega premika - stanja so še vedno lastnega politike - vendar se krajšajo učinkovit horizont. Oglejte si chunking akcije in SO-100 vodnik učenja posnemovanja.

Druga prevod je metriko napredka. Ne moreš meriti epsilon pod lastno porazdelitvijo politike neposredno - to potrebuje reference eksperta akcije za vsako obiskano stanje, stvar, ki jo skušate izogniti proizvajanju. Kaj ti daje zanko s človeškimi vrati, je stopnja intervencije: delež okvirjev v tektu, med katerimi je čas prevzel človek. To je aproksimacija, in se premika iz razlogov, ki niso povezani s politiko - potrpežljiv operater se vmešava manj. Koristen doslednost je to eno število, ki pravi, ali je bil krog vreden popoldneva.

Tretji prevod je opozorilo o kvaliteti podatkov, ki ga analiza ne pokriva. Mandlekar in kolegiji so preučili šest offline algoritmov učenja na petih simuliranih in treh resničnih nalogah manipulacije z več etapami in poročajo občutljivost na izbire algoritmičnega oblikovanja, odvisnost od kakovosti demonstracij in spremenljivost, ki jo povzroča izstopni kriterij. Belkhale, Cui in Sadigh trdijo, da bi morala biti kakovost nabora podatkov formalizirana prek divergence akcije in raznolikosti prehoda, in opozarjajo, da raznolikost stanja ni vedno koristna. Krog DAgger dodaja stanja, ki jih nihče ni namenoma izbral: nekatere so podatki okrevanja, ki jih potrebuješ, nekatere so robot mahanje, medtem ko se bojuješ s prevzem nadzora.

Mehanično je krog šest korakov: zaženi sklepanje z snemanjem, prevzemi, ko politika naredi narobe, pregledaš tek in datoteko vsake epizode, sinhroniziraj korekcije, sestavi mešan nabor podatkov iz originala plus korekcije z izbiro epizode, ki je izrecna na vir, in nadaljuj usposabljanje od prejšnjega checkpoint namesto osnovnega modela. Na ay-robots obstajajo tisti koraki kot gumbi, ki odstraniš cevovode, vendar ne sodbo. Dva opozorila: nastavitev od checkpointa inicializira uteži in ni rezumer optimalnika, in voditeljsko uskladitveno gibanje je še vedno rahlo testirano na strojni opremi. Oglejte si usposabljanje in nabori podatkov.

Družinsko drevo, v eni tabeli

Pogosto postavljana vprašanja

Kam iti od tu

Če še niste usposabljali politike, je ta teorija prezgodnja: najprej zabeležite nabor podatkov, začnite z usposabljanje vaše prve politike in namiznega odjemalca. Če ste tehtali drugo sto čistih demonstracij proti zagonu korekcij: čiste demonstracije ne rešijo problema distribucije. Za mehaniko, nadaljujte s humano-vzeta varianto in nato SO-100 podroben popis.