DAgger objašnjeno: Zašto se ponašajno kloniranje pomera i šta agregacija skupa podataka zaista dokazuje

Postoji specifična greška koju svako ko trenira politiku manipulacije susreće ranije ili kasnije. Politika doseže kocku, dolazi unutar dva centimetra, oklijeva, pomera se bočno, zatim radi nešto nepovezano sa zadatkom. Validacijski gubitak je bio dobar. Ponovna reprodukcija u otvorenoj petlji nasuprot odloženima epizodama je bila dobra. Ipak, ruka završava u pozi koja se nigde ne pojavljuje u podacima obuke, i od tamo nema šta pametno da kaže.

Ta greška ima ime i ustaljenu teoriju iza sebe. Ovo je prvi od četiri članka o DAgger, i pokriva sam argument: zašto prilagođavanje politike na sopstvene trajektorije demonstratora pravi grešku koja može rasti sa kvadratom dužine epizode, šta menja agregacija skupa podataka, i šta dokaz bez-žaljenja ne obećava. Petlja na stvarnom hardveru je pokrivena u pokretanje DAgger petlje na SO-100, varijanta sa ljudskom kapijom u HG-DAgger i intervencije sa ljudskom kapijom, i pitanje merenja u merenje DAgger petlje.

Pretpostavka koju ponašajno kloniranje tiho čini

Skup podataka demonstracije je gomila parova opažanja-akcije. Ponašajno kloniranje prilagođava funkciju toj gomili sa običnim nadziranim učenjem i tu se zaustavlja. Ovo je najstarija ideja u oblasti. Pomerlou-ov ALVINN, 1988. godine, bio je troslojna mreža povratne propagacije koja je preuzimala slike sa kamere i laserskoga detektora rastojanja i proizvela pravac u kojem vozilo treba da putuje; treniran je na simuliranim slikama ceste i pratio je prave ceste pod nekim uslovima polja. Recept se nije promenio mnogo; mreže jesu.

Ono što se preskače je provera odakle potiču ti parovi. Svaki od njih leži na trajektoriji koju je demonstrator proizveo. Politika koju razvijete proizvodi svoju. U trenutku kada se otklonji, pitana je o stanjima koja nisu bila u distribuciji obuke, i njen odgovor je pomera dalje. Ros, Gordon i Banjel otvaraju DAgger članak sa upravo ovim: sekvencijalna predviđanja narušavaju i.i.d. pretpostavku ispod statističkog učenja, jer vlastita predviđanja učenika određuju ulaze koje vidi sledeće.

Najjasnija ilustracija u tom članku uopšte nije robot. Kloniranje skoro optimalnog planera za Super Mario Bros. proizvelo je politiku koja je ponavljano zaglavila nasuprot prepreke umesto da je preskoči. Razlog je ceo argument u jednoj rečenici: ekspert je uvek skakao sa komfortne distancije, tako da skup podataka nije sadržavao stanje u kojem je Mario pritisnuo nasuprot prepreke, i stoga nema oznake šta da se radi kada bude.

Zameni Marija sa SO-100 rukom i struktura je identična. Vaše demonstracije pokazuju čist pristup i čist hvatač, ne hvatač koji se zatvara dva centimetra prekratak - tako da politika nema ideju šta da radi od tamo, i bilo šta da pogađa je odnosi dalje. Pomak kovarijante je svojstvo procedure prikupljanja podataka, ne arhitekture mreže.

Odakle dolazi kvadratni termin

2010 AISTATS članak Ros-a i Banjel-a, Efikasne redukcije za imitativno učenje, čini kumulativnost preciznom. Neka je T horizont zadatka, neka je trošak zadatka ograničen u jediničnom intervalu, i neka je epsilon zamenska greška merena ispod eksperta distribucije stanja - broj koji prikazuje tvoj skup validacije. Zatim je dodatni trošak pokretanja te politike za T koraka, u odnosu na eksperta, ograničen T na kvadrat puta epsilon. Ros, Gordon i Banjel to prepričavaju kao Teoremu 2.1 u DAgger članku i dodaju rečenicu koja je bitna: granica je čvrsta. Postoje problemi gde politika sa epsilon gubitkom na distribuciji eksperta zaista pada dodatni trošak koji raste kvadratno u T.

Čvrsto ne znači tipično. Kvadratni termin je najgori slučaj preko klase problema, ne predviđanje o vašem zadu pick-and-place. Ono što se uspostavlja je da više demonstracija eksperta ne može ukloniti problem: samo oštrenja procenu epsilon na distribuciji na kojoj politika neće biti testirana.

Put za bekstvo je u istom članku, ponovno iznet kao Teorema 2.2. Ako politika postigne gubitak epsilon ispod svoje distribucije stanja, i jedna pogrešna akcija košta najviše u u trošku-do-kraja ispod eksperta, dodatni trošak je ograničen sa u puta T puta epsilon - linearan u horizontu. Konstanta u je zanimljiva veličina: najviše 1 za 0-1 neusaglašenost sa ekspertom, i O(1) kad god ekspert može da se oporavil u nekoliko koraka. U najgorem slučaju je O(T), i linearna granica nije bolja od kvadratne.

Dva pokušaja koji su došli pre DAgger-a

Obuka unapred je pošten ali neprakičan odgovor. Treniraj zasebnu politiku za svaki vremenski korak, u redu, svaka na distribuciji stanja indukovane politikama već fiksiranim za ranije korake, tako da svaka politika vidi tačno distribuciju sa kojom će se suočiti. Hvatanje je u opisu: T politike, trenirirane sekvencijalno, nema ranog zaustavljanja. Za manipulaciju epizodu na 30 okvira po sekundi, T je u stotinama.

SMILe, iz istog članka, i SEARN, iz Daume-a, Langford-a i Marcu-ovog rada o strukturiranoj predikciji, ide na drugoj ruti: jedna stacionarna politika, ali stohastička. Svaka iteracija trenira komponentu i dodaje je u smesu, pomičući masu verovatnoće dalje od eksperta. Rezultat je smeša u kojoj su neke komponente gore od ostalih - na fizičkoj ruki, kontroler koji može da uzorkuje lošu komponentu usred kretanja. To je navedena motivacija za željelu stacionarnu determinističku politiku umesto toga.

DAgger: jedna ideja, jedna kutija

Agregacija skupa podataka čuva determinističku politiku i pomera popravku u prikupljanje podataka. Svaka runda: razvijte trenutnu politiku, zabiležite stanja koja posećuje, pitajte eksperta koja bi bila ispravna akcija u svakom, dodajte te parove skupu podataka koji već imate, preobuči se na uniji. Ime je algoritam - agregujete, nikada ne odbacujete.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Tri detaljka nose veću težinu nego što izgleda. Oznake su za stanja posećena mešovitom politikom, ali akcije dolaze od eksperta - politika daje pitanja, ekspert odgovore. Preobuci je na celoj agregaciji, što čini svaku rundu korak Sledi-Lidera: na rundu n biraš najbolju politiku u retrospektivi nad svakom trajektorijom do sada. Taj okvir je na šta se dokaz oslanja. I algoritam završava vraćanjem najbolje politike u sekvenci kao što je izabrana na skupu validacije, jer teoreme garantuju da neka politika u sekvenci je dobra, ne da je poslednja je.

Beta raspored i zašto nije tuning dugme

Mešovita politika je beta_i puta ekspert plus jedan minus beta_i puta učenik. Tačka je praktična: prve nekoliko naučenih politika su trenirirane na veoma malo podataka, prave mnogo grešaka, i inače bi provele razvijanje u stanjima koja postanu irelevantna kada se politika poboljša.

Teorija nameće tačno jedan uslov: pokretni prosek beta mora da ide na nulu. Analiza radi sa beta_i ograničenom sa (1 - alfa) na stepenu i-1, za konstantu alfa nezavisnu od T.

Jaz između 2980 i 3030 na skali koja ide do otprilike 4300 je mali, ali objašnjenje članka je najpraktičnija napomena u sekciji. Sa rasporedaom bez parametara, Mario je zaglavil na istoj tački rano i generisao gomilu skoro-duplikata podataka iz te jedne lokacije; dozvoljavanjem eksperta da vozi deo vremena ga je otklonio i proširio raznovrsnost stanja. Raspored je manje o omeru mešanja nego o tome da li vaš prikupljanje podataka nastavlja da proizvodi nova stanja ili istu grešku.

Garancija: redukcija na bez-žaljenja online učenje

Evo poteza koji čini članak onim što je. Tretiramo svaku DAgger rundu kao jedan primer u problemu online učenja, gde je gubitak na rundu i zamenska greška ispod distribucije stanja politike korišćene na rundu i. Učenik se obavezuje na politiku pre nego što vidi taj gubitak, i sekvenca je nestacionarna jer zavisi od politika proizvedenih do sada.

Algoritam je bez-žaljenja ako je njegova srednja gubitak tokom N rundi približni tome najbolje jedne politike u retrospektivi. Sledi-Lidera na jako konveksnim gubicima je takav algoritam, sa prosečnim žaljenjem koje se smanjuje reda 1/N - i preobuci na punoj agregaciji je upravo Sledi-Lidera. Bilo koji drugi bez-žaljenja učenik bi bio dobar: analiza je redukcija, ne svojstvo jednog optimizatora.

Jedna lema mostira jaz između mešovite politike koja je prikupila podatake i naučene politike koja će biti razvijena: Lema 4.1 ograničava L1 distancu između njihovih distribucija stanja sa 2 T beta_i. Ovo je razlog zašto beta moraju da se raspadaju - dok ekspert još uvek drži značajnu vlast kontrole, stanja koja prikupljate nisu stanja koja će vaša politika proizvesti. Kombajn lemu sa graničnom žaljenjem i glavni rezultat sledi: nakon otprilike T iteracija, neka politika u sekvenci ima zamenske gubitke ispod svoje distribucije unutar O(1/T) od epsilon_N. Hrani to u linearnu granicu i sliži na Teoremu 3.2.

Empirijska strana je skromna prema sadašnjim standardima. U Super Tux Kart-u supervizovana osnovna linija se nije poboljšala svoj prosečni pad po kolu kako su podaci stigli, DAgger je dostigao politiku koja nikada nije pala sa staze nakon petnaest iteracija, i SMILe nakon dvadeset je i dalje padala otprilike dva puta po kolu. Na benchmarki rukopisa, tačnost karaktera je bila 82 procenta bez strukture, 83.6 procenta supervizovano, 85.5 procenta sa DAgger-om. Nijedan od ovih nije rezultat manipulacije.

Šta dokaz ne obećava

Teoremske izjave su uslovna, i uslovi su nosivi.

Jedan dodatni rezultat je često navodim kao opovrgavanje i nije. Rajaraman, Yang, Jiao i Ramačanđen proučavaju minimax granice imitativnog učenja u epizodičnim MDP-ima sa konačnim prostorom stanja S i horizont H, i dokazuju donju granicu suboptimalnosti reda |S| H na kvadrat preko N koja važi čak i kada učenik može aktivno da pita eksperta na posećenim stanjima. To je najgori slučaj verovatnoće preko klase MDP-a sa fiksnim budžetom epizode, i šta isključuje je ideja da interakcija poboljšava minimax stopu; DAgger-ova teorema je drugačija izjava, ograničavajući razvijenu politiku u odnosu na šta njena vlastita klasa politike može dosegnuti.

Svami, Čudhuri, Banjel i Vu su kasnije klasifikovali ove algoritme po kojim momentima ponašanja eksperta se poklapaju, i uveli pojam recoverability momenta koji razlikuje kako dobro svaka porodica ublažava kumulativnu grešku. Istraživanja Ose-a i Čelemin-a pokrivaju algoritamski pejzaž i ljudske povratne interfejse.

Račun: označavanju stanja koja ekspert nikada nije proizveo

Sve gore pretpostavlja eksperta koji se može upit bilo gde. U simulaciji sa planerira koji je skoro besplatan - Mario eksperimenti su koristili skoro-optimalan planer sa punim pristupom stanju igre. Sa čovekom na robotu je dominantna cena, i čudna: čovek mora da proizvede ispravan akciju u konfiguraciji koju njihova vlastita kompetencija nikada ne bi kreirala.

Keli, Sideyn, Drigz-Kembel i Kohenđerfer navode prigovor direktno u HG-DAgger članku. Obični DAgger zahteva od eksperta da pruži oznake akcije dok nije potpuno u kontroli sistema. Ovo smanjuje sigurnost, i sa ljudskim ekspertima je verovatno da degradira kvalitet prikupljenih oznaka, što pripisuju osećaju kašnjenja aktuatora. Oznaka koju dobijaš nije oznaka koju je algoritam pretpostavio.

Laski i saradnici napadaju problem sa druge strane sa DART-om, i njihova formulacija je direktna: na-politici tehnike su dosadne za ljudske nadzornike, dodaju računski teret, i mogu posećuju opasna stanja tokom obuke. Njihova alternativa ubacuje kalibovanu buku u sopstvene demonstracije nadzornika, tako da oporavak se demonstrira bez da robot ikad vodi nepouzdanu politiku. Na MuJoCo Humanoid izveštavaju da DART smanjuje cumulativnu nagradu nadzornika za 5 procenata tokom obuke, dok DAgger izvršava politike sa 80 procenata manje cumulative nagrade od nadzornika; na hvatanju u neredu sa Toyota HSR-om, prosečno 62 procenta povećanje preko ponašajnog kloniranja.

Žang i Čo SafeDAgger tretira upite na referencijsku politiku kao retka sredstva: zasebna sigurnosna politika predviđa, bez upita, da li se glavna politika sprema da se otklonji od referencije izvan praga, i samo ta stanja se predaju. Svi tri reaguju na istu činjenicu - DAgger analiza ne beleži ništa za oznake eksperta, i stvarnost puno.

Šta ovo znači za SO-100 na vašem stolu

Prevedi horizont u svoje jedinice. Dvadesetosekindna epizoda na 30 okvira po sekundi je 600 koraka odluke, i T u svakoj granici gore je taj broj. Na T = 600, razlika između člana koji se skalira sa T i onog koji se skalira sa T na kvadrat je razlika između politike koja se oporavlja od lošeg pristupa i one koja se ne.

Ovo je deo zašto pakovanje akcije pomaže: kada politika emituje kratku sekvencu akcija po koraku zaključivanja, broj tačaka odluke pada, i tako broj šansi za sabiranje. Žao, Kumar, Levin i Fin nazivaju kumulativnu grešku kao motivaciju za Pakovanje akcije sa Transformerima, i izveštavaju 80 do 90 procenata uspeha na šest teških stvarnih zadataka, na jeftinom bimanualnom hardveru, od deset minuta vrednosti demonstracija. Pakovanje ne uklanja pomak kovarijante - stanja su i dalje vlastita politike - ali skraćuje efektivni horizont. Pogledajte pakovanje akcije i SO-100 vodiču imitativnog učenja.

Drugo prevođenje je metrička napredovanja. Ne možeš direktno meriti epsilon ispod vlastite distribucije politike - to trebaju osnovne činjenice ekspertne akcije za svako posećeno stanje, stvar koju pokušavaš da izbegneš proizvodnju. Šta petlja sa ljudskom kapijom tebi umesto toga je stopa intervencije: deo okvira u rundu tokom koje je čovek preuzeo. To je proxy, i pomera se iz razloga nepovezanih sa politikom - strpljiv operater interviene manje. Korišćeno konzistentno, to je jedan broj koji kaže da li je runda vredela popodne.

Treće prevođenje je upozorenje o kvaliteti podataka analiza ne pokriva. Mandlekar i saradnici su izučavali šest offline algoritama učenja na pet simuliranih i tri stvarna multi-stage manipulaciona zadatka, i izveštavaju osetljivost na algoritamske izbore dizajna, zavisnost od kvaliteta demonstracija, i varijabilnost uzrokovanu kriterijuma zaustavljanja. Belkhale, Čui i Sadig tvrde da kvaliteta skupa podataka treba biti formalizovana kroz divergenciju akcije i raznovrsnost prelaza, i napominju da raznovrsnost stanja nije uvek korisna. DAgger runda dodaje stanja koju niko nije namerno izabrao: neki su podaci oporavka koji su ti potrebni, neki su robot koji se vodi tokom fumble-a za kontrolu preuzimanja.

Mehanički runda je šest koraka: pokreni zaključivanje sa snimanjem uključenim, preuzmi kada politika imise, recenzija runde i datoteke svakoj epizodi, sinhronizuj ispravke, napravi mešoviti skup podataka od originalnih plus ispravki sa selekcijom epizode napravljivih eksplicitno po izvoru, i nastavi obuku iz prethodnog checkpoint umesto base modela. Na ay-robots ti koraci postoje kao dugmad, što uklanja instalacije ali ne sudsku odluku. Dva upozorenja: nastavak iz checkpoint-a inicijalizuje težine i nije optimizator resume, i potez poravnanja leader-arm je i dalje lako testiran na hardveru. Pogledajte obuke i skupove podataka.

Obiteljsko stablo, u jednoj tabeli

Često postavljana pitanja

Gde ići odavde

Ako niste obukli politiku još, ova teorija je preuranja: prvo snimiš skup podataka, počevši od obuke vaše prve politike i desktop klijent. Ako vagaš još sto čistih demonstracija protiv pokretanja ispravki: čiste demonstracije ne rešavaju problem distribucije. Za mehaniku, nastavi sa varijanta sa ljudskom kapijom i zatim SO-100 detaljni pregled.