DAgger Objašnjen: Zašto se Behavior Cloning skreće i što zapravo dokazuje Dataset Aggregation

Postoji specifičan neuspjeh koji susreće svakoga tko trenira manipulation policy prije ili kasnije. Policy stiže do kocke, dođe na dva centimetra, okleva, bočno se skreće, zatim radi nešto nesvezano sa zadatkom. Validacijski gubitak je bio dobar. Reprodukcija sa otvorenom petljom na izdvojenim epizodama je bila dobra. A ipak ruka završi u poziciji koja se nigdje ne pojavljuje u podacima za trening, i odatle nema pametnog što bi mogla reći.

Taj neuspjeh ima naziv i poklapajuću teoriju iza njega. Ovo je prvi od četiriju članaka o DAgger, i pokriva sam argument: zašto prilagođavanje policy na vlastite trajektorije demonstratora proizvodi grešku koja može rasti sa kvadratom dužine epizode, što dataset aggregation mijenja, i što dokaz bez žaljenja ne obećava. Petlja na stvarnom hardveru se pokriva u pokretanju DAgger petlje na SO-100, varijanta s gatekeeper u HG-DAgger i gatekeeper intervencije, i pitanje mjerenja u mjerenju DAgger petlje.

Pretpostavka koju behavior cloning tiho pravi

Skup podataka za demonstraciju je hrpa parova opažanja-akcije. Behavior cloning prilagođava funkciju toj hrpi običnim nadziranim učenjem i tu se zaustavlja. To je najstaria ideja u polju. Pomerleau-ov ALVINN, 1988. godine, je bila troslojna mreža sa backpropagacijom koja je uzimala slike iz kamere i laserskog skenera i proizvodila smjer koji bi vozilo trebalo putovati; trenirana je na simuliranim slikama cesta i pratila je prave ceste pod nekim terenskim uvjetima. Recept se nije promijenio puno; mreže jesu.

Što se preskače je provjera odakle ti parovi dolaze. Svaki od njih leži na trajektoriji koju je demonstrator proizveo. Policy koju primijeniš proizvodi vlastitu. U trenutku kad se razlikuje, upitana je o stanjima koja nisu bila u distribuciji za trening, i njen odgovor je pomiče dalje van. Ross, Gordon i Bagnell otvaraju DAgger članak upravo time: sekvencijalna predikcija krši i.i.d. pretpostavku ispod statističkog učenja, jer vlastite predikcije učitelja određuju ulaze koje vidi dalje.

Najjasnija ilustracija u tom članku nije ni robot. Kloniranje blizu-optimalnog planera za Super Mario Bros je proizvelo policy koji se ponovno zaglavljivao uz prepreku umjesto da je skače. Razlog je cijeli argument u jednoj rečenici: ekspert je uvijek skakao s udobne udaljenosti, tako da skup podataka nije sadržavao stanje u kojem je Mario bio pritisnuta uz prepreku, i zato nije bilo oznake što raditi nakon što je bio.

Zamijeni Mario sa SO-100 rukavcem i struktura je identična. Tvoje demonstracije pokazuju čist pristup i čist hvataljka, ne hvataljku koja se zatvara dva centimetra kratko - tako da policy nema ideju što raditi odatle, i bilo što pogađa pomiče ga dalje van. Covariate shift je svojstvo procedury prikupljanja podataka, ne arhitekture mreže.

Odakle dolazi kvadratni izraz

Članak iz 2010. AISTATS od Rossa i Bagnella, Efficient Reductions for Imitation Learning, čini nakupljanje preciznim. Neka T bude horizont zadatka, neka trošak zadatka bude ograničen u jediničnom intervalu, i neka epsilon bude zamjenski gubitak izmjeren pod ekspertovom distribucijom stanja - broj koji tvoj skup za validaciju izvještava. Zatim je dodatni troštak pokretanja tog policy-ja za T koraka, u odnosu na eksperta, ograničen sa T na kvadrat puta epsilon. Ross, Gordon i Bagnell ponovno navode ovo kao Teorem 2.1 u DAgger članku i dodaju rečenicu koja je važna: granica je uska. Problemi postoje gdje policy s epsilon gubitkom na distribuciji eksperta zaista podnosi dodatni trošak koji raste kvadratno u T.

Usko ne znači tipično. Kvadratni izraz je najgori slučaj preko klase problema, ne predikcija o tvojoj task-u pick-and-place. Ono što se utvđuje je da više ekspertne demonstracije ne može ukloniti problem: samo oštruje procjenu epsilon-a na distribuciji na kojoj policy neće biti testiran.

Ruta bijega je u istom članku, ponovno navedena kao Teorem 2.2. Ako policy postiže gubitak epsilon pod svojom vlastiti distribucijom stanja, i jedna pogrešna akcija košta najviše u u trošku-do-cilja pod ekspертom, dodatni trošak je ograničen sa u puta T puta epsilon - linearno u horizontu. Konstanta u je zanimljiva količina: najviše 1 za razliku 0-1 sa ekspертом, i O(1) kada god ekspert može vratiti se u nekoliko koraka. U najgorem slučaju to je O(T), i linearna granica tada nije bolja od kvadratne.

Dva pokušaja koja su prethodila DAgger-u

Forward training je iskrenu ali nepraktičnu odgovoru. Trenira odvojeni policy za svaki vremenski korak, redom, svaki na distribuciji stanja izazvanoj policy-jima već učvršćenim za ranije korake, tako da svaki policy vidi upravo distribuciju koju će susresti. Hak je u opisu: T policy-ja, trenirani sekvencijalno, bez ranog zaustavljanja. Za manipulation epizodu na 30 frejmova u sekundi, T je u stotinama.

SMILe, iz istog članka, i SEARN, iz rada Daumea, Langforda i Marcua o strukturiranoj predikciji, uzimaju drugi put: jedan stacionarni policy, ali stohastički. Svaka iteracija trenira komponentu i dodaje je mješavini, pomičući vjerojatnu masu od eksperta. Rezultat je mješavina u kojoj su neke komponente lošije od ostalih - na fizičnoj ruci, kontroler koji može uzorkovati lošu komponentu u sredini gibanja. To je navedena motivacija za želju za stacionarnim determinističkim policy-jem umjesto.

DAgger: jedna ideja, jedan okvir

Dataset Aggregation zadržava deterministički policy i pomiče popravku u prikupljanje podataka. Svaka runda: izvršite sadašnji policy, snimite stanja koja posjećuje, pitajte eksperta koja bi bila ispravna akcija u svakom, dodajte te parove skupu podataka koji već imate, ponovno trenujte na uniji. Naziv je algoritam - agregirate, nikad ne odbacujete.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Tri detalja nose više težine nego što izgleda. Oznake su za stanja koja je posjetila mješovita policy, ali akcije dolaze od eksperta - policy postavlja pitanja, ekspert odgovore. Ponovno treniganje je na cijeloj agregaciji, što čini svaku rundu Follow-The-Leader korakom: na rundi n biraš najbolji policy naknadno nad svakom trajektorijom do sada. To je framing na koji se dokaz temelji. I algoritam završava vraćanjem najbolje politike u nizu kao izbor na skupu za validaciju, jer teoremi garantiraju da neki policy u nizu je dobar, ne da je zadnji.

Beta schedule, i zašto to nije knob za podešavanje

Mješovita policy je beta_i puta ekspert plus jedan minus beta_i puta learner. Točka je praktična: prve nekoliko naučenih policy-ja treniranih je sa vrlo malo podataka, čine mnoge greške, i inače bi proveli rollout u stanjima koja postaju nevažna kad se policy poboljša.

Teorija nametne upravo jedan uvjet: tekući prosjek beta-a mora ići na nulu. Analiza radi sa beta_i ograničenim sa (1 - alfa) na potenciju i-1, za konstantu alfa nezavisnu od T.

Razlika između 2980 i 3030 na skali koja traje do otprilike 4300 je mala, ali objašnjenje članka je najpraktičnija napomena u sekciji. Sa verzijom bez parametara, Mario se zaglavljen na istoj točki rano i generirao je masu blizu-duplikata podataka s tog jednog mjesta; dozvoljavajući eksperta da vozi dio vremena oboje ga je otključali i proširili raznolikost stanja. Raspored je manji o omjeru miješanja nego o je li vaša prikupljanja podataka nastavlja proizvoditi nova stanja ili istu neuspjehu.

Garancija: redukcija na online learning bez žaljenja

Evo poteza koji čini članak ono što jeste. Tretirajte svaku DAgger rundu kao jedan primjer u online learning problemu, gdje je gubitak na rundi i zamjenski gubitak ispod distribucije stanja policy-ja korištenog na rundi i. Učitelj se obavezuje politikom prije nego što vidi taj gubitak, i niz je stacionaran jer ovisi o politikama proizvedenim do sada.

Algoritam je bez žaljenja ako njegov prosječni gubitak preko N rundi pristupa onima jedinstvene najbolje politike naknadno. Follow-The-Leader na jako konveksnim gubicima je takav algoritam, sa prosječnim žaljenjem skupljajućim se na redu 1/N - i ponovno treniganje na cijeloj agregaciji je upravo Follow-The-Leader. Bilo koji drugi online learner bez žaljenja bi poslužio kao dobro: analiza je redukcija, ne svojstvo jednog optimizatora.

Jedna lema premošćava jaz između mješovitog policy-ja koji je prikupio podatke i naučenog policy-ja koji će biti primjenjen: Lema 4.1 ograničava L1 udaljenost između njihovih distribucija stanja sa 2 T beta_i. To je razlog što beta-i moraju padati - dok ekspert još drži cijenjenu autoritet, stanja koja prikupljate nisu stanja koja će proizvesti vaš policy. Kombinirajte lemu sa graničnom žaljenja i glavni rezultat slijedi: nakon otprilike T iteracija, neki policy u nizu ima zamjenski gubitak ispod vlastite distribucije unutar O(1/T) od epsilon_N. Hranite to u linearnu granicu i dolazite do Teorema 3.2.

Empirijska strana je skromna po trenutnim standardima. U Super Tux Kartu supervizirana osnova nije poboljšala svoj prosječan pad po krugu kako su podaci stigli, DAgger dosegnut policy koji nikad nije padao sa staze nakon petnaest iteracija, i SMILe nakon dvadeset je još uvijek padao otprilike dva puta po krugu. Na benchmark-u pisanja, točnost znakova je imala 82 posto bez strukture, 83,6 posto supervizirana, 85,5 posto sa DAgger-om. Ništa od toga nije rezultat manipulacije.

Što dokaz ne obećava

Teoremske izjave su uvjetne, i uvjeti su teški.

Jedan daljnji rezultat se često citira kao refutacija i nije jedna. Rajaraman, Yang, Jiao i Ramachandran proučavaju minimax granice imitation learning-a u epizodičnim MDP-ima sa konačnim prostorom stanja S i horizont H, i dokazuju donju granicu suboptimalnosti na redu |S| H na kvadrat preko N koja vrijedi čak i kada learner smije aktivno upitati eksperta na posjetnim stanjima. To je najgori slučaj stope preko klase MDP-ima na fiksnoj epizodnoj proračunu, i ono što it odbacuje je ideja da interakcija poboljšava minimax stopu; DAgger-ov teorem je drugačija izjava, ograničavajuća primjenjenu policy u odnosu na što vlastita policy klasa može postići.

Swamy, Choudhury, Bagnell i Wu kasnije klasificirali su te algoritme koji momenti ekspертnog ponašanja poklapaju, i uveli pojam moment recoverability koji ograničava kako dobro svaka obitelj ublažava compounding error. Ankete od Ose i od Celemina pokrivaju algoritamski krajolik i ljudske-povratne sucelice.

Račun: označavanje stanja koju ekspert nikad nije proizveo

Sve gore pretpostavlja eksperta koji se može upitati bilo gdje. U simulaciji sa planerom koji je gotovo besplatan - Mario eksperimenti su koristili blizu-optimalni planer sa punim pristupom stanju igre. Sa čovjekom na robotu to je dominantni trošak, i čudnom: čovjek mora proizvesti ispravnu akciju u konfiguraciji koju vlastita vještina nikad ne bi stvorila.

Kelly, Sidrane, Driggs-Campbell i Kochenderfer čine prigovor izravno u HG-DAgger članku. Vanilla DAgger zahteva da ekspert opskrbi oznake akcija dok nije u potpunoj kontroli sustava. To smanjuje sigurnost, i sa ljudskim stručnjacima vjerojatno je da degradira kvalitetu prikupljenih oznaka, što pripisuju osjetljivosti aktuatora. Oznaka koju dobiješ natrag nije oznaka koju je algoritam pretpostavio.

Laskey i kolege napadaju problem s druge strane sa DART, i njihov framing je direktan: on-policy tehnike su naporne za ljudske nadzornike, dodaju računski teret, i mogu posjetiti opasna stanja tijekom treninga. Njihova alternativa ubrizgava kalibrirani šum u vlastite demonstracije nadzornika, kako se povratak demonstrira bez robota ikada pokretanja nepouzdanog policy-ja. Na MuJoCo Humanoid izvještavaju DART smanjenja kumulativne nagrade nadzornika za 5 posto tijekom treninga, dok DAgger izvršava politike sa 80 posto manje kumulativne nagrade od nadzornika; na hvatanju u zbrci sa Toyota HSR, prosječno 62 posto povećanja preko behavior cloning-a.

Zhang i Cho SafeDAgger tretiraju upite na referentnoj politici kao oskudan resurs: odvojena sigurnosna politika predviđa, bez upita, je li glavna politika o to da se devijira od reference izvan praga, i samo ta stanja se predaju. Sva tri reagiraju na istu činjenicu - DAgger analiza ne traži od ekspertnih oznaka, i stvarnost traži velik dio.

Što to znači za SO-100 na vašem stolu

Prevedite horizont u vlastite jedinice. Dvadesetak-sekundna epizoda na 30 frejmova u sekundi je 600 koraka odluke, i T u svakoj granici gore je taj broj. Na T = 600, razlika između člana koji skalira sa T i člana koji skalira sa T na kvadrat je razlika između policy-ja koji se oporavlja od lošeg pristupa i jedan koji se nije.

Ovo je dio zašto akcija chunking pomaže: kada policy emitira kratku sekvencu akcija po koraku zaključivanja, broj točaka odluke pada, i tako će broj šansi za nakupljanje. Zhao, Kumar, Levine i Finn nazivaju compounding error kao motivaciju za Action Chunking with Transformers, i izvještavaju 80 do 90 posto uspjeha na šest teških zadataka iz stvarnog svijeta, na jeftinom bimanualnom hardveru, iz deset minuta vrjednoti demonstracija. Chunking ne uklanja covariate shift - stanja su još politika vlastita - ali skraćuje efektivni horizont. Vidjeti action chunking i SO-100 imitation learning vodiči.

Druga prijevod je metrika napretka. Ne možete direktno izmjeriti epsilon ispod vlastite distribucije policy-ja - to trebate zemaljske istine ekspertne akcije za svako posjetno stanje, stvar koju pokušavate izbjeci proizvodnje. Što vam gatekeeper petlja daje umjesto je intervention rate: frakcija frejmova u trci tijekom koje je čovjek preuzeo. To je proksi, i kreće se za razloga nesvezana sa politikom - strpljiv operator intervira manje. Korišteno dosljedno, to je jedan broj koji govori je li runda vrijedila zaposljenja.

Treća prijevod je upozorenje kvalitete podataka koju analiza ne pokriva. Mandlekar i kolege proučavali su šest offline learning algoritama na pet simuliranih i tri stvarna-svijeta multi-faza manipulacijskih zadataka, i izvještavaju osjetljivosti na algoritamske odabire dizajna, ovisnost od kvalitete demonstracija, i varijabilnosti uzrokovane kriterijima zaustavljanja. Belkhale, Cui i Sadigh argumentiraju da kvalitetu skupa podataka trebali biti formalizirali kroz akciju divergencije i raznolikost tranzicije, i primjećuju da raznolikost stanja nije uvijek korisna. DAgger runda dodaje stanja koja nitko nije namjerno birao: neki su podaci oporavka koji vam trebate, neki su robot lupajući dok vi mučiti se za takeover kontrola.

Mehanički runda je šest koraka: pokreni zaključivanje sa snimanjem uključenim, preuzmi kada policy loše provodi, pregledaj rundu i arhiviraj svaku epizodu, sinkronizacija ispravke, sastavi mješoviti skup podataka iz originalnih plus ispravki sa izborom epizode napravljen eksplicitno po izvoru, i nastavi trening od prethodnog checkpoint umjesto baznog modela. Na ay-robots ti koraci postoje kao gumbovi, što uklanja cjevovod ali ne i presudu. Dva upozorenja: nastavak od checkpoint inicijalizira težine i nije nastavak optimizatora, i pomak poravnanja leader-arm-a je još lagano testiran na hardveru. Vidjeti trening i skupovi podataka.

Obiteljsko stablo, u jednoj tablici

Česta pitanja

Gdje ići dalje

Ako niste trenirali policy još, ova teorija je preuranjena: prvi snimite skup podataka, počevši od treniranja vaše prve politike i desktop klijenta. Ako odmjeravate stotinu više čistih demonstracija prema početnu ispravke: čiste demonstracije ne rješavaju problem distribucije. Za mehaniku, nastavite sa varijanta sa gatekeper-om i tada SO-100 vodiči.