DAgger Shpjeguar: Pse Behavior Cloning Zhvendoset dhe Çfarë Vërtetojnë në të Vërtetë Dataset Aggregation-i

Ekziston një dështim specifik që secili që stërvit një politikë manipulimi e ndeshet më herët ose më vonë. Politika shkon për kubun, arrin brenda dy centimetrave, hezitim, zhvendoset anash, pastaj bën diçka të palidhur me detyren. Humbja e validimit ishte mirë. Riprodhimi i qarkut të hapur kundër episodeve të mbajtura ishte mirë. Dhe megjithatë koka përfundon në një pozë që nuk shfaqet askund në të dhënat e trajnimit, dhe nga aty nuk ka asgjë të arsyeshme të thuhet.

Ai dështim ka një emër dhe një pjesë të vendosur të teorisë pas tij. Ky është i pari nga katër artikuj mbi DAgger, dhe ai mbulon vetë argumentin: pse përshtatja e një politike në trajektorimet e mëdha të demonstratorit prodhon një gabim që mund të rritet me katrorin e gjatësisë së episodit, çfarë ndryshon agregimi i të dhënave, dhe çfarë nuk premton prova pa pendim. Qarkulla në harduerina reale mbulohet në drejtimi i një qarkulla DAgger në një SO-100, varianti i kontrolluar nga njeriu në HG-DAgger dhe ndërhyrjet e kontrolluara nga njeriu, dhe pyetja e matjes në matja e një qarkulla DAgger.

Supozimi që behavior cloning qetësisht bën

Një grumbull të dhënash demonstrimi është një grumbull çiftesh vëzhgimi-veprim. Behavior cloning përshtatet një funksion në atë grumbull me mësimin e zakonshëm të mbikëqyrur dhe ndalon atje. Shtë ideja më e vjetër në fushë. ALVINN i Pomerleaut, në 1988, ishte një rrjet tre-shtresore i përhapjes prapa që merrte imazhe nga një kamerë dhe një gjurmues lazer diapazoni dhe prodhoi drejtimin drejt të cilit duhej të ecte mjeti; u trajnua në imazhe të simuluara të rrugëve dhe ndjek rrugë reale nën disa kushte fushe. Receta nuk ka ndryshuar shumë; rrjetat kanë.

Çfarë hiqet është një kontroll mbi vendin nga erdhën ato çifte. Secili qëndron në një trajektore që prodhoi demonstruesi. Politika që vendosni prodhon të sajën. Në momentin që shmanget, ajo pyetet për gjendjet që nuk ishin në shpërndarjen e trajnimit, dhe përgjigja e saj e lëviz më tej. Ross, Gordon dhe Bagnell e hapnin letrën DAgger pikërisht me këtë: parashikimi në sekuencë shkelin supozimet i.i.d. poshtë mësimit statistikor, sepse parashikimet e mësuesit përcaktojnë hyrjet që sheh më pas.

Ilustrimi më i qartë në atë letër nuk është fare robot. Klonimin e një planifikuesi pothuajse optimal për Super Mario Bros. prodhoi një politikë që përsëri ngeci ndaj një pengesë në vend që ta kalonte. Arsyeja është i gjithë argumenti në një fjali: eksperti gjithmonë u hodh nga një distancë e rehatshme, kështu që grumbulli i të dhënave nuk përmbante gjendje në të cilën Mario ishte shtyrë kundër një pengeseje, dhe prandaj pa etiketë për atë që duhet të bëj sapo të ishte.

Ndërro Mario për një koka SO-100 dhe struktura është identike. Shfaqjet tuaja tregojnë një qasje të pastër dhe kapje të pastër, jo hapja-mbyllëse dy centimetra më të shkurtër - kështu politika nuk ka ideje se çfarë të bëj atje, dhe çdofarë që hamëson e merr më tej. Covariate shift është pronë e procedurës së mbledhjes së të dhënave, jo të arkitekturës së rrjetit.

Ku vjen termi kuadratik

Letër 2010 AISTATS nga Ross dhe Bagnell, Efficient Reductions for Imitation Learning, e bën përbërjen precize. Le të jetë T horizont i detyrës, le të jetë kosto e detyrës e kufizuar në intervalin njësi, dhe le të jetë epsilon humbja zëvendësuese e matur nën ekspertit shpërndarje gjendje - numri që raporton grumbulli juaj i validimit. Atëherë kostoja shtesë e drejtimit të asaj politike për T hapa, në krahasim me ekspertin, është e kufizuar nga T në katror herë epsilon. Ross, Gordon dhe Bagnell ristatejnë këtë si Teorema 2.1 në letrën DAgger dhe shtojnë fjalen që ka rëndësi: kufiri është i ngushtë. Ekzistojnë probleme ku një politikë me humbje epsilon në shpërndarjen e ekspertit vërtet pësuron kosto shtesë që rritet në katror në T.

I ngushtë nuk do të thotë tipik. Termi kuadratik është rasti më i keq mbi një klasë problemash, jo parashikim rreth detyrës tuaj të zgjedhjes dhe vendosjes. Ajo që vendos është se më shumë demonstrim i ekspertit nuk mund ta hyjë problemin: përqa përaqëson vlerësimin e epsilon në një shpërndarje mbi të cilën politika nuk do të testohet.

Rruga e arratisjes është në të njëjtën letër, e ritheksuar si Teorema 2.2. Nëse një politikë arrin humbje epsilon nën të tij shpërndarje gjendje, dhe një veprim i vetëm i gabuar kushtoj më shumë se u në kosto-për-të-shkuar nën ekspertin, kostoja shtesë kufizohet nga u herë T herë epsilon - lineare në horizont. Konstanta u është sasia interesante: më shumë 1 për mosmarrëveshje 0-1 me ekspertin, dhe O(1) sa herë që eksperti mund të rikuperohet brenda disa hapave. Në rastin më të keq është O(T), dhe kufiri linear atëherë nuk është më mirë se ai kuadratik.

Dy përpjekjet që erdhën përpara DAgger

Trajnimi përpara është përgjigja e ndershme por e papraktike. Stërvitni një politikë të ndarë për çdo sekondë kohore, në rend, secila në shpërndarjen e gjendjeve të induktuar nga politikat tashmë të fiksuara për hapat më herët, kështu që çdo politikë sheh saktësisht shpërndarjen që do të përballet. Kapja është në përshkrim: T politika, stërvitime në mënyrë sekuenciale, pa ndalim të hershëm. Për një manipulim episodi në 30 imazhe për sekondë, T është në qindra.

SMILe, nga e njëjta letër, dhe SEARN, nga puna e Daumes, Langfordit dhe Marcusit mbi parashikimin e strukturuar, marrin rrugën tjetër: një politikë stacionare, por stokastike. Çdo përsëritje stërvit një komponente dhe e shton në një përzierje, duke zhvendosur masën e probabilitetit larg ekspertit. Rezultati është një përzierje në të cilën disa komponente janë më të këqija se të tjerat - në një koka fizike, një kontrollues që mund të kampionojë një komponent të keq në mes të lëvizjes. Ky është motivimi i deklaruar për të dëshiruar një politikë stacionare përcaktuese politikë në vend.

DAgger: një ide, një kuti

Dataset Aggregation i mban politikën përcaktuese dhe e lëviz rregullimin në mbledhjen e të dhënave. Çdo raund: zhvendos politikën aktuale, regjistro gjendjet që vizitor, pyet ekspertin se cili do të ishte veprim i saktë në secilën, shto ato çifte në grumbullin që tashmë ke, rishërvet në bashkimin. Emri është algoritmi - ti agregoj, ti asnjëherë nuk hedh.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Tre detaje kanë më shumë peshë se duken. Etiketat janë për gjendjet e vizituara nga politika e përzier, por veprimet vijnë nga eksperti - politika jep pyetjet, eksperti përgjigjet. Rishërveti në grumbullin e tërë, e cila bën çdo raund një hap Follow-The-Leader: në raund n ti zgjedh politikën më të mirë në retrospektivë mbi çdo trajektore deri tani. Ai kornizë është ajo ku varet prova. Dhe algoritmi mbaron duke u kthyer politikën më të mirë në sekuencë siç u zgjodh në një grumbull validimi, sepse teoremat garantojnë se disa politika në sekuencë është e mirë, jo se e fundit është.

Orari beta, dhe pse nuk është një buton rregullimi

Politika e përzier është beta_i herë eksperti plus një minus beta_i herë nxënësi. Pika është praktike: politikat e para të mësuara stërviten në shumë pak të dhëna, bëjnë shumë gabime, dhe do të harxhonin ndryshe zhvendosjen në gjendje që bëhen të palidhura pasi politika përmirësohet.

Teoria vendos saktësisht një kusht: mesatarja e drejtimit të betave duhet të shkojë në zero. Analiza funksionon me beta_i e kufizuar nga (1 - alfa) në fuqinë i-1, për një alfa konstante të pavarur nga T.

Hendeku midis 2980 dhe 3030 në një shkallë që vjen rreth 4300 është i vogël, por shpjegimi i letrës për të është shënimi praktik më i dobishëm në seksion. Me orarik pa parametër, Mario ngeci në të njëjtën vend në fillim dhe gjeneroi një masë të dhënash pothuajse të dyfishta nga ajo vend; duke lejuar ekspertin të drejtojë një fraksion të kohës të dyja e liroi atë dhe zgjeroi larmësinë e gjendjeve. Orari është më pak për raportin e përzierjes se për atë nëse mbledhja juaj e të dhënave vazhdon të prodhojë gjendje të reja ose të njëjtin dështim.

Garantia: një reduktim në no-regret online learning

Këtu është lëvizja e cila e bën letrën atë që është. Trajtoji çdo raund DAgger si një shembull në një problemë online learning, ku humbja në raund i është humbja zëvendësuese nën shpërndarjen e gjendjeve të politikës të përdorur në raund i. Nxënësi angazhohet në një politikë përpara se të shohë atë humbje, dhe sekuenca nuk është stacionare sepse varet nga politikat e prodhuara deri tani.

Një algoritmi nuk ka pendim nëse humbja mesatare e tij mbi N raunde i afrohet asaj të politikës më të mirë të vetme në retrospektivë. Follow-The-Leader në humbjat shumë konvekse është një algoritmi i tillë, me pendim mesatar që bie në rendin 1/N - dhe rishërveti në grumbullin e plotë është saktësisht Follow-The-Leader. Çdo nxënës tjetër pa pendim do të shërbente po aq mirë: analiza është një reduktim, jo pronë e një optimizuesi.

Një lemë ura hendekun midis politikës së përzier që mblodhi të dhënat dhe politikës të mësuar që do të vendoset: Lemma 4.1 kufizon distancën L1 midis shpërndarjeve të tyre të gjendjeve me 2 T beta_i. Ky është arsyeja pse betat duhet të kalben - ndërsa eksperti prapë mban autoritet të ndjeshëm kontrolli, gjendjet që mbledhni nuk janë gjendjet që do të prodhojë politika juaj. Kombinojeni lemën me kufirin e pendimit dhe rezultati kryesor vijon: pas përafërsisht T përsëritjesh, disa politika në sekuencë ka humbje zëvendësuese nën shpërndarjen e vet brenda O(1/T) të epsilon_N. Ushqejeni atë në kufirin linear dhe zbritni në Teoremën 3.2.

Ana empirike është modeste sipas standardeve aktuale. Në Super Tux Kart bazalina e mbikëqyrur nuk përmirësoi rëniet e saj mesatare për lap pasi erdhi më shumë të dhëna, DAgger arriti një politikë që nuk ra kurrë nga pista pas pesëmbëdhjetë përsëritjesh, dhe SMILe pas njëzet ende ra përafërsisht dy herë për lap. Në pikën referencë të shkrimit të dorës, saktësia e karakterit vrapim 82 përqind pa strukturë, 83.6 përqind mbikëqyrur, 85.5 përqind me DAgger. Asnjë nga këto nuk është rezultat manipulimi.

Çfarë nuk premton prova

Deklaratat e teoremës janë të kushtëzuara, dhe kushtet janë me ngarkesë.

Një rezultat tjetër shpesh citohet si refutim dhe nuk është një. Rajaraman, Yang, Jiao dhe Ramachandran studiojnë kufijtë minimax të imitation learning në MDPs episodike me një hapësirë gjendjesh të fundëm S dhe horizont H, dhe vërtetojnë një kufi të poshtëm suboptimale në rendin |S| H në katror mbi N që qëndron edhe kur nxënësi mund të pyetë aktivë ekspertin në gjendjet e vizituara. Ky është një norma worst-case mbi një klasë MDPs në një buxhet episodi të fiksuar, dhe çfarë përjashtojnë është ideja që bashkëveprimi përmirëson normën minimax; teorema e DAgger është një deklarim i ndryshëm, duke kufi politikën e vendosur në lidhje me atë që klasa e vet e politikës mund të arrijë.

Swamy, Choudhury, Bagnell dhe Wu më vonë klasifikuan këta algoritma sipas cilës momente të sjelljes së ekspertit ato përputhen, dhe prezantuan një nocion të rikuperueshmërisë së momentit që përshkruan sa mirë secila familje zbutet gabimi i përbërë. Sondazhet nga Osa dhe Celemin mbulojnë peizazhin algoritnik dhe ndërfaqet e feedback njerëzor.

Fatura: etiketimi i gjendjeve që eksperti nuk prodhoi kurrë

Gjithçka më lart supozon një ekspert që mund të pyetet kudo. Në simulim me një planifikues që është pothuajse i lirë - eksperimentet Mario përdorën një planifikues pothuajse optimal me qasje të plotë në gjendjen e lojës. Me një njerëz në një robot shtë kostoja mbizotëruese, dhe një të ndryshueshme: njeriu duhet të prodhojnë një veprim të saktë në një konfiguracion që konkurenca e tyre nuk do të kishte krijuar kurrë.

Kelly, Sidrane, Driggs-Campbell dhe Kochenderfer parashtroj objeksionin drejtpërdrejt në letrën HG-DAgger. DAgger vanilla kërkon që eksperti të furnizojë etiketat e veprimeve ndërsa nuk është plotësisht nën kontrollin e sistemit. Kjo zvogëlon sigurinë, dhe me ekspertët njerëzor ka të ngjarë të degradojë cilësinë e etiketave të mbledhura, të cilat ata e atribuojnë vonesës së perceptuar të aktuatorit. Etiketa që u kthehet nuk është etiketa që supozoi algoritmi.

Laskey dhe kolegët e tij sulmin problemin nga ana tjetër me DART, dhe korniza e tyre është e drejtë: teknikat on-policy janë të lodhshme për mbikëqyrësit njerëzor, shtojnë ngarkesën llogaritëse, dhe mund të vizitojnë gjendje të rrezikshme gjatë trajnimit. Alternativa e tyre injekton zhurmë të kalibruar në demonstrimet e vet të mbikëqyrësit, kështu që rikuperimi përfaqësohet pa robot ndonjëherë e drejtuar një politikë të pabesueshme. Në MuJoCo Humanoid ata raportin DART duke zvogëluar shpërblimin kumulativ të mbikëqyrësit me 5 përqind gjatë trajnimit, ndërsa DAgger ekzekuton politika me 80 përqind më pak shpërblimet kumulativ se mbikëqyrësi; në kapje në rrëmujë me një Toyota HSR, një rritje mesatare 62 përqind mbi behavior cloning.

SafeDAgger i Zhangut dhe Chot trajton pyetjet për politikën e referencës si resursi i rrallë: një politikë e ndarë e sigurimit parashikon, pa pyetur, nëse politika kryesore është gati të shmanget nga referencja përpër një prag, dhe vetëm ato gjendje transmetojnë. Të tre reagojnë në të njëjtën fakt - analiza DAgger nuk ngarkojnë asgjë për etiketat e ekspertit, dhe realiteti ngarkojnë shumë.

Çfarë do të thotë kjo për një SO-100 në tavolinën tuaj

Përkthejeni horizontin në njësi tuaja. Një episodi njëzet-sekondë në 30 imazhe për sekondë është 600 hapa vendimi, dhe T në çdo kufi më lart është ai numri. Në T = 600, dallimi midis një termi shkallëzues me T dhe një shkallëzues me T në katror është dallimi midis një politike që rikuperohet nga një qasje e keqe dhe një që nuk e bën.

Kjo është pjesë e arsyes pse action chunking ndihmon: kur një politikë lëshon një sekuencë të shkurtër veprimesh për hap përfundimi, numri i pikave vendimi zvogëlohet, dhe kështu edhe numri i shanseve për të përbërë. Zhao, Kumar, Levine dhe Finn emërojnë gabimin e përbërë si motivim për Action Chunking me Transformers, dhe raportin 80 deri në 90 përqind suksese në gjashtë detyra të vështira në botën reale, në harduer bimanual me kosto të ulët, nga dhjetë minuta të demonstrimeve. Chunking nuk heq covariate shift - gjendjet janë prapë të politikës - por shkurton horizontin efektiv. Shikoji action chunking dhe udhëzuesi SO-100 imitation learning.

Përkthimi i dytë është metrika e progresit. Nuk mund ta matni epsilon nën shpërndarjen e vet të politikës drejtpërdrejt - kjo ka nevojë për veprimet e vërteta të ekspertit për çdo gjendje të vizituar, gjëja që përpiqeni të shmanget prodhimit. Ajo që ju jep një qarkull i kontrolluar nga njeriu në vend të kësaj është norma e ndërhyrjes: fraksioni i imazheve në një vrapim gjatë të cilit njeriu kishte marrë kontrollin. Shtë një përfaqësues, dhe ai lëviz për arsye të palidhura me politikën - një operator duruesi ndërhyn më pak. E përdorur në mënyrë konsistente, shtë numri i vetëm që thotë nëse një raund vlejnin të vrazhdën e pasdites.

Një përkthim i tretë është një paralajmërim i cilësisë së të dhënave që analiza nuk mbulon. Mandlekar dhe kolegët e tij studiuan gjashtë algoritma offline learning në pesë detyra manipulimi të simuluara dhe tre në botën reale të shumë-stazhit, dhe raportin një ndjeshmëri ndaj zgjedhjeve të dizajnit algoritnik, një varësi nga cilësia e demonstrimeve, dhe ndryshueshmëria e shkaktuar nga kriteri i ndalimit. Belkhale, Cui dhe Sadigh argumentojnë se cilësia e grumbullit duhet të formalizohej përmes divergjencës së veprimeve dhe diversitetit të tranzicione, dhe vëren se diversiteti i gjendjeve nuk është gjithmonë benefik. Një raund DAgger shton gjendje që askush nuk zgjodhi qëllimisht: disa janë të dhënat e rikuperimit që keni nevojë, disa janë robot që rrah ndërkohë që ju fumblim për kontrollin e mbysjeje.

Mekanikisht një raund është gjashtë hapa: drejtim përfundimi me regjistrimin në, marrje kontrolli kur politika sillet keq, rishikimi i vrapimit dhe arkivim i secilit episodi, sinkronizim i korrigjimeve, përbërje të një grumbullemi të përzier nga origjinalet plus korrigjimet me zgjedhje episodi të bërë në mënyrë të qartë për burim, dhe vazhdim i trajnimit nga kontrollpika sesa modeli bazë. Në ay-robots ata hapa ekzistojnë si butona, i cili heq hidraulikën por jo gjykimin. Dy paralajmërime: vazhdim nga një kontrollpika përfshin peshave dhe nuk është një rimëkëmbje optimizuesi, dhe lëvizja e rreshtimit të koka-udhëheqës është akoma lehtë testuar në harduer. Shikoji trajnim dhe grumbuj të dhënash.

Pema e familjes, në një tabelë

Pyetjet e shpeshta

Ku të shkon nga këtu

Nëse nuk e keni trajnuar polëtikat ende, kjo teori është e parakohshme: regjistro një grumbull fillimisht, duke filluar nga trajnimi i politikës tuaj të parë dhe klient i tavolinës. Nëse po peshoni njëqind demonstrime të pastër tjetër kundër fillimit të korrigjimeve: demonstrime të pastër nuk rregullojnë problemin e shpërndarjes. Për mekanikën, vazhdoji me varianti i kontrolluar nga njeriu dhe më pas kalimi SO-100.