DAgger paaiškinta: kodėl elgesio klonavimas nusidrasko ir ką iš tiesų įrodo duomenų agregacija

Yra specifinė klaida, su kuria anksčiau ar vėliau susiduria kiekvienas, kuris treniruoja manipuliacijos politiką. Politika siekia kubo, priartėja dvi centimetrus, svyruoja, nusidrasko į šalį, tada daro ką nors, nedalyvaudama užduotyje. Validavimo nuostoliai buvo gerai. Atvira kilpa, grąžinta į atliktus epizodus, buvo gerai. Ir vis tiek ranka baigiasi padėtyje, kurios nėra mokymo duomenyse, ir iš ten ji neturi ką prasmingo pasakyti.

Ta klaida turi vardą ir nustatytas teorinius pagrindus. Tai yra pirmasis iš keturių straipsnių apie DAgger, ir jis apima pačią argumentaciją: kodėl politikos pritaikymas demonstratoriaus paties trajektorijoms sukuria klaidą, kuri gali augti su epizodo ilgio kvadratu, ką keičia duomenų agregacija ir ką be-žalos įrodymas neviešina. Kilpa su realia aparatūra yra aprašyta DAgger kilpos paleidimas SO-100, žmonių vartuojama varianta HG-DAgger ir žmonių vartuojamos intervencijos, ir matavimo klausimą DAgger kilpos matavimas.

Prielaida, kurią tyliai daro elgesio klonavimas

Demonstravimo duomenų rinkinys yra stebėjimo-veikimo porų krūva. Elgesio klonavimas atitinka funkciją tai krūvai su įprastu prižiūriku mokymusi ir sustoja. Tai yra seniausia idėja srityje. Pomerleau ALVINN, 1988 metais, buvo trisloji atgalinę sklaidą esanti tinklo klasė, kuri paėmė vaizdinius iš kameros ir lazerinės nuotolio ieškiklio ir sukūrė kryptį, į kurią turėtų keliauti transporto priemonė; ji buvo treniruota simuliuotais kelio vaizdinius ir sekė tikrusias kelias esant tam tikroms lauko sąlygoms. Receptas nėra daug pasikeitusia; tinklai turi.

Tai, kas praleidiama, yra patikrinimas, iš kur tos poros atsirado. Kiekvienas iš jų sėdi trajektorijoje, kurią demonstratorius sukūrė. Politika, kurią diegiasi, sukuria savo. Greitai, kai jis nukrypsta, jis klausiamas apie būsenas, kurios nebuvo mokymo pasiskirstyme, ir jo atsakymas jį pajuda toliau. Ross, Gordon ir Bagnell atidaro DAgger straipsnį su tuo tiksliai: nuosekli numatymas pažeidžia i.i.d. prielaidą po statistiniu mokymusi, nes mokytojo paties numatymai nustato įvestis, kurias jis mato toliau.

Aiškiausia iliustracija tame straipsnyje nėra roboto visai. Beveik optimalaus planisto klonavimas Super Mario Bros. sukūrė politiką, kuri pakartotinai įstrigo į kliūtį, o ne per ją šoko. Priežastis yra visa argumentacija vienoje frazėje: ekspertas visada šoko iš patogaus atstumo, todėl duomenų rinkinyje nebuvo jokios būsenos, kurioje Mario būtų prispaustas prie kliūties, todėl nėra žymės, ką daryti, kai jis buvo.

Pakeiskite Mario dėl SO-100 rankos ir struktūra yra identiska. Jūsų demonstracijos rodo švarius priartėjimus ir švarius griebus, o ne pirštinę, užsidariusią dvi centimetrus trumpai - todėl politika neturi supratimo, ką daryti iš ten, ir kas nors, ką jis spėja, jį pajuda toliau. Kovariacinis poslinkis yra duomenų rinkimo procedūros savybė, o ne tinklo architektūra.Iš kur atsiranda kvadratinis terminas2010 AISTATS straipsnis Ross ir Bagnell,

Efektyvūs imitacinio mokymo sumažinimai

, daro kaupimąsi tikslų. Tegul T yra užduoties horizonta, tegul užduoties savikaina būtų ribota vienetu intervalu, ir tegul epsilon yra surogatinis nuostolis, išmatuotas po eksperto būsenos pasiskirstymu - skaičius, kurį praneša jūsų validavimo rinkinys. Tada šios politikos pagalva, kuri buvo paleista T žingsnių, yra T kvadratu kartų epsilon ribota. Ross, Gordon ir Bagnell nurodo tai kaip Teoremą 2.1 DAgger straipsnyje ir prideda frazę, kuris reikalingas: riba yra tiesa. Uždaviniai egzistuoja, kur politika su epsilon nuostoliu eksperto pasiskirstyme iš tikrųjų patiria papildomą sąnaudą, augančią kvadratiškai T.Tiesa nėra tipinė. Kvadratinis terminas yra blogiausias atvejis per problemų klasę, o ne numatymas apie jūsų paimdavo-ir-padėkite užduotį. Tai, ką jis nustato, yra tai, kad daugiau eksperto demonstracijos negali šalinti problemą: jis tik paaštrėja epsilon įvertinimą pasiskirstymui, kuriame politika nebus bandyta.Bėgimo maršrutas yra tame pačiame straipsnyje, iš naujo nurodomas kaip Teorema 2.2. Jei politika pasiekia nuostolį epsilon po jos pačios būsenos pasiskirstymu, ir vienas neteisingas veiksmas išlaida daugiausia u pagal atsigavimo sumą eksperto, papildoma sąnada yra u kartų T kartų epsilon ribojama - tiesa horizonto. Konstanta u yra įdomus dydis: daugiausia 1, kai 0-1 nesutarimu su eksperto, ir O(1), kai ekspertas gali atsigauti per kelis žingsnių. Pioriausiu atveju jis yra O(T), ir tiesa riba yra tada ne geriau nei kvadratinė.NustatymasRiba dėl papildomo nuostolio virš eksperto

Ką jis remiasi

Elgesio klonavimas (Ross & Bagnell 2010, iš naujo nustatytas kaip Thm. 2.1 Ross et al. 2011)T kvadratu kartų epsilonepsilon išmatuotas eksperto būsenos pasiskirstyme; savikaina [0,1]; riba yra tiesa

politiką vietoj.

DAgger: viena idėja, vienas langelisDuomenų agregacija išlaiko determinuotą politiką ir persikelia taisymo į duomenų rinkimą. Kiekvienas raundas: išvirtite esamą politiką, įrašykite būsenas, kurias jis aplankė, paprašykite eksperto, ką teisingas veiksmą būtų buvęs kiekviename, pridėti tas poras prie duomenų rinkinio, kurį jūs jau turite, peratrenira dėl sąjungos. Vardas yra algoritmas - jūs agregatai, jūs niekada nešalinate.DAgger meta-algoritmo, Algoritmas 3.1 Ross, Gordon & Bagnell (2011).

Trys detalės nešioja daugiau svorio nei jos atrodo. Žymės yra būsenos, kurias aplankė mišri politika, bet veikla suteikta eksperto - politika suteikia klausimus, ekspertas atsakymus. Peratrenirimas yra ant viso agregato, kuris daro kiekvieną raundą Sekti-Lyderį žingsnį: per raundą n jūs renkate geriausią politiką atgal visos trajektorijos iki šiol. Tai rėminimas yra tai, ką pagrindžia įrodymas. Ir algoritmas baigiasi grąžindamas geriausią politiką iš sekos kaip pasirinktas su validavimo rinkiniu, nes teoremos garantuoja, kad kai kurią politika iš sekos yra gerai, o ne paskutinis.

Beta grafikas, ir kodėl jis nėra tinimo žaismas

Mišri politika yra beta_i kartų ekspertas plius vienas minus beta_i kartų mokytojas. Taškas yra praktiškas: pirmaisiais nustatyti politikos yra treniruojamos labai mažai duomenų, daro daug klaidų, ir kitaip praleisty raundą į būsenas, kurios tampa nereikalinga, kai politika pagerėja.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

GrafikasKą jis daroKą straipsnis praneša

beta_1 = 1

Pirmasis raundas yra gryna eksperto demonstracija; nereikalinga pradinė politika

Rekomenduojamas pradinis taškas kiekvieniame variante

Vienas lemma sviesčia tarpą tarp mišrios politikos, kuri rinko duomenis ir nubrėžtos politikos, kuri bus diegiama: Lemma 4.1 riboja L1 atstumą tarp jų pasiskirstymų 2 T beta_i. Tai kodėl betas turi nykus - nuo eksperto dar laiko vertybę kontrolės valdžios, būsenos jūs rinkti nėra būsenos, kurias jūsų politika sukurs. Derinkite lemą pagal regret ribą ir pagrindiniai rezultatai sekite: po maždaug T iteracijų, kai kurie politika iš sekos turi surogatinis nuostolis pagal jos pasiskirstymą dėl O(1/T) iš epsilon_N. Prašalinti šioje tiesią ribą ir jūs laipu Teoremoje 3.2.

Teoremos teiginiai yra sąlyginiai, ir sąlygos yra sunumeruotos.

DAgger garantija, nuodugniai perskaityta

Ką jis duoda jums

Ką jis neduoda jums

Riba tiesa, o ne kvadratinė T, pagal nustatytą prielaidas.

Stacionari determinuota politika, o ne stochastinė mišinė.

Tikra sumažinimas: bet koks be-žalos interneto mokytojas įdeda į.

Zhang ir Cho SafeDAgger traktuokite klausimus į nuovokas politika kaip retas išteklius: atskiras saugą politika numato, be klausimu, ar pagrindinė politika ketina nuokrypti iš nuorodos virš ribos, ir tik tie būsenos yra įduoti. Visas trys reaguoti į tą pačią faktą - DAgger analizė apmoka nieko dėl eksperto žymas, ir tikrovė apmoka daug.

Dalis to, ką nė kas neperspėja apie

Žymėjimas iš-pasiskirstymo būsenos yra protiškai sunkesnė nei demonstravimas užduotį. Normalus demonstravimas reiškia vykdant variklio plano jūs jau turite. Korekcija politika, kuri yra padėti pirštinę kažkur jūs niekada nebūtų reiškia statydamas atsigavimas iš sviesto, po laiku spauda, su roboto dar judančiu. Tikėtis mažesnę naudingą minučių per seansa nei gryna įrašymo seansa, ir žiūrėti savo korekcija kokybę nykus per vieną.

LeRobot duomenų rinkinio struktūra nurodančia epizodus, rėmius ir per-rėmį stulpai kaip saugomi diskine

Korekcijai tapti duomenų rinkiniu tik, kai intervencijos rėmiai žymimi - LeRobot formatą, per-rėmį stulpas šalia stebėjimas ir veiksmų.

Ką tai reiškia SO-100 ant jūsų stalo

Vertinkite horizonta į savo vienetų. Dvidešimties sekundžių epizode esant 30 rėmius per sekundę yra 600 sprendimo žingsniai, ir T visų ribose yra tas skaičius. Ties T = 600, skirtumas tarp termino skalinio su T ir skalinio su T kvadratu yra skirtumas tarp politika, kuri atsigauna iš blogo priartėjimo ir viena, kuri negali.

.

Antrasis vertinimas yra progreso metrika. Jūs negali matuoti epsilon pagal politika pačios pasiskirstymą tiesiogiai - tai reikalinga žemės-tiesa eksperto veiksmų kiekvienas aplankyta būsena, ką nors jūs bandote nežymiai sukurti. Ką žmogaus-vartuojama kilpa duoda jums vietoj yra intervencijos dalis: dalis iš rėmių į bėgimą, kuriame žmogumi yra paimtas per. Jis yra stovyklą, ir jis judėti priežasčių nesusije iki politika - pacientas operatorius intervencijas mažiau. Naudojamas konsistentiškai, jis yra vienas skaičius, kuris sako ar raundas buvo vertas popiet.

Trečias vertinimas yra duomenų-kokybės perspėjimas analizė nesijaučia. Mandlekar ir kolegų tyrinėti šešis neprisijungus mokymo algoritmus penki simuliavimo ir trys tikra-pasaulis daugiapakopė manipuliacijos užduotys, ir praneša jautrumas algoritmaing dizaino pasirinkimai, priklausomybė dėl kokybės iš demonstracija, ir variabilumo priežastis nuo sustabdymo kriterijus. Belkhale, Cui ir Sadigh tvirtinti, duomenų kokybė turėtų formalizuoti per veiksmų divergencija ir perėjimo šilumą, ir pastebėti, kad valstybės šilumą nėra visada naudinga. DAgger raundas prideda būsenas nėra kas sąmoningai pasirinkę: kai kurie yra atsigavimas duomenys jūs reikalas, kai kurie yra roboto negraudžiantis jums svaidydami dėl perimties kontrolę.Mechaniškai raundas yra šešti žingsniai: bėgimą išvadą su įrašymo ant, paimti per kada politika elgiasi blogai, peržiūrėti bėgimą ir dėl-vu kiekvienos epizodo, sinchronizuoti korekcijai, sudaryti mišrią duomenų rinkinį iš originalus plius korekcijai su epizodo pasirinkimas padaryti aiškiai per šaltinį, ir tęsti mokymą iš ankstesnis kontrolinis taškas o ne bazinis modelis. Į ay-robots tie žingsniai egzistuoti kaip mygtukai, kurie pašalina šildymo, bet ne sprendimą. Dvi pagyrimai: tęsdamasis iš kontrolinio taško inicijuoja svarmenys ir nėra optimizier atnaujinti, ir lyderio-rankos lyginimas žingsnis yra dar lengvai bandyta aparatūra. Žr. mokymas

ir

duomenų rinkiniai

.DAgger kilpa, jau suveltynytaPerimti per gyvą išvadą bėgimą, per-rėmį intervencijos žymėjimas, dėl-vu epizodai kaip korekcijai arba vertinimai, sudaryti mišrią duomenų rinkinį su aiškus epizodo pasirinkimas per šaltinį, ir tęsti mokymą iš egzistuoto kontrolinio taško yra visas sukurtas. Jūs vis dar nusprendžiate kada paimti per ir ką laikyti - tos dalies neatomatai.Žr., kaip DAgger kilpa darbaiŠeimos medis, vienoje lentelėjeMetodasKas renkasi būsenas

Ekspertas

Nes teoremos garantija gerai politika egzistuoti kažkur iš sekos, ne tas tai yra galutinis pasikartoti - riba yra ant minimalaus virš sekos. Siuntimas kas atėjo iš paskutinio raundo atmetimas nustatyto sąlyga rezultato, ir paskutinis raundas nėra patikimai geriausia.

žmogaus-vartuojama varianta

ir tada SO-100 walkthrough.darbastalio kliento. Jeigu jūs yra svėrimo kitą šimtą švarus demonstracija prieš pradeda korekcijai: švarus demonstracija nedaryti taisyti pasiskirstymo problema. Dėl mechanika, tęsti su žmogaus-vartuojama varianta ir tada SO-100 walkthrough.