DAgger selgitatud: Miks Behavior Cloning triivib ja mida Dataset Aggregation tegelikult tõestab

On olemas konkreetne rike, millega kohtub igaüks, kes treenib manipuleerimispoliitikaid varem või hiljem. Poliitika sirutab käppa kuubi poole, jõuab kahe sentimeetri kaugusele, kohaneb, libiseb külgsuunas, seejärel teeb midagi ülesandega seotut. Valideerimiskadu oli hea. Avatud ahela taasesitus seisvate episoodide vastu oli hea. Siiski jõuab õlg sellisele positsioonile, mis treeniandmetes kusagil ei esine, ja sealt pole tal midagi mõistlikku öelda.

Sel rikkel on nimi ja sellel on taga korralik teooria. See on neljast artiklist esimene DAgger, ja see käsitleb argumenti ennast: miks poliitika sobitamine demonstraatori enda trajektooridele tekitab vea, mis võib kasvada episoodi pikkuse ruuduga, mida muudab andmekogumi kogumine ja mida no-regret tõestus ei lubada. Tegelik riistvarasilmus on käsitletud DAgger tsükli käitamine SO-100-l, inimese kontrolli all olev variant HG-DAgger ja inimese kontrollitud sekkumised, ja mõõtmise küsimus DAgger tsükli mõõtmine.

Eeldus, mida käitumuskloonimis vaikselt esitab

Demonstratsioon andmekogum on jälgimine-tegevuse paaride hunnik. Käitumuskloonimis sobib funktsiooni sellele hunnile tavapärase juhendatud õppega ja seisab seal. See on kõige vanima idee valdkonnas. Pomerleau ALVINN 1988. aastal oli kolmekihiline tagasikliimamise võrk, mis võttis pilte kaamerast ja laserite ulatuse leidjast ning tootis suuna, kuhu sõiduk peaks liikuma; seda treeniti simuleeritud teepiltidel ja järgis tegelikke teid mõnedel välitingimustel. Retsept ei ole palju muutunud; võrgud on.

Mida vahele jäetakse, on kontroll, kust need paarid pärinevad. Igaüks neist asub demonstraatori koostatud trajektooril. Poliitika, mida te kasutusse võtate, toodab oma. Niipea kui see kaldub, vastab muudetavale olekutele, mis ei olnud treeningjaotuses, ja selle vastus liigutab seda kaugemale. Ross, Gordon ja Bagnell avanevad DAgger uurimuse sellega täpselt: järjestikune ennustus rikub i.i.d. eeldus statistilise õppimise all, sest õppija enda ennustused määravad sisendid, mida ta järgmisena näeb.

Selgeim illustratsioon selles uurimusesseta pole robot üldse. Super Mario Brose peaaegu optimaalse planeerija kloonimis tekitas poliitika, mis jäi korduvalt takistuse vastu kinni, selle asemel et üle hüpata. Põhjus on kogu argument ühe lausega: ekspert alati hüppas mugavast kaugusest, nii et andmekogus puudus olek, milles Mario oli takistuse vastu surutud, ja seetõttu polnud silti selle kohta, mida teha, kui ta sinna jõudis.

Asenda Mario SO-100 käega ja struktuur on identne. Teie demonstratsioonid näitavad puhtast lähendamist ja puhtast haardest, mitte griiperit kahest sentimeetrist lühem sulgemist - nii et poliitikale pole aimugi, mida sealt teha, ja kõik, mida ta arvab, viib selle kaugemale. Kovariaatne nihe on omadus andmete kogumise protseduur, mitte võrgu arhitektuurist.

Kust tuleb ruuttermin

2010. aasta AISTATS uurimus Ross ja Bagnell, Jäljendusõppe tõhusad taandamised, muudab kumuleerumise täpseks. Olgu T ülesande horisont, olgu ülesande maksumus piiratud ühiku intervallis ja olgu epsilon asendatusviga, mida mõõdetakse eksperdise olekujaotus - arv, mille teie valideerimishulk teatab. Seejärel on selle poliitika käitamise lisakulud T sammut ette võrreldes eksperdi suhtes piiratud T ruudu korra epsiloniga. Ross, Gordon ja Bagnell esitavad selle DAgger uurimuse 2.1 teoreemina ja lisavad olulise lause: piir on tihe. Probleemid on olemas, kus poliitika, millel on epsilon kadu eksperdi jaotuses, tõepoolest kasvab kvadraatiliselt T-s.

Tihe ei tähenda tüüpilisust. Ruuttermin on halvim juhtum probleemide klassis, mitte ennustus teie valimis ja paigutamis ülesandeest. Mida see kehtestab, on see, et rohkem eksperdi demonstratsiooni ei saa probleemi eemaldada: see teeb epsilon hinnangu teravamaks jaotusele, mida poliitika ei ole testitud.

Põgenemise tee on samas uurimuses, esitatud teoreemiga 2.2. Kui poliitika saavutab kadumise epsilon all oma olekujaotus, ja ühe vale tegevuse maksumusest kuni käi maksumusetus eksperdiga on maksimaalselt u, siis lisakulud on piiratud u korda T korda epsilon - lineaarne horisondis. Konstant u on huvitav suurus: maksimaalselt 1 0-1 mitteühtluses eksperdi suhtes ja O(1), kui ekspert saab taastuda mõne sammuga. Halvimal juhul on see O(T) ja lineaarne piir pole siis ruutlikust parem.

Kaks katset, mis tulid enne DAggerit

Edasi trenimine on aus kuid ebapraktiline vastus. Treenige eraldi poliitika iga ajassammu jaoks, järjekorras, igaüks olekujaotusele, mis on indutseeritud poliitikate poolt, mis on juba määratud varasemate sammude jaoks, nii et iga poliitika näeb täpselt jaotust, millega ta silmitsi seisab. Lõks on kirjelduses: T poliitikat, treenitud järjestikku, ilma varase peatuseta. Manipuleerimise jaoks episood 30 kaadri sekundis, T on sadades.

SMILe, samast uurimusest, ja SEARN, Daume, Langford ja Marcu tööst struktureeritud ennustamise kohta, võtavad teise tee: üks statsionaarne poliitika, kuid stohhastiline. Iga iteratsioon treenib komponenti ja lisab selle segule, nihutades tõenäosuse massi eksperdi eest. Tulemuseks on segu, milles mõned komponendid on halvemad kui teised - füüsilisel käel, kontroller, mis võib valida halva komponendi liikumise ajal. See on avaldatud motivatsioon statsionaarse soov deterministlik poliitika asemel.

DAgger: üks idee, üks kast

Dataset Aggregation säilitab deterministliku poliitika ja liigutab paranduse andmekogumisse. Iga ring: lahti käivitatav praegune poliitika, salvestage riigid, mida külastab, küsige eksperdi käest, mis oleks õige tegevus olnud igaühes, lisage need paarid andmekogumile, mida teil juba on, treenige ümber liidu. Nimi on algoritm - te aggregeerite, te kunagi ei käitu.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Kolm detaili kannavad rohkem kaalu, kui nad paistab. Sildid on seisundite jaoks, mida külastab segapoliitika, kuid tegevused pärinevad eksperdi käest - poliitika esitab küsimused, ekspert vastused. Ümbertrenimine on kogu agregaadil, mis muudab iga ringi Follow-The-Leader sammuks: ringil n valite parima poliitika tagantjärele iga dossiee üle siiani. See raamistik on see, millele tõestus tuggineb. Ja algoritm lõpetab parimast poliitikaga jadas, mida valitakse valideerimishulgal, sest teoreemid garanteerivad, et mingi poliitika jadas on hea, mitte et viimane on.

Beetagraafik ja miks see pole häälestusknopf

Segapoliitika on beta_i korda ekspert pluss üks miinus beta_i korda õppija. Punkt on praktiline: esimesed õpitud poliitikad on treenitud väga väikese andmemahuga, teevad palju vigu ja kulutaksid muidu rollikuse olekutes, mis muutuvad asjatuks, kui poliitika paraneb.

Teooria seab täpselt ühe tingimuse: beetade jooksev keskmine peab minema nulli. Analüüs töötab beetaga_i piiratud (1 - alfa) astmega i-1, konstandiks alfa sõltumatuks T.

Vahe 2980 ja 3030 vahel skaalal, mis ulatub umbes 4300-ni, on väike, kuid uurimuse seletus sellest on praktilisem märkus sektsioonis. Parameetrita graafiku korral Mario kiiludes sama koha juurde varakult ja tekitas massi peaaegu dubleerivaid andmeid sellest ühest kohast; lasta eksperdil ajam murdosa ajal nii vabastas ta ja laiendas olekute valikut. Ajakava käsitletakse vähem segamissuhtarvust kui sellest, kas teie andmekogumi kogumine paljastab uusi olekuid või sama rike.

Garantii: taandamine kahetsuseta veebis õppimisele

Siin on käik, mis muudab uurimuse selleks, mis see on. Käsitlege iga DAgger ringi näitena võrgus õppimise probleemis, kus kadu ringil i on asendatusviga poliitika olekujaotuse all, mida kasutatakse ringil i. Õppija kinnitab poliitikale enne selle kadumise nägemist ja jada on mittestaatiliselt, sest see sõltub siiani toodetud poliitikatest.

Algoritm on kahetsuseta, kui selle keskmine kadu N ringis läheneb parima ühe poliitika omale tagantjärele. Follow-The-Leader tugevalt kumertel kadudel on selline algoritm, keskmise kahetsuse vähenemisega 1/N järjekord - ja täienel agregaadil treenimine on täpselt Follow-The-Leader. Iga teine kahetsuseta õppija sobituks samuti: analüüs on taandamine, mitte ühe optimaatori omadus.

Üks lemma ühendab lünga segapoliitika vahel, mis kogus andmeid, ja õpitud poliitika vahel, mida juurutatakse: Lemma 4.1 piirab L1 kaugust nende olekujaotuste vahel 2 T beta_i. See on põhjus, miks beetad peavad vähenema - kui ekspert endiselt hoiab märkimisväärset juhtimisasutust, ei ole riigid, mida kogute, riigid, mida teie poliitika toodab. Kombineerige lemma kahetsuse piiriga ja peamine tulemus järgneb: pärast ligikaudu T iteratsiooni omab mõni poliitika jadas asendatusviga oma jaotuse all O(1/T) sees epsilon_N. Sisestage see lineaarse piiri ja maandute Theorem 3.2.

Empiiriline pool on praeguste standardite järgi tagasihoidlik. Super Tux Kartis ei parandanud juhendatud lähtejoon oma keskmist kukkumist ringi kohta, kui rohkem andmeid saabus, jõudis DAgger poliitikale, mis kunagi ei kukkunud rajalt pärast viieteist iteratsiooni, ja SMILe kahekümne järel kukkus endiselt umbes kaks korda ringi kohta. Käekirja etalonmääratkis oli tähemärkide täpsus 82 protsenti ilma struktuurita, 83,6 protsenti juhendatud, 85,5 protsenti DAggeriga. Ükski neist pole manipuleerimise tulemus.

Mida tõestus ei lubade

Teoreem väited on tinglikud ja tingimused on koormusekandvad.

Üks edasine tulemus tsiteeritakse sageli pöördumisena ja see pole. Rajaraman, Yang, Jiao ja Ramachandran uurivad jäljendusõppe minimaaksi piiranguid episoodilistes MDP-des lõpliku olekuruumiga S ja horisondiga H ning tõestavad suboptimaalse alampiiri |S| H ruudu järjekord üle N, mis kehtib isegi siis, kui õppija võib aktiivselt päringuga eksperdist külastatud olekutes. See on halvim määr MDP-de klassis fikseeritud episoodi eelarve korral ja mida see välistab, on ideeda, et interaktsioon parandab minimaaksi määra; DAgger teoreem on erinev väide, seades poliitika piiriga juurutatakse suhtes sellega, mida selle enda poliitika klass saavutada.

Swamy, Choudhury, Bagnell ja Wu klassifitseerisid hiljem neid algoritme eksperdi käitumise hetkedega, mida nad vastavad, ja tutvustasid hetke taastamise mõistet, mis määratleb, kui hästi iga perekond leevendab kumuleeruvat viga. Osa ja Celemin uuringud katavad algoritmilise maastiku ja inimese tagasiside liideste.

Arve: märgistused olekud, mida ekspert kunagi ei tootnud

Kõik ülal eeldab eksperti, keda võib päringuga küsida kõikjal. Simulatsioonis plaanijaga, mis on peaaegu tasuta - Mario katsed kasutasid peaaegu optimaalset plaanijat täielike juurdepääsuga mängule. Inimese ja roboti korral on see domineeriv kulu ja kummaline: inimene peab tootma õige tegevuse konfiguratsioonis, mida nende enda pädevus kunagi ei oleks loonud.

Kelly, Sidrane, Driggs-Campbell ja Kochenderfer esitavad vastuväite otse HG-DAgger uurimuses. Vanilla DAgger nõuab eksperdi varustamist tegevuse siltidega, olles süsteemi täisfunktsionaal all. See vähendab ohutust ja inimese eksperdiga on tõenäoline kogutud siltide kvaliteedi halvenemise, mida nad seostavad tajutava aktuaatori viitega. Silt, mille te tagasi saate, pole silt, mida algoritm eeldas.

Laskey ja kolleegid rünnavad probleemi teisest küljest DARTiga ja nende raamistik on otsekohe: poliitika järgsed tehnikad on inimese järelevalvijatele tedinud, lisavad arvutuslikku koormust ja võivad külastada ohtlikke olekuid treenimise ajal. Nende alternatiiv süstib kalibeeritud müra järelevalvija enda demonstratsioonidesse, nii et taastamine saab demonstreeritud robotiga kunagi käitamata mitteslampet poliitikat. MuJoCo humanoidil teatavad nad DARTist järelevalvija kumulatiivse tasuna vähenemisega 5 protsendi treenimise ajal, samal ajal DAgger käitab poliitikat 80 protsendiga väiksema kumulatiivse auhinnaga kui järelevalvija; haaramine segaminis Toyota HSRiga, keskmiselt 62 protsendine tõus käitumiskloonimise üle.

Zhang ja Cho SafeDAgger käsitleb päringuid referentsi poliitikal kui nappide ressursse: eraldi turvalisuse poliitika ennustab, ilma päringuta, kas esmane poliitika hakkab referentsist kalduma läve üle, ja ainult need olekud ülekanduvad. Kõik kolm reageerivad samale faktile - DAgger analüüs ei nõua midagi eksperdi siltidele ja tegelikkus maksab palju.

Mida see tähendab SO-100 jaoks teie laual

Tõlkige horisont oma ühikutesse. Kahekümne sekundi episood 30 kaadri sekundis on 600 otsuse sammu ja T iga piiri ülal on see number. T = 600 korral on erinevus termini vahel, mis skaleerib T ja ühega, mis skaleerib T ruudu, erinevus poliitika vahel, mis taastub halva lähendamise järelt ja ühega, mis ei taastuks.

See on osa sellest, miks tegevuse komplektimine aitab: kui poliitika väljastab tegevuste lühikese jada iga järelduse sammu kohta, langeb otsuse punktide arv, samuti võimaluste arv kumuleerumiseks. Zhao, Kumar, Levine ja Finn nimetavad kumuleeruvat viga motivatsiooniks Action Chunking Transformerstega ja teatavad 80 kuni 90 protsendilisest edust kuues raskes tegelikkaelühistlikus ülesandes, odavate bimanualse riistvara korral, kümne minuti vääriliste demonstratsioonide põhjal. Komplektimine ei eemalda kovariaatset nihet - olekud on endiselt poliitika omad - kuid see lühendab tõhusat horisonti. Näe tegevuse komplektimine ja SO-100 jäljendusõppe juhend.

Teine tõlge on edendamise mõõdik. Te ei saa epsiloni mõõta poliitika enda jaotuse all otseselt - see vajab maapinna-tõe eksperdi tegevusi iga külastatud oleku jaoks, asi, millest te püüate vältida. Mida inimese kontrollitud silmus teile annab, on sekkumise määr: kaadrite osa jooksus, mille jooksul inimene oli üle võtnud. See on prok ja ta liigub põhjustel, mis pole seotud poliitikaga - kannatlik operaator sekkub vähem. Järjepidevalt kasutatud on see üks number, mis ütleb, kas ring oli pärastlõunat väärt.

Kolmas tõlge on andmete kvaliteedinäide, mida analüüs ei kata. Mandlekar ja kolleegid uurisid kuut ühenduseta õppimise algoritmi viiel simuleeritud ja kolmel tegeliku maailma multi-etapi manipulatsiooni ülesandel ning teatavad algoritmi disaini valikute tundlikkusest, demonstratsioonide kvaliteedi sõltuvusest ja seiskamise kriteeriumiga põhjustatud muutlikkusest. Belkhale, Cui ja Sadigh väidavad, et andmekogumi kvaliteeti tuleb formaliseerida tegevuse lahknemise ja ülemineku mitmekesisuse kaudu ning märgivad, et oleku mitmekesisus ei ole alati kasulik. DAgger ring lisab olekud, mida keegi tahtlikult ei valinud: mõned on taastamise andmed, mida vajate, mõned on robot lehvimas teie käppida takeover juhtimise järgi.

Mehaaniliselt on ring kuus sammu: käita järeldus salvestamisega, võta üle, kui poliitika käitub valesti, vaata jooksu üle ja archiveeri iga episood, sünkrooni parandused, koosta segamis andmekogum originaalidest pluss parandustest selgelt valitud episoodi allikaga ja jätka treeningut eelnevast kontrollpunkt mitte baasmudelit. Ay-robotsil on need sammud nupitena, mis eemaldab paremvääringu, kuid mitte otsuse. Kaks hoiatust: jätkamine kontrollpunktist lähtuvalt lähtestab kaalud ja ei ole optimaatorite jätkamine, ja juhtija käe joondamise liigutus on riistvara peal endiselt kerge testimine. Näe trenimine ja andmekogumid.

Perekonna puu ühes tabelis

Sageli esitatud küsimused

Kuhu siit minna

Kui te pole poliitika veel treenind, see teooria on enneaegne: salvestage andmekogum esimesena, alustades oma esimese poliitika treenimine ja töölaua klient. Kui teete kaal veel sada puhtast demonstratsioonist vastu alustada parandustest: puhast demonstratsioonid ei pea jaotuse probleemi. Mehaanika jaoks jätkake inimese kontrollitud variant ja siis SO-100 jalutuskäik.