DAgger Magyarázata: Miért csúszik el a Behavior Cloning és Mit Bizonyít Ténylegesen az Adatsor Aggregáció

Van egy konkrét kudarc, amellyel mindenki, aki manipulációs háziállamot tanít, előbb vagy utóbb találkozik. A háziállat a kocka felé nyúl, két centiméterre kerül, szándékosan megáll, oldalra csúszik, majd valami olyasmit csinál, amely nem kapcsolódik a feladathoz. A validálási veszteség rendben volt. Az nyílt hurkú lejátszás a tartott episódok ellen rendben volt. Mégis az kar olyan helyzetbe kerül, amely sehol sem jelenik meg a tanulási adatokban, és innen nincs értelmes válasza.

Ennek a kudarc van neve és megállapított elmélete. Ez a négy cikk közül az első a DAgger-ról, és az érvet magát tárgyalja: miért termel egy háziállamot a demonstrátor saját pályáira illesztve olyan hibát, amely az epizód hosszának négyzetével nőhet, mit változtat az adatsor aggregáció, és mit nem ígér a no-regret bizonyítás. A valódi hardveren futó hurok a DAgger hurok futtatása SO-100 karon tárgyalja, a humán-gated variáns a HG-DAgger és humán-gated beavatkozások címen, és a mérési kérdés a DAgger hurok mérése címen.

Az a feltételezés, amelyet a behavior cloning csendben tesz

Az adatsor egy megfigyelt-akciós párok halmaza. A behavior cloning egy függvényt illeszked ehhez a halmazhoz szokásos felügyelt tanulással, és megáll. Ez a terület legrégebbi ötlete. Pomerleau ALVINN-je, 1988-ban, egy háromrétegű backpropagation hálózat volt, amely kamerából és lézeres távolságmérőből származó képeket vett fel, és azt az irányt adta, amelybe a jármű utazni kellene; szimulált út képeken tanítottak és valódi utakon követtek néhány terepen. A recept nem sok változott; a hálózatok igen.

Az kihagyott, hogy hol származtak ezek a párok. Minden egy pályán feküszik, amelyet a demonstrátor termelt. Az implementált háziállat a saját pályáját termeli. Az a pillanat, amikor eltér, olyan állapotokra kérdezik meg, amelyek nem voltak a tanulási eloszlásban, és a válasza még tovább viszi. Ross, Gordon és Bagnell a DAgger cikket pontosan ezzel nyitják meg: az egymást követő predikció sérti az i.i.d. feltételezést a statisztikai tanulás alatt, mivel a tanuló saját előrejelzésai határozzák meg az inputokat, amelyeket később lát.

A legvilágosabb illusztráció abban a cikkben nem robot. A Super Mario Bros.-hoz egy közel-optimális terv klónozása olyan háziállamot termelt, amely ismételten egy akadály ellen ragadt meg ahelyett, hogy át volna ugrott. Az ok a teljes érv egy mondatban: a szakértő mindig kényelmes távolságból ugrott, így az adatsor nem tartalmazott olyan állapotot, amelyben Mario egy akadály ellen nyomódott, ezért nem volt címke arra, hogy mit csináljon, ha már volt.

Cseréljen Mario-t egy SO-100 kar-ra, és a szerkezet azonos. A bemutatások tiszta megközelítést és tiszta fogást mutatnak, nem a fogó két centiméterre bezárva - így a háziállamnak fogalma sincs, mit kell csinálni innen, és amit sejtésez még tovább viszi. A covariate shift az adatgyűjtési eljárás tulajdonsága, nem a hálózati architektúráé.

Ahonnan a négyzetes tag származik

A 2010 AISTATS cikkből Ross és Bagnell által, Efficient Reductions for Imitation Learning, az összeadódás pontosítva van. Legyen T a feladat horizontja, a feladat költsége az egységnyi intervallumban korlátolt, és legyen epsilon a helyettesítő veszteség mérve az szakértő állapot-eloszlása alatt - a szám, amit a validálási készlet jelez. Akkor az a háziállamnak az extra költsége, amelyet T lépésre futtat, a szakértőhöz képest, T négyzete szorozva epsilonnal korlátolt. Ross, Gordon és Bagnell ezt a DAgger cikkben Theorem 2.1-ként ismét kimondja, és hozzáadja a mondatot, amely számít: a korlát szoros. Problémák vannak, ahol egy háziállamnak epsilon vesztesége a szakértő eloszlása alatt valóban extra költséget termel, amely kvadratikusan nő T-vel.

A szoros nem jelenti a tipikusat. A négyzetes tag egy legrosszabb eset egy problémaosztályt, nem egy előrejelzés az pick-and-place feladatodról. Amit megállapít, hogy több szakértő bemutató nem távolíthatja el a problémát: csak az epsilon becslésévé élesíti meg egy olyan eloszláson, amelyen a háziállamot nem teszteli.

A kijárati útvonal ugyanabban a cikkben van, Theorem 2.2 ismét kimondva. Ha egy háziállamnak epsilon vesztesége van az önmaga állapot-eloszlása alatt, és egy rossz akció legfeljebb u költségbe kerül a szakértő szerint, az extra költség u szorozva T-vel szorozva epsilonnal korlátolt - lineáris a horizontban. Az u konstans az érdekes mennyiség: legfeljebb 1 a 0-1 megsértéshez a szakértővel szemben, és O(1) amikor a szakértő néhány lépés alatt helyreáll. A legrosszabb esetben O(T), és a lineáris korlát akkor nem jobb a négyzetes korlátnál.

A DAgger előtti két kísérlet

Az előre tanítás az őszinte de impraktikus válasz. Tanítson egy külön háziállamot minden időlépéshez, sorrendben, mindegyik az előző lépésekhez már rögzített háziállamok által kiváltott állapot-eloszláson, így minden háziállam pontosan azt az eloszlást látja, amellyel szembesülni fog. A fogás a leírásban van: T háziállam, egymás után tanítva, nincs korai leállás. Egy manipulációs epizódnál 30 képkocka másodpercenként, T százasok között van.

A SMILe, ugyanabból a cikkből, és a SEARN, Daume, Langford és Marcu strukturált predikciós munkájából, az ellenkező útvonalat veszik: egy stacionárius háziállam, de sztochasztikus. Minden iteráció egy összetevőt tanít és hozzáadja egy keverékhez, az eloszlási tömeget a szakértőtől elvonva. Az eredmény egy keverék, amelyben néhány összetevő rosszabb, mint mások - fizikai karokon egy szabályozó, amely rossz összetevőt mintavételezhet a mozgás közepén. Ez az az említett motiváció, amely ahelyett egy stacionárius determinisztikus háziállamot akar.

DAgger: egy ötlet, egy doboz

Az adatsor aggregáció megtartja a determinisztikus háziállamot és az útravaló az adatgyűjtésbe helyezi. Minden forduló: az aktuális háziállamot felteszed, rögzítsd az állapotokat, amelyeket meglátogat, kérd meg a szakértőtől, mi lenne a helyes akció mindegyikben, add hozzá ezeket a párokat az adatsorhoz, amelyednek már van, tanuítsd az egyesítést. A név az algoritmus - aggregálsz, sosem eldobsz.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Három részlet többet nyom, mint ahogy kimutatódik. A címkék a vegyes háziállam által meglátogatott állapotok számára, de az akciók a szakértőtől - a háziállam a kérdéseket adja, a szakértő a válaszokat. Az újra tanítás az összes aggregáción van, amely az egyes fordulókat Follow-The-Leader lépésévé teszi: az n fordulóban azt a háziállamot választod, amely a legjobb az összes eddig lezajlott pályán. Ez az a kerétezés, amelyen a bizonyítás függ. Az algoritmus az egyes háziállamok közül a legjobbakat választva végződik egy validálási halmazon, mert a tételek garantálják, hogy valamilyen háziállam a sorozatban jó, nem hogy az utolsó.

A beta ütemezés, és miért nem hangolási gomb

A vegyes háziállam beta_i szorozva a szakértővel plusz egy mínusz beta_i szorozva a tanulóval. A pont gyakorlati: az első néhány tanult háziállam nagyon kevés adaton tanítanak, sok hibát csinálnak, és másképpen a felteszedést olyan állapotban fordítanák, amely irrelevánssá válik, amint a háziállat javul.

Az elmélet pontosan egy feltételt ró: a betas futó átlagának nulláig kell mennie. Az elemzés beta_i-ket (1 - alfa) hatványára korlátozza i-1, egy T-tól független konstans alfára.

A 2980 és 3030 közötti rés egy körülbelül 4300-ig futó skálán kicsi, de a papír ennek magyarázata a szakaszban a leghasznosabb gyakorlati megjegyzés. A paraméter-mentes ütemezéssel Mario egy közös helyen ragadt meg korán, és egy tömeg közeli-duplikátumú adatot termelt abból az egy helyről; a szakértő időről időre vezetést adva mind kiszabadította, mind szélesítette az állapotok sokféleségét. Az ütemezés kevésbé a keverési arányról, mint arról, hogy az adatgyűjtés új állapotokat termel vagy ugyanaz a kudarc.

A garancia: egy redukció a no-regret online tanulásra

Itt van az a lépés, amely a papírt azzá teszi. Kezelje az egyes DAgger fordulókat egy online tanulási probléma egy példájaként, ahol az i fordulóban a veszteség az i fordulóban használt háziállam állapot-eloszlása alatt mért helyettesítő veszteség. A tanuló egy háziállamot egy előtt kötelezik, amielőtt látták volna azt a veszteséget, és a sorozat nem-stacionárius, mert az eddigi termelt háziállamaktól függ.

Egy algoritmus no-regret, ha az N fordulóban átlagos vesztesége megközelíti az utolsó legjobb egyetlen háziállamét. A Follow-The-Leader erősen konvex veszteségeken ilyen algoritmus, az átlagos sajnálat zsugorítva 1/N körül - és az összes aggregáción való újra tanítás pontosan a Follow-The-Leader. Bármely más no-regret tanuló képez szolgálni: az elemzés egy redukció, nem egy optimalizáló tulajdonsága.

Egy lemma overbrídzseli a szakadékot a vegyes háziállam között, amely az adatokat gyűjtötte, és a tanult háziállam között, amely telepítésre kerül: Lemma 4.1 az L1 távolság korlátára az állapot-eloszlásuk között 2 T beta_i-vel. Ez az oka annak, hogy a betasnek csökkenniük kell - miközben a szakértő még jelentős irányítási hozzáférésssel bír, az állapotok, amelyeket gyűjtesz, nem azok az állapotok, amelyeket a háziállamod termelt. Egyesítsd a lemmát a sajnálat korláttal és a fő eredmény következik: körülbelül T iteráció után, valamilyen háziállam a sorozatban helyettesítő veszteséget mutat saját eloszlása alatt O(1/T) epsilon_N-en belül. Táplálj ezt a lineáris korlátba és Theorem 3.2-re száll le.

Az empirikus oldal szerény a jelenlegi standardok szerint. A Super Tux Kart-ban a felügyelt alapmegoldás nem javította az átlagos bukásait lapp-onként, mivel több adat érkezett, DAgger olyan háziállamot ért el, amely soha nem esett le az útról tizenöt iteráció után, és SMILe után húsz még körülbelül kétszer bukott lapp-onként. A kézírás benchmarkon a karakterpontosság 82 százalék strukturálás nélkül, 83,6 százalék felügyelt, 85,5 százalék DAgger-rel. Ezek közül egyik sem manipulációs eredmény.

Mit nem ígér a bizonyítás

A tétel kijelentések feltételesek, és a feltételek terhelésesek.

Egy további eredményt gyakran idéznek felülbírálatként, és nem is. Rajaraman, Yang, Jiao és Ramachandran az imitáció tanulás minimax korlátait tanulmányozzák epizodikus MDP-kben véges állapotterület S-sel és horizontális H-vel, és bizonyítanak egy szuboptimalitási alsó korlátot |S| H négyzete osztva N-nel, amely még akkor is áll, amikor a tanuló proaktívan kérdezhet a szakértőt meglátogatott állapotokban. Ez egy legrosszabb eset az MDP-k egy osztálya felett egy rögzített epizód költségvetésben, és amit ez kizár, az az ötlet, hogy az interakció javítja a minimax rátát; a DAgger tétel egy másik kijelentés, az implementált háziállamot kötve ahhoz képest, amit saját háziállam osztálya elérhet.

Swamy, Choudhury, Bagnell és Wu később ezeket az algoritmusokat a szakértő viselkedésének mely momentumait illesztik, és bevezetett egy momentum helyreállíthatósági fogalmat, amely azt jeleníti meg, hogy minden család milyen jól csökkenti az összeadódó hibát. Az Osa és Celemin szervezete az algoritmus tájat és a humán-feedback interfészeket jelöli.

A számlát: olyan állapotok címkézése, amelyeket a szakértő soha nem termelt

Minden fent feltételez egy szakértőt, aki bárhol kérdezhetők meg. Szimulációban egy szinte ingyenes terv - a Mario kísérletek egy közel-optimális tervet használtak teljes hozzáféréssel a játék állapotához. Egy emberrel roboton ez a domináns költség, és egy különös: az embernek egy helyes akciót kell termesztenie olyan konfigurációban, amelyet a saját képessége soha nem teremtene.

Kelly, Sidrane, Driggs-Campbell és Kochenderfer egyenesen állítják az ellenvetést a HG-DAgger cikkben. A vanília DAgger megköveteli a szakértőtől, hogy akció címkéket adjon, miközben nem teljes irányítás alatt áll a rendszeren. Ez csökkenti a biztonságot, és emberi szakértőkkel valószínű, hogy rontja a gyűjtött címkék minőségét, amelyeket az érzékelt működtető késésre vezetnek vissza. Az a címke, amit visszakapsz, nem az az címke, amelyet az algoritmus feltételezett.

Laskey és munkatársai a másik oldalról támadják a problémát a DART-tal, és keretezésük direkt: az on-policy technikák fárasztóak a humán felügyelőknek, számítási terhet adnak, és veszélyes állapotokat látogathatnak meg a képzés során. Az alternatívájuk kalibrált zajt injektál a felügyelő saját bemutatóiba, így a helyreállítás bemutatásra kerül anélkül, hogy a robot soha megbízatlan háziállamot futtatna. A MuJoCo humanoidon DART a felügyelő kumulatív jutalomcsökkentéseit 5 százalékban jelenti a képzésben, miközben DAgger olyan háziállamokat futtat, amelyeknek a kumulatív jutalma 80 százalékkal kevesebb, mint a felügyelőé; a Toyota HSR-rel zavaros greifésben az átlagos 62 százalékos javulás a behavior cloninghoz képest.

Zhang és Cho SafeDAgger-je a referencia-háziállamra való lekérdezéseket kezeli a szűkös erőforrásként: egy külön biztonsági háziállam előrejelzi, anélkül hogy lekérdezne, hogy az elsődleges háziállam készül-e a referenciatól az azon túl eltérni, és csak ezek az állapotok kerülnek át. Mindhárom ugyanarra az tényre reagál - a DAgger elemzés nem számít az szakértő címkéknek, a valóság pedig nagyon sokat.

Mit jelent ez az SO-100-hoz az asztalon

Fordítsa a horizontot saját egységeire. Egy húsz másodperces epizód 30 képkocka másodpercenként 600 döntési lépés, T minden korlátban az a szám. T = 600-nál, T-vel skálázódó tag és T-vel négyzetre skálázódó közötti különbség a különbség egy háziállam között, amely helyreáll a rossz megközelítésből, és egy amely nem.

Ez az oka, hogy az akció-csempézés segít: amikor egy háziállam rövid akciósorozatot bocsát ki inferencia lépésenként, a döntési pontok száma csökken, így az összeadódás esélye is. Zhao, Kumar, Levine és Finn az akció csempézést a transzformátorokkal nevezik az összeadódó hiba motivációjaként, és 80-90 százalékos sikert jelentenek hat nehéz valódi feladatban, alacsony költségű kétkarú hardveren, tíz perc értékű bemutató alapján. A csempézés nem távolítja el a covariate shiftet - az állapotok még mindig a háziállamé - de rövidíti az effektív horizontot. Lásd akció csempézés és a SO-100 imitáció tanulás útmutató.

A második fordítás a haladásmetrika. Nem mérheted az epsilont a háziállam saját eloszlása alatt közvetlenül - ez szükséges talaj-igazság szakértő akciók minden meglátogatott állapotban, az amit megpróbálsz kerülni termeszteni. Mit ad helyette a humán-gated hurok az intervenciós arány: az a képkockák frakciója egy futásban, amely alatt a humán átvette volna az irányítást. Ez egy proxy, és olyan okok miatt mozog, amelyek nem kapcsolódnak a háziállamhoz - a türelmes operátor kevesebbet avatkozik be. Konzisztensen használva, az az egy szám, amely azt mondja, hogy érte-e a fordulót a délután.

Az harmadik fordítás egy adatminőség figyelmeztetés, amelyet az elemzés nem fed le. Mandlekar és munkatársai hat offline tanulási algoritmust tanulmányoztak öt szimulált és három valódi világos többszakaszos manipulációs feladaton, és az algoritmus tervezési választások érzékenységét, a bemutatók minőségétől való függést, és a leállítási kritériumok okozta variabilitást jelentik. Belkhale, Cui és Sadigh azt érvelnek, hogy az adatsor minőségét az akció divergencia és az átmenet sokfélesége révén kellene formalizálni, és megjegylik, hogy az állapot sokfélesége nem mindig hasznos. Egy DAgger fordulóa olyan állapotokat ad, amelyeket senki nem választott tudatosan: néhány az helyreállítási adat, amelyire szükséged van, néhány a robot vergődése, miközben az átvételi vezérlőre tapogatódsz.

Mechanikusan egy fordulónak hat lépése van: inferenciát futtass rögzítéssel, vedd át a háziállamot, amikor rosszul viselkedik, tekintsd át a futást és jegyezd fel az epizódokat, szinkronizáld a korrekciók, helyezz össze egy vegyes adatsort eredeti és korrekciók közül kifejezett epizódválasztással forrásonként, és folytasd az edzést az előző ellenőrzőpontból helyett az alap modellből. Az ay-robots-on ezek a lépések gombokként vannak jelen, amely eltávolítja a vezetékeket, de nem az ítélkezést. Két figyelmeztetés: az ellenőrzőpontból folytatás az súlyokat inicializálja, nem az optimalizáló folytatása, és a vezető kar igazítása mozgása még kívül tesztelve hardveren. Lásd képzés és adatsorok.

A családfa, egy táblázatban

Gyakran feltett kérdések

Hova menj innen

Ha még nem tanított háziállamot, ez az elmélet korai: először rögzíts egy adatsort, kezdve az első háziállamot tanítani és az asztali klienst használatával. Ha egy másik száz tiszta bemutató között válogatsz az indítási korrekciók indítása ellen: a tiszta bemutatók nem rögzítik az eloszlás problémáját. A mechanikához folytasd a humán-gated változattal majd az SO-100 útmutató.