HG-DAgger ir užtvertos variacijos: kas nusprendžia, kada perimti robotinio modelio valdymą

Klonuota politika nutrūksta ten, kur jos mokymo duomenys baigėsi. Taisymas yra nuolat rinkti duomenis pagal pačios politikos būsenos pasiskirstymą vietoj demonstratoriaus, tai ir daro DAgger ir ką įvadas į duomenų agregavimą nusako iš pradžios. Tačiau palieka atvirą nepatogią originalo algoritmo dalį: kai besimokantis važiuoja, eksperto nuo laukiama pasakyti, ką jie būtų padarę, kiekvienai būsenai, turėdami kontrolę neįvykdžius.

Simuliatoriuje su nustatytu eksperto tai nemokama. Ant stalo su realia ranka tai nei nemokama, nei saugu. HG-DAgger autoriai tiksliai išdėsto prieštaravimą: tokie atpažinimo schemos "reikalau eksperto pateikti veiksmų žymas be pilnos sistemos kontrolės", kuri "gali sumažinti saugumą ir, naudojant žmones kaip ekspertus, tikriausiai pabloginti surinktų žymų kokybę dėl suvokto aktuatorių atsilikimo" (Kelly et al., 2019). Dvi nesėkmės glūdi toje frazoje: politika toliau važiuoja į būsenas, į kurias niekas to nori, ir žymos, nupirktos ta rizika, yra blogesnės nei tos, kurias žmogus sukuria turėdamas valdiklį. Kiekvienas žemiau esantis variantas atsako į tą pačią klausimą — uždėti vartus šioje valdikliui ir leisti kam nors nuspręsti, kada jie atsidaro. Jie skiriasi tuo, kas yra tas "kas nors".

Žmogaus užtverta ir robotinio atžvilgio: skirtis, kuri svarbi

Interaktyvus imitacinės mokymasis turi savo apžvalgą; Celemin ir kolegai katalogizuoja jį pagal atsiliepiųmo tipą, sąsają, mokymosi modelį, vartotojo patirtį, taikymą ir taškus. Skirtumus, kuris nulemia jūsų inžineriją, yra paprasčiau nei bet kuris iš šių ašių, ir naujas darbas jį tiesiogiai nusako: metodas yra žmogaus užtverta kai vadovas nusprendžia, kada interveninti, ir robotinio atžvilgio kai agentas nusprendžia, kada prašyti pagalbos (Cai et al., 2025). Viskas kita yra mašinerija tarnaudama vienam iš tų dviejų pasirinkimų. Prekyba matoma nuo pat pradžios: žmogaus vartai reikalau nuolatinės dėmesio, ir robotinio atžvilgio vartai žada grąžinti tą dėmesį — tačiau tik jeigu signalas, kurį jie valdžia, yra patikimas, ir tai signalas kurti yra savo pačio tyrinėjimo problema.

SafeDAgger: klasifikatorius, kuris nuspėja savo nukrypimą

Zhang ir Cho SafeDAgger (2016) yra ankščiausia iš šių vartu. Nuorodos politikos užklausimas yra brangi dalis, todėl antras, mažas tinklas — saugos politika — nuspėja, ar klausimas iš viso verto. Jis "grąžina binarią žymą nurodantį, ar pagrindinė politika tikriausiai nukryps nuo nuorodos politikos be klausimo". Žyma yra apibrėžta prieš kvadratinę L2 nukrypimą tarp šių dviejų politikų veiksmų su slenkstim tau, ir klasifikatorius yra suderinti su binariu kryžminiu entropija. Būtimo metu jis nusprendžia kiekvienai būsenai ar besimokantis toliau važiuoja ar nuoroda perimtu valdymą. Santrauka praneša apie mažiau nuorodos užklausimų automobilių lenktynių simuliatoriuje plius konvergencijos pagreitį, kurį autoriai sieja su automatizuotas mokymo efektu, neduodant jokio skaičiaus nei vienam.

Nelaimė glūdi apibrėžime, ne rezultatuose. Šio klasifikatoriaus mokymas reikalau nuorodos politikos veiksmą kiekvienai būsenai naudotai jam suderinti, kas prisiima, jog nuoroda yra kita programa. Jei jūsų nuoroda yra žmogus su vadovaujančia ranka, ta žymų rinkinys nėra pigus ir metodas praranda savybę, kuriai buvo skirtas.

EnsembleDAgger: abejonė ir neatitikimas, abu

Menda, Driggs-Campbell ir Kochenderfer (2019) traktuoja vartus kaip tikimybinį klausimą. EnsembleDAgger "aproksimavimas Gauso proceso naudojant neuroninių tinklų ansambli" ir skaito ansamblio dispersiją kaip pasitikėjimo proxy: aukšta dispersija reiškia sritį, priešingą mokymo duomenims, kuri — darant prielaidą, kad eksperta vengia nesėkmės būsenų — koreliuoja su artumumu gedimo. Taisyklė yra jungta. Besimokantis gali veikti tik, kai L2 atstumas tarp jo vidutinio veiksmą ir eksperto veiksmų lieka žemiau vieno slenksčio (neatitikimas) ir jo numatyto veiksmą dispersija lieka žemiau antrojo (abejonė). Jeigu kuris nors nepavyksta, eksperta perimtu valdymą. Tikslas yra maksimizuoti besimokančio dalį veiksmų, apribojus gedimo tikimybę; straipsnis praneša apie padidėjusį saugumą ir mokymąsi prieš kitus DAgger variantus ant apverstojo švytuoklio ir MuJoCo HalfCheetah.

LazyDAgger: sulaikyti šaltę nuo čiulbėjimo

Hoque ir kolegos (2021) atakavimo savikainą, kurią ankstesni straipsniai nematuojo: pačią šaltę. Kiekviena intervencija "nutraukia kitą darbą, kurį žmogus daro, atneša latencija su kiekvienu konteksto persigrupavimo tarp vadovo ir autonominio valdymo, ir reikalau laiko atlikti". Vartai, kurie atsidaro ir užsidaro dešimt kartų per minutę, yra blogesni nei tie, atsidary kartą dešimt sekundžių, su identišku autonominiu dalimi. LazyDAgger plečia SafeDAgger su asimetriniais slenkščiais — sunkiau įeiti į vadovo valdymą nei likti — todėl sistema nesisvyruoja prie ribos. Simuliatoriuje tai "gali sumažinti konteksto persigrupavimus vidutiniškai 60% prieš SafeDAgger 3 nuolatinio valdymo užduotims, išlaikant moderniausios politikos veikimo efektyvumą"; audinio manipuliacijoje su ABB YuMi tai "sumažina konteksto persigrupavimus 60% tuo tarpu pasiekdama 60% aukštesnį SeI laipsnį nei SafeDAgger vykdymo metu".

ThriftyDAgger: novelumas arba rizika, biudžeto ribose

ThriftyDAgger (Hoque et al., CoRL 2021) pradeda nuo vadovo biudžeto, o ne politiką. Jis "naudoja išmoktą persigrupavimo politiką kad paprašytų intervencijų tik būsenose, kurios yra pakankamai (1) naujos, kur robotinio politika nėra nuorodos elgesio imituoti, arba (2) rizikingas, kur robotinis turi žemą pasitikėjimą užduoties baigiu", su nauja metrika tam rizikai įvertinti. Biudžetas yra įvestis, ne išvestis: jūs nurodote, kiek žmonės laiko jūs išleisit. Taikomas vykdymo metu metodas "pasiekia 100% sėkmės laipsnį tiek simuliatoriuje, tiek fiziniu užduotims", ir vartotojo studija su dešimt dalyvių valdant trijų robotų flotą tą pačią koncentracijos užduotį praneša, kad jis "padidina žmonės ir robotinio veikimo 58% ir 80% atitinkamai prieš sekantį geriausia algoritmą tuo tarpu sumažindamas vadovo naštą". Flotės nustatymas yra natūralus namas šiam darbui; Fleet-DAgger vėliau formalizuoja interaktyvų flotės mokymąsi su keliais robotais ir vadovais, siūlydamas Žmogaus Pastangų Grąžą kaip kiekį optimizuoti.

HG-DAgger: žmogus laiko vartus

Kelly et al. (2019) eina kita kryptimi. Nėra jokios persigrupavimo politikos. Besimokantis yra išleistas "kol eksperta stebi, kad pradedantysis yra įėjęs į nesaigėje būsenos erdvės regioną", toje vietoje eksperta perimtu valdymą ir veda sistemą atgal. Agregavimo taisyklė yra griežta dalis: "Eksperto veiksmą žymos yra tik surinktos ir pridėtos į duomenų rinkinį šių atsigavimo trajektorijų metu, kurie žmogaus eksperta yra turėję nepergrupasą valdymo kontrolę." Nieko nėra žymima, kai žmogus yra stebėtojas.

Tai nesustoja ties šalte. HG-DAgger taip pat "mokosi saugumo slenksčio modelio-neapibrėžčio pagrindu rizikos metrikai, kuri gali būti naudojama numatyti pilnai mokyto pradedančiojo veikimo skirtingose būsenos erdvės regionuose": jis rašo, kaip netikras buvo besimokantis yje akimirkomis, kai žmogus intervencija ir vidurka paskutinį ketvirtį tų įrašų, kur besimokantis daugiausia panašu į savo galutinę formą. Tai nėra vartai, kuriuos robotas veiktų, bet diagnostika pasakanti jums, kur baigę politika tikėtinai išsilai. Vertinimas apima simuliuotą ir realiojo pasaulio važiavimo užduotį ir praneša apie geresnę veikimo daugiau nei DAgger ir imitacinė klonavanje.

Viena susijusi linija keičia, kas lieka žyma. Spencer ir kolegos Eksperto Intervencijos Mokymasis laiko, kad "bet koks eksperto atsiliepimas, ar intervencija, ar ne intervencija, suteikia informaciją apie dabar esamos būsenos kokybę, veiksmą optimalumą, arba abu", formalizuota kaip apribojimas besimokančio vertės funkcijai ir išspręsta be pasigailemimo internetu mokymu. Pagal tą skaitymo, ruožai, kurie žmogus stebėjo ir nieko nedarė, yra silpni teigiami šaltiniai, o ne tušti. EIL mokosi susidūrimo vengimo iš apie vieną minutę eksperto kontrolės.

Variantai šalia

Kas kiekvienos užtvėrio apsigrupuoja, ir ką ji kainuoja

Skaitykite žemyn stulpelį "poreikis" ir modelis išsilieja: kiekvienas robotinio atžvilgio signalas ten yra proxy, kurį reikia pagaminti, ir kiekvienas proxy turi savo sąskaitą.

• Neatitikimo signalai (SafeDAgger, LazyDAgger, pusė EnsembleDAgger taisyklės) reikalau nuorodos politika. Arba jūs turite nustatytą ekspertą, tuo atveju dominantis problema jau yra išspręsti, arba žmogus nuolat kuriu veiksmus fone, kad atstumas gali būti apskaičiuoti.
• Abejones signalai reikalau sukalibruota episteminė neapibrėžčią. Mažų valdymo tinklų ansamblis aproksimuoja jį; neuroninių tinklų ansamblis trijų milijardų parametrų vizijos kalbos veiksmą modeliu yra atminties ir latencijos problema pirmiausia.
• Novelumo ir rizikos signalai reikalau išmokytą užduoties baigimo įvertintuvą, suderintą ant pakankamai sėkmingų ir nesėkmingų rolloutų. Ant užduoties jūs jau atliekat darbą, tas duomenys neegzistuoja pirmame raunde.
• Žmogaus vartai reikalau dėmesio ir nieko kito — vienintelės žmogaus signalas turimas dieną pirma, ant bet kurio politikos architektūros, be papildomų modeliu treniruoti.
• Jokia robotinio atžvilgio vartai pašalina žmogų iš kambario. Jie sumažina, kaip dažnai žmogus turi veikti, ne ar jis turi būti.

Yra tylesnis skirtumas kas vartai sukuria. Robotinio atžvilgio vartai paleidus vidurlaužį tarpukely prietaiso rankai žmogui su judančia ranka savaitėje. Žmogaus vartai leido operatoriui pasirinkti akimirkę — po pasiekimo, prieš graipimą, ne pusiau per šungą. Atsigavimo segmentai iš dviejų nėra vienodai švarus, ir tie segmentai yra visa raundo išeiga.

Kodėl žmogaus užtverta forma laimi realioje aparatūroje

Tai yra inžinerijos argumentas, ne taškų rezultatas — jokiam straipsniui, kurie mes radome, nėra visos penkios vartus tame pačiame žaliūbje su ta pačia politikos klase. Jis remiasi keturiais punktais.

Pirma, vadovas jau yra čia. Niktai nepaliks SO-100 rankos bėgant nerimdama šalia objektų, kuriuos jis gali nugrėsti. Nuo kurio nors žiūrijo, ribalinė valdymo suteikimo jiems saviygalinės šaltės yra arti nulio; kurioje sukalibruota rizikos įvertintuvą yra projektas.

Antra, neapibrėžtimi, kurią galite faktiškai matuoti šiandieninėje politikoje, dažnai yra neteisinga kiekis. Difuzija arba tėkmės atitikimo galva suteikia dispersiją tarp atrinktų veiksmą gabalų, ir ta dispersija atsispindi multimodalumą, kurią galva buvo mokytas atstatyti, ne episteminio neapibrėžčią apie būseną. EnsembleDAgger abejones terminas naudoja ansambli tiksliai užfiksuoti pastarąjį. Šie dviejų atrodytys kaip tas pačias skaičius ir nėra; jie veiksmą griepimuų ir tėkmės atitikimas įrašai apima, kaip šios galvos ištieka veiksmus pradžioje.

Trečia, trūkumai, kurie svarbus manipuliacijoje, dažnai yra semantiniai, o ne statistiškai neįprasti. Politika uždaro gripalinį dviem centimetrais anksti, arba pasiekiamas pasitikli šiam klaidingai iš dviejų identiškų kubelių, nėra aukštos dispersijos būsenos — jis pasitikli ir klaidingas. Jokia dispersijos riba tai pagauna; žmogus žiūrintis pagauta jį tiesog.

Ketvirta, žymų kokybė — originale HG-DAgger taškas, ir tas, kuris yra dažniausiai praleidžiamas. Žymos surinktos, kai žmogus turi nepergrupasą valdymą, nukonkuruoja žymas papasakotas per judančią sistemą. Jei tikslas yra korekcijos duomenys vertindami surinkti, pareiga šalto laiko židiniams lies nuo automatizuoto vartų.

Vartai yra pusė metodo; duomenų rūpestis yra kita pusė

Vartai nusprendžia, kurie kadrai žmogus važiavo, ne kas daryti su jais, ir tas antras sprendimas yra kur raundai yra dažniausiai iškasti. Pirmoji taisyklė yra ta, kurią D DAgger stovi: agregavimas, nepakeisti. Gerai sureguliavingas atsparos taškas grynai į kelis šimtus korekcijos kadru suteikia jums modeliu, kuris visai nieko pamatė bet jei atsigavimas ir pamiršus nominali trajektorija.

Antra taisyklė yra ta, kad intervencijos kadrai nėra paprastai kadrai. Mandlekar et al. sustatė nuotolinės teleooperacijos sistemą 6-DoF manipuliacijai leidžiantis operatoriams stebti politikus ir persigrupavimu nesėkmoje, tada treniravę pakartotinai su algoritmu, kad "skatina politika išmokti, kaip pereiti bottenecks per intervencijas"; agentai mokyti ant to duomenų nukonkuruoja agentus mokytu ant vienodžiu paprastų demonstracijos mėgių. Sirius stumia idėja į visuomeninę, "pertūziėjimas mokymo mėginių priešusiam žmogaus pasitikėjimu ir optimizavimo strategijų su susvėrytais imitacinės mokymu". Abieji reikalau žymėrimo-kadro žymėjimo kuris buvo žmogaus-važiavęs, kuris yra kodėl intervencija žyma svarbu daugiau nei ji atrodo.

Trečia taisyklė yra ta, kad automatinė sumaišymas yra spąstai. Sudarytą duomenų rinkinį kurių šalčius jūs negalite sąrašo yra ta, kurią jūs negalite derinti kai sekantis raundas gauna blogiau. Ant šios platformos sumaišymas žingsnis yra nustatytas tą priežastį — šaltinis duomenų rinkinys plius korekcijas, episoduo pasirinkimas per šaltinį, ir rezultatas yra paprastai LeRobot duomenų rinkinys kuris sinchronizuoja ir treniruoja kaip bet kurie kiti; jis duomenų rinkinys dokumentacija grindžia formato pusė.

Nustatyti vartus, kurią žmogus faktiškai gali laikyti

"Žmogus nusprendžia" nėra specifikacija. Du operatoriai su skirtingomis slenkščiais sukuria nepalyginamus raundus, ir driftingas slenkstas sukuria tendenciją, kurią jūs negalite skaityti. Rašyti kurie triggerius atidaro vartus — prieiga pasislinkusi daugiau nei fiksuoti marža, gripalinė užsidare ir nieks, sąnarys driftąs žemyn apribojimas, arba sulėtinimas daugiau nei sekunda arba du — ir laikyti sąrašas nepakitęs per raundą.

1. Pavadinimas ką daryklas atidaro jį. Presystema politika atsigauna iš jos pačios yra mokymo signalas; perteku žemyn ten brišas atsigavimo jis jau žino.
2. Pavadinimas ką daryklas neatidaro jį. Perėjimas, kuriame politika atsigauna iš savęs, yra mokymo signalas; persigrupavimu joje briszas atsigavimo jis jau žino.
3. Persigrupavimu anksti pakankamai švariam siuntimui, grąžinti kaip tik būsena yra atsigauti.
4. Rašyti kodėl jūs perimti, per epizodą. Trys raundai vėliau tai yra tik įrašas ar ta pati nesėkme grąžina.
5. Laikyti kameros, užduoties tekstą ir operatorius pastovus tarp raundų. Keisti vienas ir skaičiai nustoja būti palyginami.

Mechaniškai siuntimas turi du variantus. Su vadovam ranka, vadovas turi pasiekti bendra dabartinę padėtį prieš sukimo siuntimas, arba ranka šokinėja; šis sulygimas judėjimas yra mažiausiai testuoti dalis grandinės realioje aparatūroje. Be vadovam rankos persigrupavimu yra rankinis nuo pirmos padėties: bendra yra laikytas ir operatorius stumia jį sąnariu po sąnario iš klaviatūros arba traukia sumagusiais, su serverio pusė spaustukai laikyti kiekvienas įvestis maža — keli laipsniai per padėtį, kelios skaičiai per sumagusio atnaujinimas, nes didelis žingsnis į laidžią padėtį yra kaip jūs nuplėšt servo. Žingsnis-po-žingsnio versija su svarbu susieti yra į DAgger raundo einamoji dalyvavimas SO-100; fonas apie abiem teleooperacijos režimais yra į teleooperacijos dokumentacija ir jų vadovas-bendra įrašas.

Skaitydami ar vartai nudarė kas nors

Metrų žmogaus užtverta raundo yra intervencijos laipsnis: intervencijos kadrai padalyti iš kadru bėgimą. Jis turi tik vieną darbą — jeigu jis nenujaučia tarp raundų, raundas nupirko nieko, ir sekantis turėtų keisti ką nors kitą nei duomenų sumą.

Tai yra šališka metrika ir jūs turėtumėte žinoti kaip. Jis matuoja operatoriaus slenkstas kaip ir politikos paggavimo, kas yra kodėl triggerių sąrašas lieka fiksuoti; operatorius kuris atleidžia per sesiją sukuria kritusią kreivę su niekuo po to. Jis taip pat nepaisys šubumą — dešimt kadru sulaidyti susidūrimu ir dešimt pamynti graipimas atrodyti identiškas. Pora juo su fiksuotu vertinimo rinkiniu joks korekcijos duomenys buvo niekad nuo to. Straipsnis apie matavimų DAgger kilpą dirba per vertinimo dizainą, įskaičius kaip laikyti vertinimo epizodus iš mokymo miksture.

Atidary klausimai vertus laikyti regėjime

Taškai yra silpni. Spencer ir kolegos egzaminuoti šioms naudojamos imituojant mokymo metodas ir rado juos "realizuoti ir paprastai ir todėl nepakankami fiksuoti sunkesnės paklaidos sudėties regimus realaus pasaulio sprendimo problemas" — ir, prieš aplinkimo literatūrą, rado paprastai elgesio klonavanje nuveikė gerai. Tai yra priežastis būti skeptiškam iš bet kurio reitingu DAgger variantų remiantis šiomis užduotimis, įskaitant kai kurie skaičiai lentelėje aukščiau.

Robotinio atžvilgio vartai didelėse strategijose nėra išspręsti arba. AIM darbas keičia neapibrėžčią su proxy Q-funkcija mimikirimo žmogaus intervencijos taisyklę ir pranešą 40% pagerinimas perimti savikainą ir mokymą efektyvumą per ThriftyDAgger — nuolatinis ir atskiras valdymą, ne ant vizijos kalbos veiksmą modelio važiavus manipuliatoriaus. Ar bet kurie iš šių vartų persigrupavimu į sureguliavintas VLA yra atidara. Apžvalga daro susijęs dalyką: lauko terminologija ir struktūra nėra suvienodinta tarp literatūros, kas darės metodas skaudi palyginti. Ant savo rankos, jūsų žurnalai yra pradai jūs turite.

Vienas rankos ant stalo pasirinkimas yra darytą: laikyti vartus jūs pats, parašyti ką jį atidaro, ir naudoti pastangos ant duomenų rūpestį jo, o ne ant automatiniu šalte. Platformos pusė yra aprašyta ant DAgger kilpa puslapis, mokymo parinktys per politika šeima žemiau mokymas ir kainodarba. Fono, pradžia su imitacija mokymas ir imitacija mokymas ant SO-100; pirmo bėgimo, paleisti jūsų pirmą politika yra trumpesnis kelias.