HG-DAgger in varovane variante: Kdo se odloči za prevzem politike robota

Klonirana politika odpove tam, kjer se izurjevalni podatki iztečejo. Popravka je, da bi nadaljevali s prikupljanjem podatkov pod lastno porazdelitvijo stanj politike namesto demonstratorja, kar počne DAgger in kaj uvod v zbiranje nabora podatkov pokriva od samih osnov. Pusti odprto neprijetno lastnost prvotnega algoritma: medtem ko se učenec premika, je strokovnjak domnevno rekel, kaj bi naredil, za vsako stanje, brez da bi imel nadzor.

V simulatorju s skriptiranim strokovnjakom, ki je prost. Na mizi s pravim ramenom zraven, ni niti brezplačno niti varno. Avtorji HG-DAgger precizno navedejo ugovor: takšne sheme vzorčenja "zahtevajo od strokovnjaka, da zagotovi oznake dejanj brez polnega nadzora sistema", kar "lahko zmanjša varnost in, kadar se uporabljajo ljudje kot strokovnjaki, verjetno poslabša kakovost zbranih oznak zaradi zaznane zakasnitve aktuatorja" (Kelly et al., 2019). V tej poveški se skrivata dve napaki: politika se ve naprej premika v stanja v katera je nihče ne želi, in oznake kupljene s tem tveganjem so slabše od tistih, ki jih proizvede človek medtem ko drži nadzore. Vsaka varianta spodaj odgovarja na isto vprašanje — postaviti polje na nadzor in nekoga pustiti, da se odloči kdaj se odpre. Razlikujejo se v tem, kdo je ta nekdo.

Človeško in robotsko: razdelitev ki je važna

Interaktivno učenje z posnemovanjem ima lastno anketo; Celemin in kolegi ga katalogizirajo skupaj s povratno informacijo, vmesnikom, modelom učenja, izkušnjami uporabnika, aplikacijo in primerjavo. Razdelitev ki odloči o vašem inženirstvu je enostavnejša kot kateri koli od teh osi, in nedavno delo jo neposredno poimenuje: metoda je človeško-vratna kadar se nadzornik odloči za intervencijo, in robotsko-vratna kadar se agent odloči za prošnjo za pomoč (Cai et al., 2025). Vse ostalo je mehanizem ki служи eni od teh dveh izbir. Trgovina je vidna od začetka: človeško polje stane neprekinjeno pozornost, in robotsko polje obljublja vrniti to pozornost — vendar le če je signal ki ga drži zaslužen, in zgraditi ta signal je njegova lastna raziskovalna težava.

SafeDAgger: klasifikator ki predvideva svoje odstopanje

SafeDAgger Zhanga in Cha (2016) je najzgodnjši od teh polj. Poizvedovanje referenčne politike je drag del, zato majhna mreža — varnostna politika — predvideva ali je poizvedovanje sploh vredno. Vrne "binarni oznako, ki nakazuje ali je primarno politika verjetno odstopila od referenčne politike brez poizvedovanja". Oznaka je определена proti kvadrirani razdalji L2 med dejanji obeh politik s pragom tau, in klasifikator je prilegajoč s prečnim entropijo. V času izvajanja se odloči na stanje ali se učenec ve naprej premika ali se referenca prevzame. Povzetek poroča o manjšem poizvedovanju referenčne v simulator dirke avtomobila plus pospešitvi konvergence, ki jo avtorji pripišejo učinku avtomatskega učnega načrta, brez podajanja številke za eno ali drugo.

Ulov je v definiciji, ne v rezultatih. Usposabljanje klasifikatorja zahteva dejanje referenčne politike na vsakem stanju uporabljeno za prilagoditev, kar se domneva da je referenca drug program. Če je vaša referenca oseba z vodilnim ramenom, ta niz oznak ni poceni in metoda izgubi lastnost za katero je bila zasnovana.

EnsembleDAgger: dvom in nesoglasje, oboje

Menda, Driggs-Campbell in Kochenderfer (2019) obravnavajo polje kot verjetnostno vprašanje. EnsembleDAgger "približa Gaussov proces z naborom nevronskih mrež" in bere varianco skupne množice kot posrednika zaupanja: visoka varianca pomeni območje za razliko od izurjevalnih podatkov, kar — ob predpostavki da strokovnjak izogiba stanjem neuspeha — se ujema z bližino neuspehu. Pravilo je združenje. Učenec ima lahko le dejanja kadar razdalja L2 med njegovim povprečnim dejanjem in strovno dejanji ostane pod enim pragom (nesoglasje) in varianca njegovega napovedanega dejanja ostane pod drugim (dvom). Če katerikoli ne uspe, strokovnjak prevzame nadzor. Cilj je povečati delež dejanj učenca medtem ko se omejuje verjetnost neuspeha; članek poroča o izboljšani varnosti in učenju proti drugim DAgger variantam na obrnjenem nihalu in MuJoCo HalfCheetah.

LazyDAgger: ustavi stikalo pred treskanjem

Hoque in kolegi (2021) so napali stroške katere prejšnja dela niso merila: stikalo sebe. Vsaka intervencija "prekine drugo delo ki ga operater počne, ima zakasnitev z vsako spremembo konteksta med nadzorom in samoiniciativnim nadzorom, in zahteva čas za izvedbo". Polje ki se odpira in zapira desetkrat na minuto je slabše kot tisto ki se odpira enkrat za deset sekund, ob enaki samoiniciativni delitvi. LazyDAgger razširja SafeDAgger z asimetričnimi pragami — težje vstopiti v nadzor nadzorovane kot ostati vanj — tako da se sistem ne nihanja na meji. V simulaciji "zmanjša zamenjave konteksta za povprečno 60% nad SafeDAgger na 3 nalogah zveznega nadzora medtem ko ohranja napredne zmogljivosti politike"; pri manipulaciji tkanine z ABB YuMi "zmanjša zamenjave konteksta za 60% medtem ko doseže 60% višjo uspešnost kot SafeDAgger ob času izvajanja".

ThriftyDAgger: novost ali tveganje, v proračunu

ThriftyDAgger (Hoque et al., CoRL 2021) se začne od proračuna nadzornika namesto politike. "Uporablja naučeno politiko stikala za prošnjo intervencij le na stanjih ki so dovolj (1) novosti, kjer politika robota nima vedenja za posnemovanje, ali (2) tveganja, kjer ima robot nizko zaupanje v izvedbo naloge", s novo metriko za oceno tega tveganja. Proračun je vnos, ne rezultat: navedete koliko časa človeka boste porabili. Uporabljen ob času izvajanja metoda "doseže 100% uspešnost na simulaciji in fizičnih nalogah", in študija uporabnika z desetimi sodelavci ki upravljajo floto treh robotov ob strani naloge koncentracije poroča da "povečuje zmogljivosti človeka in robota za 58% in 80% v primerjavi s naslednjo najboljšo algoritmo medtem ko zmanjšuje breme nadzornika". Postavka flote je naravni dom za to delo; Fleet-DAgger je pozneje formaliziral interaktivno učenje flote z več roboti in nadzorniki, predlagajući povratek na človeško napor kot količino optimizacije.

HG-DAgger: človek drži polje

Kelly et al. (2019) gredo drugače. Ni politike stikala. Učenec je roliran "dokler strokovnjak opazi da je novinec vstopil v nevarno območje prostora stanja", ob katerem točki strokovnjak prevzame nadzor in vodijo sistem nazaj. Pravilo agregacije je strogi del: "Oznake dejanj strokovnjaka se zbirajoio in dodajajo naboru podatkov le med temi obnavljalnimi trajektorijami, med katerimi je imel strokovnjak neprekinjen nadzor sistema." Nič se ne označi medtem ko je človek gledalec.

Se ne ustavi na stikalu. HG-DAgger tudi "se uči varnostni prag za metriko tveganja osnovano na negotovosti modela, ki se lahko uporabi za napovedovanje zmogljivosti v celoti usposobljenega novinceа v različnih področjih prostora stanja": zapisuje kako negotov je bil učenec ob trenutkih ko je intervencija človeka in povpreči zadnjo četrtino teh zapisov, kjer se novinec najbolj spreminja v svojo končno obliko. To ni polje ki ga robot deluje vendar diagnoza ki ti pove kam je pričakovanja da je končana politika drži. Ocena zajema simulirano in pravo nalogo vožnje in poroča o izboljšanih zmogljivostih pred DAgger in posnemovanjem vedenja.

Ena sorodno linija spreminja kaj se šteje kot oznaka. Spencerjev Expert Intervention Learning in kolegi poimenuje da "kateri koli znesek povratne informacije strokovnjaka, bodisi z intervencijo ali ne-intervencijo, zagotavlja informacije o kakovosti trenutnega stanja, optimalnosti dejanja, ali oboje", formaliziran kot omejitev na funkcijo vrednosti učenca in rešen s ne-obžalobljenim spletnim učenjem. Pod tem branjem so raztegi kjer je človek gledal in nič ne počne šibka pozitivna napora namesto prazno. EIL se uči izogibanju trkom od približno ene minute strokovnega nadzora.

Variante skupaj

Kaj vsako polje kupuje in kaj zaračuna

Berite navzdol stolpec "potrebno" in vzorec pada ven: vsak robotsko-vratni signal tam je posrednik ki se mora narediti, in vsak posrednik ima svoj račun.

• Signali nesoglasja (SafeDAgger, LazyDAgger, pol EnsembleDAgger pravila) potrebujejo referenčno politiko. Ali ste skriptiran strokovnjak, v katerem primeru je že rešeno zanimivo vprašanje, ali človek nenehno proizvaja dejanja v ozadju tako da se razdalja izračuna.
• Signali dvoma potrebujejo umerjeno epistemično negotovost. Nabor majhnih mrež nadzora jo približa; nabor tri-milijard-parametra viziji-jeziku-dejanju modela je problem prvi spomin in zakasnitev.
• Signali novosti in tveganja potrebujejo naučeni ocenjevalko naloge dokončanja, prilagojeno na dovolj uspešne in neuspešne roluje. Na nalogi ki jo še počakate da dela, ti podatki ne obstajajo v prvem krogu.
• Človeško polje potrebuje pozornost in nič drugega — edini signal na voljo na prvi dan, na katerikoli politiki arhitekturi, brez dodatnega modela za učenje.
• Brez robotskega polja se človek iz sobe ne izvleče. Zmanjšajo kako pogosto se mora človek pojaviti, ne pa da mora biti prisoten.

Je tiho razlika v kaj polje proizvede. Robotsko polje streljanj sredi trajektorije rokuje osebo premičnim ramenom na poljubnem stališču. Človeško polje dopušča operaterju izbrati trenutek — po dohvatanju, pred stiskanjem, ne sredi nihanja. Obnavljalni segmenti dveh niso enako čisti in ti segmenti so celoten proizvod kroga.

Zakaj človeško-vratna oblika zmaga na pravi opremi

To je inženirski argument, ne rezultat primerjave — ni papirja ki smo ga našli teče vse pet polj na istega manipulatorja z isto razredom politike. Počiva na štirih točkah.

Prvo, nadzornik je tam vsekakor. Nihče ne pusti SO-100 roka teči brez nadzora ob objektih ki jih lahko prevali. Enkrat ko je nekdo gledalec je obrobni stroški dajanja prejima gumb za prevzem zelo blizu nič; zgraditi umerjeno ocenjevalko tveganja je projekt.

Drugo, negotovost ki jo pravzaprav lahko merite na sodobni politiki je pogosto napačna količina. Difuzijsko ali tok-ujemanje glava proizvaja varianco čez vzorčene koščke dejanja in ta varianca odraža multimodalnost ki jo je glava učena predstavljati, ne epistemično negotovost o stanju. EnsembleDAgger dvom izraz uporablja nabor natanko za zajemanje slednjega. Dva izgledajo kot ista številka in nista; delitev akcije in tok ujemanja vnosi pokrivajo kako te glave oddajajo dejanja najprej.

Tretje, neuspehi ki so važni v manipulaciji so pogosto semantični namesto statistično nenavadni. Politika ki zapira gripper dva centimetra zgaj ali doseže zanesljivo za napačno od dveh enakih kock ni v stanju visoke variance — je zanesljiva in napačna. Brez praga variance to ulov; oseba ki opazuje ga ujame takoj.

Četrte, kakovost oznake — prvotna HG-DAgger točka, in ena ki se najbolj pogosto preskoči. Oznake zbrane medtem ko je imel človek neprekinjen nadzor premagajo oznake narralizirane nad gibajočim sistemom. Če je cilj korekcijski podatki vredni agregacije, je breme dokazovanja leži z avtomatskim poljem.

Polje je pol metode; upravljanje podatkov je druga pol

Polje se odloči kateri okviri so jih vozili ljudje, ne kaj s tem početi, in ta druga odločitev je kjer se krogI najpogosteje potratijo. Prvo pravilo je tisto kar D v DAgger pomeni: agregiraj, ne zamenjaj. Fino ladjenje nadzornega mesta čisto na nekaj sto korekcijskim okvirjem ti da model ki je videl skoraj nič ampak obnavljanja in je pozabil nominalno trajektorijo.

Drugo pravilo je da intervencijski okviri niso navadni okviri. Mandlekar et al. zgrajeni oddaljeni-teleoperacijski sistem za 6-DoF manipulacijo pustila operaterje nadzor politike in prevzemi na neuspehu, nato usposobljeni iterativno z algoritmom ki "spodbuja politiko da se nauči kako prečkati ozka mesta skozi intervencije"; agenti usposobljeni na teh podatkih premagali agente usposobljene na enaki številki navadnih vzorcev demonstracij. Sirius potiska idejo v namestitev, "ponovno uteženje vzorcev usposabljanja z približano človeškim zaupanjem in optimizacijo politik z uteženim posnemovanjem vedenja". Oboje potrebuje per-okvir oznako kaj je vodilo človeške, ki je zakaj intervencija oznaka je važnejša kot izgleda.

Tretje pravilo je da avtomatska mešanja je past. Sestava naborov podatkov ki virov ne morete šteti je ena ki je ne morete razhroščiti ko se naslednjo krog poslabša. Na tej platformi je koraka sestave je eksplicitan za to razlog — prvotni nabor podatkov plus popravki, izbor epizode na vir, in rezultat je navadna LeRobot nabor podatkov da sinhronizira in usposobi kot drugače; dokumentacija nabora podatkov pokriva stran formata.

Nastavitev polja ki ga lahko oseba drži

"Človek se odloči" ni specifikacija. Dva operaterja z različnimi pragami proizvajata neprimerljive kroge, in drsečim pragom proizvaja trend ki ga ne morete prebrati. Napiši sprožilce pred prvo teko.

1. Imeni pogoje ki odpirajo polje — pristop napačen za več kot fiksno maržo, gripper zapira na nič, sklepa ki drsejo proti meji, zastoj več kot sekundo ali dve — in ohranjaj seznam nespremenjen za krog.
2. Imeni kaj to ne odpira. Preskok politika se okupira od sebe je signal usposabljanja; prevzem tam briše obnavljanja ki ga že pozna.
3. Prevzem dovolj zgodaj za čist prenos, roke hrbet takoj ko je stanje okupljivo.
4. Beži zakaj ste prevzeli, per epizode. Tri krogI kasneje je to edini zapis ali se ista napaka vrne.
5. Ohranjaj kamere, besedilo naloge in operater stalna čez kroge. Spremeniti eno in številke nesorazmerne.

Mehansko prenos ima dve varianti. Z vodilnim ramenom mora vodilni dosegniti položaj sledilnika pred prenosom navora, ali se ramo skoči; ta uskladitveni potez je najmanj testirana del verigi na pravi opremi. Brez vodilnega roka je prevzem ročni od prve tipke: sledilnik je drži in operater ga nežno potiska sklepo za sklep od tipkovnice ali vlečejo drsniki, s strežnika-strani sponkami držeč vsakem vnosu majhen — nekaj stopinj na tipko, nekaj na drsnik posodobitev, ker je velik korak v drži pose je kako si snamete servo. Korak za korakom različica s tipko vezavni je v sprehod skozi DAgger krog na SO-100; ozadje na obeh teleoperacijskih načinov je v teleoperacijska dokumentacija in vodilni-sledilnik vnos.

Branje ali je polje naredilo kaj

Metrika človeško-vratna krog je stopnja intervencije: intervencijski okviri deljeni z okviri teka. Ima eno nalogo — če ne pada čez kroge, krog niče kupil in naslednji bi moral spremeniti kaj drugega kot količino podatkov.

To je pristranski metrika in bi morali vedeti kako. Meri prag operaterja kot zmogljivost politike, ki je zakaj seznam sprožilcev ostane fiksn; operater ki se sprosti čez sejo proizvaja padajočo krivuljo z nič vraga. Tudi ignora resnostи — deset okvirjev za ustavo trka in deset za nudati gripper izgledajo identični. Pariti ga s fiksnim набира za oceno brez popravkov podatkov nikoli narisali od. Članek o meritvi DAgger zanke dela čez zasnovo ocenjevanja, vključno z kako ohranjamo epizode ocenjevanja iz mešanja usposabljanja.

Odprta vprašanja vredna obdržati v pogledu

Primerjave so šibke. Spencer in kolegi pregled tistih uporabljenih za test pristopov posnemovanja učenja in ugotovil jih "izvedljivi in preprosti in zato neizkušeni za zajemanje težjih režimov napake sesipanja videni v pravem svetovanju odločanja težave" — in, nasproti obdajajočim литературе, ugotovil navaden obnašanje kloniranja se je dobro. To je razlog biti skeptičen katerekoli razvrstitve DAgger variant počiva na teh nalogah, vključno nekatere številke v tabeli zgoraj.

Robotska polja na velikih politikah niso rešena tudi. AIM delo zamenja negotovost s posrednikom Q-funkcijo mimična človeške intervencije pravila in poroča 40% izboljšanja v prevzem stroške in učenja učinkovitosti nad ThriftyDAgger — v zvezne in diskretne nadzor, ne na viziji-jeziku-dejanju modela vozijo manipulatorja. Ali je katerikoli od teh polj prenose fino-ladjenje VLA je odprto. Anketa naredi sorodnega točko: polje terminologijo in strukture niso enotne čez literatura, ki naredi metode težko primerjati. Na vašem lastnem ramenom, vaši dnevniki so dokazov ki ste jim.

Za en roka na namizje je izbira: drži polje sebe, napišite kaj odpira ga, in porabijo trud na upravljanje podatkov vraga je namesto avtomatizacija stikala. Stran platforme je opisana na DAgger zanko stran, usposabljanje možnosti na politike družina pod usposabljanje in obračun. Za ozadje, začeti s posnemovanje učenja in posnemovanje učenja na SO-100; za prve tekanje teči prvi politike je krajša pot.