DAgger kontūro matavimas: intervencijos dažnis, vertinimo protokolas ir spąstai tarp jų

DAgger raundas jaučiasi produktyvus, kai jūs jame esate. Jūs valdote politiką, perimiate, kai ji nesugaupia, išsaugote pataisymus, perkvalifikuojate, ir kitas bėgimas atrodo – jūs priesaiką duotumėte – šiek tiek sklandesnis. Du raundai vėliau negalite pasakyti, ar kažkas pasikeitė, nes "šiek tiek sklandesnis" nėra kiekis.

Ciklui reikia vieno skaičiaus per raundą, o žmogaus valdytame cikle tas skaičius yra beveik nemokamas: bėgimo dalis, kurią kontroliavote jūs, o ne politika. Šiame straipsnyje jis apibrėžiamas taip, kad du žmonės apskaičiuotų tą pačią reikšmę, jo registravimas, rezultato kreivės skaitymas ir keturių būdų, kaip jis jus klaidina, pavadinimas, kai jis stovi vienas. Teorijai, kurią šis straipsnis daro prielaidą, žr. DAgger paaiškina ir žmogaus valdomas variantas; praktinis atitikmuo yra DAgger ciklo paleidimas SO-100.

Kodėl raundui reikia skaičiaus iš viso

DAgger egzistuoja dėl pasiskirstymo problemos, ir pasiskirstymo problemos yra neaiškios akiai. Ross ir Bagnell parodė, kad imitacinis mokymas pagal fiksuotą demonstracinį rinkinį veda į sukauptus klaidų ir atgailos ribą, augančią kvadratiškai pagal laiko horizontą: kai tik besimokantis palieka valstybę, kurioje demonstratorius lankėsi, nieko duomenyse jis nepasakys, kaip grįžti. DAgger tai ištaiso kartodamas - paleisti politiką, žymėti jos lankomas valstybę, susumuoti, perkvalifikuoti - kuriuos Ross, Gordon ir Bagnell suformuluoja kaip redukciją į be-atgailos internete mokymąsi.

Ta formulavimas turi pasekmes, kurias žmonės praleisti. Garantija liečia politikos seką per kartojimus, ne jokią vieną bėgimą. Jis nieko nesako apie tai, ar jūsų trečias raundas padėjo. Vienintelis būdas žinoti yra išmatuoti kiekvieną iteraciją. Kelly ir kolegės pristatė HG-DAgger, nes klasikinis DAgger prašo eksperto veiksmo žymų, kai pradedantysis vis dar valdžioje, kurio autorinės teisės argumentuoja gali sumažinti saugumą ir, kai kurie žmonės yra ekspertai, labai išjungti žymos kokybę per suvokiamą aktuatoriaus delsa. HG-DAgger taip pat mokosi saugumo slenksčio modelio-neapibrėžtumo rizikos metrikai ir praneša apie pagerėjusį veikimą prieš tiek DAgger, tiek elgsenos klonavimą vairavimo užduočiai. Jis nepublikuoja intervencijos skaičiaus; tuos jūs sudarote patys.

Tarifą apibrėžti taip, kad du žmonės gautos tą patį skaičių

Apibrėžimas yra viena linija: intervencijos kadrų skaičius padalytas iš bėgimo kadrų skaičiaus. Visa sunkumas slepiasi į tai, kas skaičiuojasi kaip kadras ir kas skaičiuojasi kaip bėgimas.

Kadrų, o ne epizodų

Epizodų skaičiavimas su bent viena intervencija yra nenutikęs: dešimt epizodų su vienu paspaudimu kiekviename ir dešimt, kuriuose jūs valdėte aštuoniasdešimt procentų abu duoti "10/10". Kadro skaičius juos atskiria, ir tai yra granuliarumas, kurį įrašymas jau turi - LeRobot duomenų rinkinio formatas kiekvienas laiko žingsnis yra eilutė, todėl intervencijos žymė yra viena loginė stulpelio šalia būsenos ir veiksmų. Čia jis rašomas per kadrą iš kurio takeover prasideda ir išvalytas, kai kontrolė grįš.

Vardiklis apima pataisymus

Du vardikliai yra gynybiniai - bendri bėgimo kadrų skaičius arba kadrų, kuriuos politika valdė autonomiškai - ir jie labai skiriasi dideliam intervencijos lygyje. Perimti 400 iš 1000 kadrų ir pirmasis suteikia 40 procentų, antrasis 67 procentų. Palyginant vieną raundą, išmatuotą pirmuoju būdu prieš kitą, išmatuotą antruoju, yra tai, kaip tikras patobulinimas išnyksta. Imkite visą kadrų skaičių ir niekada neperžiūrėkite pasirinkimo per seriją.

Nuspręskite kartą, kas nutinka perdavimo kadrams

Visada yra siūlė. Kai kontrolė perduodama, kai kurie kadrų priklauso nė iš vienos pusės: ranka yra sulaikyta, lyderis lygiuojasi, įrašymas yra įšaldytas. Šiame konvelyje tie perdavimo kadrų lieka neapdorotoje srityje ir niekad nepatenka į kuratūrą epizodą - jie nei politikos elgsena, nei pataisymas, vertini mokyti. Skaičiuokite siūlę tą patį būdą kiekvienas raundas: esant 30 Hz, šeši takeover su dviem sekundžių siūlę kiekvienas yra 360 kadrų, pakanka tam, kad persigrubinti procentinį tašką.

Tai registruojant skaičius gyva per sesijas

Metrika bėgimo proceso būsenos skydelyje yra skaitymas: jis išnyksta iš naujo ir negali būti nubraižytas. Viena pridėj tik eilutė per bėgimą apima visą seriją - įskaitant kurį kontrolinį tašką jūs valdėte, nes tai keičiasi kiekviename raunde ir maišyti jų sunevalidiškina tai, ką seka.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Du laukai neša svorį. train_mix yra tai, ką jūs pratinkite kitam mokymo darbui; be jo nieks negali būti priduotas. eval_protocol vardina fiksuotą testą, kurį jūs paleisti po to, ir yra laukas dažniausiai paliktas tuščias. Ay-robots kokpite takeover būsena praneša intervencijos kadro skaičių bėgančiai sesijai, todėl registravimas yra transkribcija, o ne instrumentavimas; duomenų rinkinio dokumentacija apima, kur per kadro stulpeliai nukreipia.

Kreivės skaitymas: trys raundai, viena nuomonė

Trys raundai yra minimalus skaitymas, nes du taškai visada yra linija. Lentelė žemiau yra apskaitos šablonas su sustiprintais skaičiais, o ne matavimai iš jokio bėgimo. Jūs ieškote monotoninės sumažėjimo, sutriuškintos augančiu sėkme ant fiksuoto testo.

Raundai vienas ir du daro darbą. Trečias raundas nėra: 11,3 prieš 11,1 procentą yra bėgimo į bėgimą kitimo ribose, kai kas matuojama fiziniu manipuliatoriumi, ir ketvirtas to paties taisymo raundo išleidžia popietę už nieką. Plokščias segmentas sako keisti ką nors struktūrą.

• Likę gedimai nėra ištaisomi per teleoperavimą - objektas nepasiekiamas, griebtuvo geometrija, sąnaris jo riboje. Nėra taisymo duomenų, kurie nubrėžtų kinematinę sieną.
• Pataisymai yra per mažai prieš bazinį duomenų rinkinį, kad persigrubinti gradientą, ir nieks jų nesveria.
• Pataisymai prieštarauja vienas kitam, todėl politika vidina dvi strategijas ir nusileidžia tarp jų.
• Gedimas atsiranda iš priekio: kamera pajudėjo, apšvietimas pasikeitė, riešo vaizas nebeatitinka mokymo.
• Užduotis yra šio politikos klasės lubose šioje aparatūroje, o tolimesnė žingsnis yra daugiau bazinių duomenų.

Paskutiniai du nėra ciklo gedimai. Sirius-Fleet mažėjęs žmogaus poreikis yra nustatytas rezultatas: kai roboto autonomija gerėja, jo anomalijos prognozuotojai pritaiko savo prognozes kriterijus, vedant į mažiau užklausų žmogaus intervencijai ir palaipsniui sumažinant žmogaus darbą per laiką. Čia kriterijus pritaiko tyčia. Rankinio ciklo jūsų pritaiko per tylą - todėl dažnis, kuris plokštas, nes užduotis pasiekė lubas, atrodo lygiai taip pat kaip viena, kuri išplokštėjo, nes operatorius nustojo pastebėti. Kuri yra toliau problema.

Spąstai 1: krintantis dažnis nėra auganti sėkmės koeficiento

Intervencijos dažnis matuoja lygiai vienas dalykas: kiek bėgimo jūs nusprendėte turėti. Tas sprendimas yra jūsų, priimtas tiesiogiai, ir jis juda. Nuliniame raunde jūs perimti pirmame blogame artėjimo kampe; trečiame raunde jūs žiūrėjote politiką atsigauti iš tuzino jų ir jūs jai leisti. Jūsų slenkstynas pajudėjo; politika gali ir ne. Dažnis krinta bet kuriuo atveju.

Žmogaus pasitikėjimas yra bent jau modeliuotas kiekis literatūroje, nei nei prielaida konstanta. Sirius persvarsto mokymo pavyzdžius su apytiksliu žmogaus pasitikėjimu ir optimizuoja politiką su sveriomis elgsenos klonavasimu, praneša apie 8 procentų padidėjimą simuliacijoje ir 27 procentus ant tikrų aparatūros prieš šio amžiaus politikos sėkmės koeficientą, dvigubos konvergencijos greičio. Tai traktuoja pasitikėjimą kaip svorį duomenyse. Jis nepatikaipa slenksčio jūsų galvoje tarp nulinės ir trečios raundo.

Negali nuimti šriftą, todėl sujungti dažnį su kažkuo, ko jūsų slenkstynas negali liesti: fiksuotas bandymų rinkinys, kuriame jūs visai nesikišate, įvertinti pagal kriterijų, rašytą prieš raundą. Dažnis, kuris krinta, o suparinti sėkmės koeficientas lieka pat yra charakteristika įpratimo - verta sugauti, nes iš vidinio ciklo jis jaučiasi kaip progreso.

Spąstai 2: be fiksuoto protokolo, jūs matuojate kambarį

Tikra roboto vertinimas yra brangus ir sunkus kartoti. SIMPLER autoriai pagrindžia simuliuotą vertinimą stebėjimu, kad tikrojo roboto vertinimas tokių politikų nėra mastelis ir susiduria su reprodukciabilumo iššūkiais, kurie tikriausiai pablogės, kai politikos praplečia savo užduoties spektrą. RoboArena atakuoja iš kito pusės, turint daugiau nei 600 porinių tikruose robotų vertinimo epizodus per septynias generalistikas politikas, paleistas vertintojų septynėse akademinėse institucijose DROID platformoje. Jos vertintojai rinkosi savo užduotis ir aplinkas, bet turi vertinti politikų poras dvigubai aklas; dokumentas praneša, kad ši minios kategorija šaligatvių seka generalistikas politikas veikimą tiksliau, nei konvencinė, sąraše vertinimas.

Jūs nesuliepsime 600 porines epizodus ant vieno SO-100 dirbtuvėje. Ką jūs galite daryti yra nuimti skirtumą, kurį jūs kontroliuojate - sąrašas nuobodus gerai, kad jis paprastai bus praleistas.

Tada skaičiavimas, negailestingas bandymų skaičiaus dirbtuvėse leisdami. Pagal normalę apytikslę, 60 procentų sėkmė per 20 bandymų nešioja standartinę klaidą šalia 11 procentų taškų - kvadratinė šaknis 0,6 kartų 0,4 per 20 - ir skirtumai tarp dviejų tokių raundų nešioja apie 15. Šuolis iš 60 į 70 procentą yra todėl nuosekl su jokiu paveikslą. Penkiasdešimt bandymų nešioja kiekvieno raundo figūrą apie 7 taškai, ir kainuojanti popietę.

Šis asimetrijukas yra argumentas dėl intervencijos dažnio: apskaičiuoto per tūkstančius kadrų, o ne dvidešimt dvejetainių rezultatų, jis juda ankščiau ir sklandžiau. Pasitarimas yra, kad kadrų epizode yra sunkiai koreliuojami - viena bloga grasp išduoda šimtą iš eilės intervencijos kadrų - todėl veiksmingų pavyzdžio dydis yra artimesnis takeover skaičiui. Traktuokite dažnį kaip ankstyvą indikatorių ir sėkmės koeficientą kaip lėtą tiesą žemę.

Spąstai 3: mokymas tik taisymams lenkia politiką

Pataisymai yra įdominiausi duomenys, todėl instinktas yra to daryti. Nedaryk. Jie ateina konstruktyviai iš siauros valstybės erdvės pjūvio, kur politika jau buvusi nesubyra ir sako beveik nieko apie didžiąją bėgimo dalį, kuri veikė. Susmulkintas tuose tik ir jūs gaunate politiką gerai atsigauti iš sulaidyto artėjimo, kuri pamiršo, kaip daryti gryną.

Mandlekar ir kolegės pastatė savo nuotolinės intervencijos sistemą aplink tai. Jų formulavimas: manipuliavimo užduotys yra turinčios uždarytas regions reikalingas tikslaus veiksmų sekos - įdiegti pod į kavos mašiną yra jų pavyzdys - kur nedideli nukrypimai veda į valstybę, kurias demonstracijos niekada neaptarė. Jų algoritmas mokosi iteratyviai naujuose duomenyse, todėl politika mokosi kirsti tos užraizjos, ir jie praneša, kad agentai, mokyti intervencijos duomenyse, nugali agentus, mokytas lygiavernais pavyzdžiais iš neintervencinių demonstrantų.

Maišymo koeficientas yra hiperparametras ir nusipelno parašymo. Komposymas sekantis duomenų rinkinys yra kur jis yra nusprendžiamas: originali demonstracijos plius pataisymo rinkinys, epizodo pasirinkimas aiškus per šaltinį, o ne taisyklė, kuri tyliai traukia, kas yra prieinama. Čia tai yra vienas komposymo žingsnis kokpite, ir rezultatas yra įprastas duomenų rinkinys - žr. mokymo dokumentacija. Ką nėra instrumentas, kuris būtų jums, yra raš kuris santykis sukūrė kurį kreivę.

Spąstai 4: žmogus nėra nuolatinis ekspertas

DAgger teorija mano ekspertą. Jūs nėra techninis pojūtis: jūsų pataisymai nėra mėginiai iš fiksuoto sąlyginio pasiskirstymo virš veiksmų. ACT autoriai pavadinimas tai, kai išvardijami kliūtys pagal smulkias manipuliacijas - klaidos sumaišytos per laiką, ir žmogaus demonstracijos gali būti ne stacionarios. Jų sistema vis dar pasiekia 80 iki 90 procentų sėkmes šešias tikrąsias užduotis iš dešimt minučių demonstracijų, todėl problema yra traživama, ne nebuvusi.

Robomimic tyrimų daro tašką iš duomenų pusės. Daugiau nei šeši neprisijungę algoritmai penkose imituotose ir trys tikrojo pasaulio daugiapakopėse užduotyse, jo pamokos apima jautrumą projektavimo pasirinkimams, priklausymą demonstracijos kokybei, ir - vienas, kuris skauda yra čia - kintamumą iš sustabdymo kriterijų, nes mokymo ir vertinimo tikslai skiriasi. Kontrolinis taškas su mažiausiu nuostoliu nėra patikimai su aukščiausiu sėkmės koeficientu.

Yra aparatūros versija: įvesties režimas šeipenus pataisymą. A lyderio-sekėjo sąranka sukuria nuolatinės, žmogaus tempusios trajektorijas. Klaviatūros stumtelėjimai yra sušaldyti sunkiai serveryje - du laipsniai per skambutis ant rankų sąnarių, keturi griebiklyje - todėl tą patį ketinimą atvyksta kaip laipsnių mažų žingsnių. Slideriai siunčia absoliučius tikslus ir serveris juda daugiausiai šešis laipsniai jų per skambutis. Trys režimai, trys veiksmų pasiskirstymai; maišyti visus tris į vieną taisymo rinkinį, tada nuostabu, kodėl artėjimas paliko spragą, yra savisvarbos. teleoperavimo dokumentacija apima, ką kiekvienas režimas siunčia.

Svėrimams intervencijos: IWR ir kas atėjo po

Jei pataisymai yra vertinga mažuma, principinis pataisymas yra svoris, o ne išimtinumas. Intervencijos svertinis regresas yra etaloninė diegimas: duomenys yra padalinti į intervencijas ir ne-intervencijas pavyzdžius, ir abu skaidymai yra iš lygios proporcijos mokymo metu. Pataisymo rinkinys, kuris yra penki procentai kadrų, tada prisideda pusė gradiento, be vardinės elgsenos nuo to pasiskirstymo.

Vienoda proporcija yra pradžios taškas, taisyklė. Sirius apibendrina jį pakeisdama dvejetainę skaidymą su nuolatu svoriu iš apytikslaus žmogaus pasitikėjimo; Sirius-Fleet užtikrina sprendimą uplinku, naudojant vizualinę pasaulio modelį ir anomalijos prognozus, sprendžiant, kada žmogus yra paklaustas visai. Bendrasis siūlas: intervencijos vėliava yra mokymo signalas, tik apskaita stulpelis.

Keturi rodikliai, kurie vertėtų pritvirtinti šalia dažnio

• Takeovers per bėgimą. Dvidešimt trumpų pataisymų ir vienas ilgas duoti panašius dažnio ir apibūdinkite skirtingas politikas - vienas drebantis, vienas su vienu aklas.
• Vidutinė intervencijos trukmė. Kilimas ilgio su kritimu skaičiaus reiškia likusios gedimai yra kieti, kurie yra kaip vėlyvas progreso.
• Laikas nuo pirmosios intervencijos. Politika, kuri gauna toliau prieš poreikio pagalba yra gerėjant, net kai bendras dažnis yra plokščias.
• Kur intervencijos klasteriuos. Bin vėliava iš normalizuoto epizodo progreso; stabili viršūnė per raundus nukreipia į vieną duobę.

Raundo protokolas, kurį jūs galite tikrai paleisti

Išmastys raundas turi šeši žingsniai ir sukuria vieną eilutę žurnale. Pirmi keturi yra ciklas; paskutiniai du tai pamatuojant.

1. 1
   Šaldykite vertinimo protokolą prieš nulinio raundo

   Parašykite pradžios poziciją, objekto padėtį, kameras, bandymų skaičių, timeout ir sėkmės kriterijų. Nuotrauka lentelę. Jei dokumentai turi keisti, serija yra keitimas.

2. 2
   Pamatuoti baziniu

   Paleisti protokolą su jokios intervencijos ir įrašykite sėkmes; tada paleisti vienas instrumentuotas seansa su perimti įgalinta ir įrašykite dažnio. Tie du skaičiai yra nulinės raundo.

3. 3
   Rinkti pataisymų viename nuoseklų stiliumi

   Viena įvesties režimas per raundą, vienas operatorius, jei jūs gali valdyti. Perimti ant kriterijaus jūs galite valstybę iš garsaus - "griebtuvas daugiau nei du centimetrus nuo na artėjime" - ir turėti jį per raundą.

4. 4
   Triage kiekvienas epizodas tą dieną

   Pataisymas, vertinimas arba atmet. Neaiški epizodai yra atmesti, ne išsaugoti ant teorijos, kad daugiau duomenų padeda - pataisymas, kuriame jūs patys buvo multas yra blogiau nei jokia epizoda.

5. 5
   Komponuoti mišinį aiškiai

   Originalios demonstracijos plius pataisymų, epizodo pasirinkimas per šaltinį. Įrašas bazės skaičius, pataisymo skaičius ir bet kurio svarimą - tai yra laukas jūs norėsite tri savaites.

6. 6
   Tęskite nuo kontrolinio taško, tada matuoti

   Treni sudarytą duomenų rinkinį iš ankstesnio kontrolinio taško, o ne bazinio modelio, paleisti fiksuotą protokolą plius viena instrumentuotas seansa, pridėti eilutę, ir palyginti prieš ankstesnius du raundus.

Du ribos keičia, kaip jūs skaityti susilpnėjusį raundą. Tęstas iš kontrolinio taško initializes svoriai iš jų - ne optimizavimo paleidimas, todėl tvarkaraštis prasideda šviežus ir trumpas paleisti iš suartėjusio kontrolinio taško gali judėti labai mažai. Ir lyderio lygiavimas judesys pradžioje perimtas yra mažiausiai gaidas tikrajoje aparatūroje iš nieko grandinėje; jei pataisymai prasideda nesvarbiu tranzientiu, pažvelkite ten prieš kaltė mišinį.

Ką skaičiai negali jums pasakyti

Nieko iš to nėra išsprendžiama, ir jaukus kreivė nesiūlymas jus kitaip. Intervencijos dažnis matuoja bendru sistemos - politiką, aparatūrą, operatorių, kambarį - ir priskiria nieką savaime. Jis negali spręsti, ar pataisymai buvo geri, ir jis krinta laimingai ant užduoties, kuri buvo lengvesnė, nes objektas nualinti du centimetru artimesnis per tris savaites.

Ką jis daro yra apsusti neaiškų kaip stulpelį jūs galite ginčytis. Alternatyva nėra geriausias rodiklis; tai yra trys savaitės rinktis pataisymo kreivė pasakytų jums, po trijų raundų, su rinkimu. Žiūrų literatūra apibrėžia interaktyvinį imitacinį mokymąsi kaip žmogaus grįžtamąsias nuomonės nurodant kartais per roboto vykdymą, leidžiant interneto tobulinimo elgsenos; šeima yra plati, ir nėra nustatyti jo veikia be skaičius per raundą. Žr. taip pat SO-100 imitacinio mokymo vadovas bazinio duomenų rinkinys jūs mišinyje prieš, paleiskite politiką dėl išvados pusę, ir DAgger ciklo puslapis nustatyto konvelyje.

Laikykite žurnalą saugykla, o ne sąsiuvinyje: raundai yra dienos skyryje, aparatūra gauna perkurtas, ir asmenį, kuris skaito kreivę spalio yra jūs su jokią atmintį rugpjūtis. dokumentacija DUK apima operacinių detales, paliktos iš čia.