DAgger-silmuse mõõtmine: Intervention Rate, hindamise protokoll ja nende vahel paiknevad lõksud

DAgger-ring tundub produktiivne, kui sa selles oled. Sa juhtid poliitikaga, võtad üle, kui ta haardumist eksib, salvestad parandused, treenid uuesti ja järgmine käik näeb välja - sa annaksid sellele vandeid - veidi sujuvam. Kaks ringi hiljem ei saa sa öelda, kas midagi muutus, sest "veidi sujuvam" ei ole suurus.

Silmusal on vaja ühte numbrit ringi kohta, ja inimese valvega silmusal on see arv peaaegu tasuta: käigu osa, mil sul oli kontroll poliitika asemel. See artikkel määrab selle nii, et kaks inimest arvutavad sama väärtuse, logib selle, loeb saadud kõverat ja nimetab neli viisi, kuidas see sind petab, kui see seisab omaette. Teooria kohta, mida see tekst eeldab, vt DAgger-selgitus ja inimese valvega variant; praktilise vastekaaluks on DAgger-silmuse käitamine SO-100-l.

Miks ringil üldse arv on vaja

DAgger on olemas jaotusprobleemi tõttu ja jaotusprobleemid on silmale nähtamatud. Ross ja Bagnell näitasid, et immitatsiooni õppimine fikseeritud demokomplekti põhjal viib kuhjuvate vigadeni ja kahetsemise seosega, mis kasvab kvadraatiliselt aja horisondil: kui õppija lahkub olekutest, mida demonstraator külastas, ei ütle andmetes midagi, kuidas jälle tagasi tulla. DAgger parandab seda itereerimisega - käita poliitika, sildista olekud, mis ta külastab, agregeerimata, treenimata uuesti - mida Ross, Gordon ja Bagnell raamisena kaaderdavad mittekaotuste võrgutamiseks.

Sellel raamistikul on tagajärg, mille inimesed jätavad vahele. Garantii puudutab poliitikate jada üle iteratsioonide, mitte ühtegi üksikut käiku. See ei ütle midagi selle kohta, kas sinu ring kolm aitas. Ainus viis teada saada on mõõta iga iteratsiooni. Kelly ja kolleegid tutvustasid HG-DAggerit, sest klassikaline DAgger küsib eksperdilt tegevuse märgistuse ajal, mil noovik on veel kontrollis, mida artikkel väidab võib ohutust vähendada ja inimese ekspertide korral halvendada märgistuse kvaliteeti tajutava aktuaatori viivituse kaudu. HG-DAgger õpib ka turvanivoo mudeliga ebakindluse riskimeetrika jaoks ja teatab parandatud jõudlusest nii DAggerite kui ka käitumiskloonimise üle juhtimisülesandel. See ei avalda sekkutuste arve; need toodate ise.

Määratlus nii, et kaks inimest saavad sama numbri

Määratlete on üks rida: intervention kaadrid jagatuna käigu kaadritega. Kõik raske peitub selles, mis loeb kaadrina ja mis loeb käiguna.

Kaadrid, mitte episoodid

Episoodide loendamine vähemalt ühe sekkumisega on kasutud: kümme episoodi ühe põusega ja kümme, mille juhtisid kaheksakümne protsenti mõlemad annavad "10/10". Kaadrite loendus eraldab need ja see on granulaarasus, mis salvestis juba omab - LeRobot andmestiku vormingus iga ajahetk on rida, seega intervention lipp on üks boole'i veerg otsast ja tegevusest kõrval. Siin kirjutatakse kaadri kaupa sekkumise algusest ja kustutatakse, kui kontroll naaseb.

Nimetaja sisaldab parandusi

Kaks nimetajat on kaitstav - käigu kokku kaadrid või kaadrid, mida poliitika juhtis autonoomselt - ja nad lahknevad halvasti kõrgel sekkumise tasandil. Võta üle 400 1000 kaadrist ja esimene annab 40 protsenti, teine 67 protsenti. Ühe ringi võrdlemine mõõdetud esimese viisiga järgmisega mõõdetud teise viisiga on kuidas tõeline parandus kaob. Võta kokku kaadrid ja ära pöördu kunagi valikust seeria kestel tagasi.

Otsusta korraga, mis juhtub käepigistuse kaadritega

Alati on õmblus. Kui kontroll läheb üle, kuuluvad mõned kaadrid kummalegi poolele: käsi hoitakse, juht joondab, salvestis külmutab. Selles torujuhtmes jäävad käepigistuse kaadrid töötlemata voogu ja kunagi ei sisenege kureeritud episoodi - nad ei ole poliitika käitumus ega parandus, väärt treening. Loenda õmblus sama viisiga iga ringi kohta: 30 Hz-l kuus üleandmist kahe sekundi õmblus igaüks on 360 kaadrit, piisavalt liigutamaks protsendipunkti.

Logides nii, et number elab seansi üle

Mõõdik käivitava protsessi olekupaneelil on lugemine: see kaob taaskäivitamisel ja ei saa joonistada. Üks järjestikusrida ühe käigu jaoks katab kogu seeria - sh milline kontrollpunkt sa juhtisid, kuna see muutub iga ringi ja segada neid anuulleerib, mis järgneb.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Kaks välja kannavad kaalu. train_mix on see, mille andsid järgmisele treenimistööle; ilma selleta ei saa midagi seostada. eval_protocol nimetab fikseeritud testi, mis sa seejärel juhtis, ja on väli, mis kõige sagedamini jäetakse tühjaks. Ay-robots kokapkis teatab ülevõtu staatus sekkumise kaadrite arvust tegemise seansi jaoks, seega logimine on pigem ülekirjutamine kui instrumenteerimine; andmestiku dokumentatsioon katab, kuhu kaadri kaupa veerud maanduvad.

Kõvera lugemine: kolm ringi, üks otsus

Kolm ringi on miinimum lugemiseks, sest kaks punkti on alati joon. Allpool olev tabel on raamatupidamismall kohahoidjaarvudega, mitte mõõtmised mis tahes käigust. Otsite monotoonset langust, mida tasakaalustab edu fikseeritud testis.

Ringid üks ja kaks teevad tööd. Ring kolm ei tee: 11,3 ja 11,1 protsenti on füüsilise käe käitamise käikude vahelise variatsiooni piires ja neljanda ringi sama paranduste kogumisega veedetakse pärastlõuna millekski. Tasane segment ütleb muuta midagi struktuurset.

• Ülejäänud ebaõnnestumised ei ole teleoperation parandatavad - objekt ulatus väljaspool, haardur geomeetria, liigend selle piirini. Ükski paranduse andmed ei paranda kinemaatilist seina.
• Parandused on liiga väikesed võrreldes baasi andmestikuga gradiendi liigutamiseks ja midagi kaaluda neid.
• Parandused vastuolus üksteisega, seega poliitika keskmistab kaks strateegiat ja maandub nende vahele.
• Ebaõnnestumise päritolu on ülavoolu: kaamera liikus, valgustus muutus, käepaelane vaade ei vasta enam treeningule.
• Ülesanne on selle poliitika klassi lae sellel riistvara, ja järgmine samm on rohkem baas andmed.

Viimased kaks ei ole silmuse ebaõnnestumised. Sirius-laivastus on inimese vajaduse vähenemine kavandatud tulemus: kui roboti autonoomia pareneb, kohanevad selle anomaaliate ennustajad oma ennustuskriteeriume muutustega, mis viivad vähem palju taotlusi inimese sekkumise jaoks ja järk-järgult väheneb inimese töökoormust aja jooksul. Seal kohaneb kriteerium kavatsusest. Käsitsi silmusal kohaneb sinu ka, vaikselt - seega määr, mis lamandab, sest ülesanne on selle poliitika klassi laes, näeb välja täpselt nagu üks, mis lamandub, sest operaator lõpetas märkamise. Milline on järgmine probleem.

Lõksu 1: langev määr ei ole tõusev eduprotsent

Intervention määr mõõdab täpselt üht asja: kui palju käigust sa otsustasin omada. See otsus on sinu oma, tehtud reaalajas, ja see liigub. Ringi nullis võtad üle esimese halva lähenemise nurga; ringi kolm oled sa vaadanud poliitika toibumist tosina sellest ja lasid tal proovida. Sinu lävi liikus; poliitika ei pruugi. Määr langeb kummasti.

Inimese usk on vähemalt modelleeritud suurus kirjanduses, mitte eeldatud konstant. Sirius uuesti kaalub treening valimid ligikaudse inimese usaldusega ja optimeerib poliitika kaalutud käitumise kloonimisega, teatades 8 protsentilise tõusu simulatsioonis ja 27 protsenti reaalsete riistvara valdkonnas praeguse kunsti poliitika edukamääral, kahel konvergentsikiirusel. See käsitleb usaldust kui kaalu andmetel. See ei korrigeerida teie pea lävend ringi null ja ring kolm vahel.

Sa ei saa eemaldada triivi, seega paarita määr millegi oma lävend ei saa puudutada: fikseeritud valiku proove, milles sa ei sekkumata, hindatud kriteeriumi vastu kirjutatuna enne ringi. Määr, mis langeb, kui paaritud eduprotsent jääb paigale, on habitatsiooni allkiri - väärt tabamist, sest seestpoolt silmuse tundub see edenemiselt.

Lõksu 2: ilma fikseeritud protokollita, mõõdad sa ruumi

Päris roboti hindamine on kallis ja raske korrata. SIMPLER autorid motiveerivad simuleeritud hindamist vaatluse tõega, et selliste poliitikate päris-maailma hindamine ei ole skaleeritav ja silmitsi tulemuste paljunemise probleemidega, mis halveneb, kui poliitikad laienevad oma ülesannete spektrile. RoboArena rünnakud sellest teisest küljest üle kuuega kümnega paarses päris roboti hindamise episoodis seitsmea üldise poliitika jooksul, mis teostavad seitsme akadeemilise asutuse hindajad DROID platvormil. Selle hindajad valivad oma ülesanded ja keskkonna, kuid peavad hindama poliitika paare kaheksindselt; artikkel teeb teatavaks, et see rahva asemel autonoomselt paremate üldiste poliitikate jõudlusena rangemate poliitikate jõudlusena kui tavapärane tsentraliseeritud hindamine.

Sa ei käita 600 paarset episoodi ühel SO-100 töötoas. Mida sa saad teha on eemaldada dispersioon, mida sa kontrolli - piisavalt igav nimekiri, et see tavaliselt jäetakse vahele.

Seejärel aritmeetika, armetu katseteta arv töötube võib endale lubada. Normaalse ligikaudse all on 60 protsenti edu üle 20 katse kanab standardviga lähedal üksteist protsendipunkti - ruutjuur 0,6 kord 0,4 üle 20 - ja erinevus kahe sellise ringi vahel kanab umbes 15. Hüpe 60-st 70 protsendile on seega vastuolu millega midagi ei juhtunud. Viiskümmend katset kannavad numbri ringi umbes seitse punkti ja maksavad õhtul.

See asümmeetria on argument määra sekkumiseks: arvutatud üle tuhandete kaadrite mitte kahekümne binaarse tulemuse, liigub see varasemalt ja sujuvamalt. Hoiatus on, et episoodi raames olevad kaadrid on raskelt korreleeritud - üks halb haardumise tuhandveerand järjestikused sekkumise kaadrid - nii efektiivne valimi suurus on lähedasem üleandmiste arvule. Käsitlets määra varase indikaatorina ja edukuse määr aeglase maapinna tõena.

Lõksu 3: treenimine ainult paranduste põhjal painutab poliitikale

Parandused on huvitavad andmed, nii et instinkt on neile koolitada. Ära tee seda. Nad tulevad ehituse tõttu olekuruumi kitsast lõigust, kus poliitika juba nurjus ja räägivad peaaegu midagi käigu enamiku kohta, mis töötas. Häälestada ainult sellisel slaidil ja sa saad poliitika head taastumise halvast lähenemisest, mis on unustanud kuidas teha puhtait. Mandlekar ja kolleegid ehitasid oma kaug sekkumise süsteem selle ümber. Nende raamistik: manipuleerimise ülesanded sisaldavad kitsaskohti, mis nõuavad täpse tegevuse jada - pod kohvmasinasse sisestamine on nende näide - kus väikesed kõrvalekalded viivad olekutesse demonstratsioonid kunagi ei katnud. Nende algoritm treenib iteratiivselt uue andmete kohta nii poliitika õpib läbida need kitsaskohad, ja nad teatavad, et agendid koolitatud sekkumise andmetel alistub agendid treenitud samaväärsete valimite arvule mittesekkertsiooni demonstraatoreist.

Paranduse-ainult häälestamine versus koostatud segu

treening dokumentatsioon. Mida ükski tööriist ei tee teile on salvestada milline suhe tootis milline kõver.Lõksu 4: inimene ei ole järjekindel ekspert

DAggerite teooria eeldab eksperti. Sa ei ole üht tehnilises mõttes: sinu parandused ei ole valimid fikseeritud tingimuslikust jaotusest tegude üle. ACT autorid nimetavad seda, kui loetlevad takistused häppemanipu manipulatsioonile - vead liituvad aja jooksul ja inimese demonstratsioonid võivad olla mittestatsionaarne. Nende süsteem jõuab siiani kaheksakümmend kuni üheksakümmend protsenti edu kuue päris ülesande kohta kümnen minuti demonstratsioonist, nii et probleem on lahendatav, mitte puudu.

Robomimic uuringu teeb punkti andmete küljelt. Kuue ühendamata algoritmiga viiel simuleeritud ja kolmel tegelikus maailma mitmeetapilise ülesandel on selle õppetunnid järgmised: tundlikkus disainivalikutele, sõltuvus demonstratsiooni kvaliteedist ja - üks, mis siin teeb kõige rohkem haiget - muutlikkus lõppukriteeriumide tõttu, sest treening ja hindamise eesmärgid erinevad. Madalaima kaotusega kontrollpunkt ei ole usaldusväärselt kõrgeima edukuse määraga.

On riistvara versioon sellest: sisendtüüp kujundab paranduse. A

Robomimic uuringu teeb punkti andmete küljelt. Kuue ühendamata algoritmiga viiel simuleeritud ja kolmel tegelikus maailma mitmeetapilise ülesandel on selle õppetunnid järgmised: tundlikkus disainivalikutele, sõltuvus demonstratsiooni kvaliteedist ja - üks, mis siin teeb kõige rohkem haiget - muutlikkus lõppukriteeriumide tõttu, sest treening ja hindamise eesmärgid erinevad. Madalaima kaotusega kontrollpunkt ei ole usaldusväärselt kõrgeima edukuse määraga.juhi-järgija seadistus toodab pideva, inimeste temboga trajektoorid. Klaviatuuri nudgid on hõlmatud serveri poolt - kaks kraadi käevarreliigestele, neli gripile - nii sama tahtmata saabub trepist väikeseid samme. Liugurid saadavad absoluutsed sihid ja server liigub kõige kuus kraadi nende poole kutsus. Kolm režiimi, kolm tegevuse jaotus; kõik kolm seguneda üks paranduse komplekt ja siis imestus miks lähenemise pöördus twitchy ise tekitatud. teleoperation dokumentatsioon katab mida iga režiim saadab.

Kaaluta sekkumisi: IWR ja mis tuli pärast

Kui parandused on väärt vähemus, järkige parandus on kaal mitte eksklusiivsus. Intervention Weighted Regression on viiterakendus: andmed jaotatakse sekkumis- ja mittesekkertsiooni valimiteks ja kaks partitsiooni valitakse võrdses osades treenimise ajal. Paranduse komplekt, mis on viis protsenti kaadrite siis panustab poole gradiendi ilma nominaalbeetuse katoamiseta jaotus.

Võrdne osakaal on alguspunkt, mitte seadus. Sirius üldistab selle asendades binaarse partitsiooni pideva kaalu lähendatud inimese usaldusest; Sirius laivastus liigutab otsuse upstreamis, kasutades visuaalse maailma mudelit ja anomaaliate ennustajaid otsustamiseks millal inimene on palutud üldse. Ühine lõng: sekkumis lipp on treening signaali, mitte ainult raamatupidamise veerg.

Neli mõõdikut on väärt logimist määra kõrval

• Üleandmised käigu kohta. Kakskümmend lühikest parandust ja üks pikk annavad sarnast määra ja kirjeldavad erinevaid poliitikaid - üks trebuient, üks pimepunkt.
• Keskmine sekkumise pikkus. Tõusev pikkus langenud arvule tähendab ülejäänud ebaõnnestumised on rasked, mis on mida viimaist progressi näeb välja.
• Aeg esimeseks sekkumiseks. Poliitika, mis saab kaugemale enne abi vajadust parandab isegi kui kokku määr on lamane.
• Kus sekkumised liituvad. Kastke lipp normaliseeritud episoodi progressiga; stabiilne tipp ringide kaupa osutab ühele kitsaskohale.

Ring protokoll saab tegelikult käitada

Mõõdetud ring on kuus etappi ja toodab ühe rea logis. Esimesed neli on silmus; viimased kaks teevad selle mõõtmiseks.

1. 1
   Külmuta hindamise protokoll enne ring null

   Kirjuta üles algasend, objekti paigutus, kaamerad, katste arv, aeg ja edukriteeriumi. Fotojoonis laud. Kui dokument peab muutuma, algab seeria uuesti.

2. 2
   Mõõta algjoon

   Käita protokoll ilma sekkumisteta ja salvestada edu; siis käita üks instrumenteeritud seanss käepigistuse lubatud ja salvestada määr. Need kaks numbrit on ring null.

3. 3
   Kogu parandused ühes järjepidevuses stiilis

   Üks sisendtüüp ringi kohta, üks operaator kui saad hallata. Võta üle kriteerium, mille saad öelda kõvasti - "grippa rohkem kui kaks sentimeetrit üleandmisel" - ja hoida seda ringi jaoks.

4. 4
   Treieage iga episood sama päev

   Parandus, hindamine või hülgamine. Ebaselged episoodid hüljatakse, mitte salvestatakse teooril et rohkem andmeid aitab - parandus, milles sa ise pöödud on halvem kui pole episoodi.

5. 5
   Koostage segu selgesõnaliselt

   Algne demonstratsioon pluss parandused, episoodi valik allikas. Salvestage alus loendus, paranduse loendus ja mis tahes kaalut - see on väli, mida tahad kolme nädala pärast.

6. 6
   Jätkake eelnevast kontrollpunktist ja mõõta uuesti

   Treenimata koostatud andmestik eelmise kontrollpunkti asemel baasi mudelist, käita külmutatud protokoll pluss üks instrumenteeritud seanss, lisa rida ja võrdle eelmiste kahe ringi vastu.

Kaks piiri muudavad kuidas lugeda nõrga ringi. Jätkamine kontrollpunktist lähtestab kaalud sellest - mitte optimisaatori jätk, seega ajakava algab värskelt ja lühike käik konvergeeritud kontrollpunktist võib liigutada väga vähe. Ja juhi-joonda liikumise algusel käepigistuse on kõige vähem miilide päris riistvara midagi paarist; kui parandused kõik algavad kummalise siirdemehaanika, vaata seal enne segurite süüd.

Mida numbrid ei saa teile rääkida

Midagi sellest ei lahendata ja hästi kaardistatud kõver ei peaks sind muidu veenduma. Intervention määr mõõdab liigese süsteemi - poliitika, riistvara, operaator, ruum - ja omistab midagi omaette. See ei saa hinnata kas parandused olid head ja see langeb õnnelikult ülesandel, mis muutus kergemaks sest objekt triivid kaks sentimeetrit lähemale kolme nädala jooksul.

Mida ta teeb on pöörda vague muljet veeru, mille vastu saad vaielda. Alternatiiv ei ole parem mõõdik; see on kolme nädala kogumine parandused kõver oleks ütlenud teile pärast ringi kolm peatama. Küsitelu kirjandus määrab interaktiivse immitatsiooni õppimist inimese tagasisidet antud intermitently ajal roboti täitmise lubamine võrgutamiseks parandus käitumine; pere on lai ja pole paigutus sellest töötab ilma numbrita ringi kohta. Vt ka SO-100 immitatsiooni õppimise juhend baasi andmestiku kohta, mida segu vastu poliitika käitamine järeldusmise külg ja DAgger silmuse leht rakendatud torujuhti jaoks.

Hoia logi hoidlas, mitte märkmikus: ringid on päevad eraldi, riistvara saab taastada ja isik lugemine kõvera oktoobris teie augustis mäluteta. dokumentatsioon FAQ katab tegevuslikul ükskikud välja jäetud siin.