Die Meet van 'n DAgger-lus: Intervensiekoers, Evalueringsprotokol, en die Slaggate Tussenin

'n DAgger-ronde voel produktief terwyl jy daarin is. Jy bestuur die beleid, neem oor wanneer dit die greep verbrou, stoor die korreksies, hertrain, en die volgende loop lyk - jy sou sweer - 'n bietjie gladder. Twee rondes later kan jy nie sê of enigiets verander het nie, want "'n bietjie gladder" is nie 'n hoeveelheid nie.

Die lus benodig een getal per ronde, en in 'n mens-gehekte lus is daardie getal amper gratis: die fraksie van die loop waartydens jy beheer gehad het in plaas van die beleid. Hierdie artikel definieer dit sodat twee mense dieselfde waarde bereken, dit log, die resulterende kurwe lees, en die vier maniere noem waarop dit jou mislei wanneer dit op sy eie staan. Vir die teorie wat hierdie stuk aanneem, sien die DAgger-verduideliking en die mens-gehekte variant; die praktiese eweknie is die uitvoer van 'n DAgger-lus op 'n SO-100.

Waarom 'n ronde hoegenaamd 'n getal nodig het

DAgger bestaan weens 'n verspreidingsprobleem, en verspreidingsprobleme is onsigbaar vir die oog. Ross en Bagnell het getoon dat nabootsingsleer op 'n vaste demonstrasiestel lei tot opeenhopende foute en 'n spytgrens wat kwadraties groei met die tydshorison: sodra die leerder die toestande verlaat wat die demonstreerder besoek het, sê niks in die data hoe om terug te kom nie. DAgger herstel dit deur te itereer - hardloop die beleid, merk die toestande wat dit besoek, voeg saam, hertrain - wat Ross, Gordon en Bagnell as 'n reduksie tot spytlose aanlynleer beskou.

Daardie raamwerk het 'n gevolg wat mense mis. Die waarborg gaan oor die reeks beleide oor iterasies heen, nie enige enkele loop nie. Dit sê niks oor of jou ronde drie gehelp het nie. Die enigste manier om te weet, is om elke iterasie te meet. Kelly en kollegas het HG-DAgger bekendgestel omdat klassieke DAgger die kenner om aksie-etikette vra terwyl die beginner steeds in beheer is, wat die artikel argumenteer veiligheid kan verminder en, by menslike kenners, waarskynlik etiketkwaliteit sal verlaag weens waargenome aktueerdervertraging. HG-DAgger leer ook 'n veiligheidsdrempel vir 'n risikometriek gebaseer op modelonsekerheid, en rapporteer verbeterde werkverrigting bo beide DAgger en gedragskloning op 'n bestuurstaak. Dit publiseer geen intervensietellings nie; dié produseer jy self.

Die koers definieer sodat twee mense dieselfde getal kry

Die definisie is een reël: intervensieraampies gedeel deur raampies van die loop. Alles moeilik skuil in wat as 'n raampie tel en wat as 'n loop tel.

Raampies, nie episodes nie

Om episodes met minstens een intervensie te tel, is nutteloos: tien episodes met een stampie elk en tien waarin jy tagtig persent bestuur het, gee albei "10/10". Die raampietelling skei hulle, en dit is die granulariteit wat die opname reeds het - in die LeRobot-datastelformaat is elke tydstap 'n ry, sodat die intervensievlag een Boole-kolom langs toestand en aksie is. Hier word dit per raampie geskryf die oomblik wat oorname begin, en uitgevee wanneer beheer terugkeer.

Die noemer sluit die korreksies in

Twee noemers is verdedigbaar - totale raampies van die loop, of raampies wat die beleid outonoom bestuur het - en hulle wyk sterk uiteen by hoë intervensievlakke. Neem oor vir 400 van 1000 raampies en die eerste gee 40 persent, die tweede 67 persent. Om een ronde gemeet op die eerste manier met die volgende gemeet op die tweede te vergelyk, is hoe 'n werklike verbetering verdwyn. Neem totale raampies en heroorweeg die keuse nooit halfpad deur die reeks nie.

Besluit een keer wat met oorhandigingsraampies gebeur

Daar is altyd 'n naat. Wanneer beheer oorgedra word, behoort sommige raampies aan geen kant nie: die arm word vasgehou, die leier belyn, die opname is bevries. In hierdie pyplyn bly daardie oorhandigingsraampies in die rou stroom en kom nooit in die gekureerde episode nie - hulle is nóg beleidsgedrag nóg 'n korreksie werd om op te train. Tel die naat elke ronde op dieselfde manier: teen 30 Hz is ses oornames met 'n twee-sekonde naat elk 360 raampies, genoeg om 'n persentasiepunt te verskuif.

Dit log sodat die getal die sessie oorleef

'n Metriek in die statuspaneel van 'n lopende proses is 'n aflesing: dit verdwyn by herbegin en kan nie geplot word nie. Een aanhegsel-alleen-reël per loop dek die hele reeks - insluitend watter kontrolepunt jy bestuur het, aangesien dit elke ronde verander en om hulle te verwar wat volg ongeldig maak.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Twee velde dra die gewig. train_mix is wat jy die volgende opleidingstaak gevoer het; sonder dit kan niks toegeskryf word nie. eval_protocol noem die vaste toets wat jy daarna uitgevoer het, en is die veld wat die meeste leeg gelaat word. In die ay-robots-kajuit rapporteer die oornamestatus die intervensieraampietelling vir die lopende sessie, sodat log eerder transkripsie as instrumentasie is; die datastel-dokumentasie dek waar die per-raampie-kolomme land.

Die kurwe lees: drie rondes, een uitspraak

Drie rondes is die minimum vir 'n lesing, want twee punte is altyd 'n lyn. Die tabel hieronder is 'n boekhoutemplaat met plekhouergetalle, nie metings van enige loop nie. Jy soek 'n monotone afname wat gepaard gaan met 'n toename in sukses op 'n vaste toets.

Rondes een en twee doen werk. Ronde drie nie: 11.3 teenoor 11.1 persent is binne die loop-tot-loop-variasie van enigiets wat op 'n fisiese arm gemeet word, en 'n vierde ronde van dieselfde korreksies bestee 'n middag vir niks. Die plat segment sê verander iets struktureels.

• Die oorblywende mislukkings is nie regstelbaar deur teleoperasie nie - voorwerp buite bereik, greipergeometrie, 'n gewrig by sy limiet. Geen korreksiedata herstel 'n kinematiese muur nie.
• Die korreksies is te min teenoor die basisdatastel om die gradiënt te beweeg, en niks weeg hulle nie.
• Die korreksies weerspreek mekaar, sodat die beleid twee strategieë middel en tussen hulle land.
• Die mislukking is stroomop: 'n kamera het beweeg, die beligting het verander, die polsaansig stem nie meer met opleiding ooreen nie.
• Die taak is by die plafon van hierdie beleidsklas op hierdie hardeware, en die volgende stap is meer basisdata.

Die laaste twee is nie mislukkings van die lus nie. In Sirius-Fleet is 'n afnemende behoefte aan die mens die beoogde uitkoms: namate robot-outonomie verbeter, pas sy afwykingsvoorspellers hul voorspellingskriteria aan, wat lei tot minder versoeke om menslike intervensie en geleidelik die menslike werklading oor tyd verminder. Daar pas die kriterium doelbewus aan. In 'n handmatige lus pas joune ook aan, stilweg - sodat 'n koers wat plat word omdat die taak by sy plafon is, presies lyk soos een wat plat geword het omdat die operateur opgehou het om op te let. Wat die volgende probleem is.

Slaggat 1: 'n dalende koers is nie 'n stygende suksessyfer nie

Die intervensiekoers meet presies een ding: hoeveel van die loop jy besluit het om oor te neem. Daardie besluit is joune, in reële tyd geneem, en dit beweeg. In ronde nul neem jy oor by die eerste slegte naderingshoek; teen ronde drie het jy die beleid dosyne kere sien herstel daaruit, en jy laat dit probeer. Jou drempel het beweeg; die beleid het miskien nie. Die koers val hoe dan ook.

Menslike vertroue is ten minste 'n gemodelleerde hoeveelheid in die literatuur eerder as 'n aangenome konstante. Sirius herweeg opleidingsmonsters met benaderde menslike vertroue en optimeer die beleid met geweegde gedragskloning, en rapporteer 'n toename van 8 persent in simulasie en 27 persent op werklike hardeware bo die nuutste stand van sake in beleid-suksessyfer, teen twee keer die konvergensiespoed. Dit hanteer vertroue as 'n gewig op die data. Dit korrigeer nie die drempel in jou kop tussen ronde nul en ronde drie nie.

Jy kan die drywing nie verwyder nie, dus paar die koers met iets wat jou drempel nie kan raak nie: 'n vaste stel pogings waarin jy glad nie intervenieer nie, geëvalueer teen 'n kriterium wat voor die ronde geskryf is. 'n Koers wat val terwyl die gepaarde suksessyfer staan bly, is die kenmerk van gewoontevorming - die moeite werd om op te let, want van binne die lus voel dit soos vooruitgang.

Slaggat 2: sonder 'n vaste protokol meet jy die vertrek

Werklike-robot-evaluering is duur en moeilik om te herhaal. Die SIMPLER-outeurs motiveer gesimuleerde evaluering met die waarneming dat werklike-wêreld-evaluering van sulke beleide nie skaalbaar is nie en herhaalbaarheidsuitdagings in die gesig staar wat waarskynlik gaan vererger namate beleide hul taakspektrum verbreed. RoboArena val dit van die ander kant aan, met meer as 600 gepaarde werklike-robot-evalueringsepisodes oor sewe generalis-beleide, uitgevoer deur evalueerders by sewe akademiese instellings op die DROID-platform. Sy evalueerders kies hul eie take en omgewings, maar moet pare beleide dubbelblind beoordeel; die artikel rapporteer dat hierdie skaargebaseerde rangorde generalis-beleid-werkverrigting meer akkuraat naspoor as konvensionele, gesentraliseerde evaluering.

Jy gaan nie 600 gepaarde episodes op een SO-100 in 'n werkswinkel uitvoer nie. Wat jy wel kan doen, is om die variansie wat jy beheer te verwyder - 'n lys vervelig genoeg dat dit gewoonlik oorgeslaan word.

Dan die rekenkunde, onvergewensgesind by die aantal pogings wat 'n werkswinkel kan bekostig. Onder die normale benadering dra 60 persent sukses oor 20 pogings 'n standaardfout van ongeveer 11 persentasiepunte - die vierkantswortel van 0.6 maal 0.4 gedeel deur 20 - en die verskil tussen twee sulke rondes dra ongeveer 15. 'n Sprong van 60 na 70 persent is dus versoenbaar met niks wat gebeur het nie. Vyftig pogings bring die per-ronde-syfer tot ongeveer 7 punte, en kos 'n middag.

Hierdie asimmetrie is die argument vir die intervensiekoers: bereken oor duisende raampies eerder as twintig binêre uitkomste, beweeg dit vroeër en gladder. Die voorbehoud is dat raampies binne 'n episode swaar gekorreleer is - een slegte greep lewer honderd opeenvolgende intervensieraampies - sodat die effektiewe monstergrootte nader aan die aantal oornames is. Behandel die koers as die vroeë aanwyser en die suksessyfer as stadige grondwaarheid.

Slaggat 3: opleiding wat slegs op korreksies fokus, verbuig die beleid

Die korreksies is die interessante data, dus is die instink om daarop op te lei. Moenie. Hulle kom per konstruksie uit die smal snit van toestandsruimte waar die beleid reeds gefaal het, en sê byna niks oor die meerderheid van die loop wat gewerk het nie. Fynafstel op net daardie snit, en jy kry 'n beleid wat goed is om van 'n verbrouide nadering te herstel, maar wat vergeet het hoe om 'n skoon een te maak.

Mandlekar en kollegas het hul afstandsintervensiestelsel hieromheen gebou. Hul raamwerk: manipulasietake bevat bottelnekstreke wat 'n reeks presiese aksies vereis - die insit van 'n peul in 'n koffiemasjien is hul voorbeeld - waar klein afwykings lei na toestande wat die demonstrasies nooit gedek het nie. Hul algoritme train iteratief op die nuwe data sodat die beleid leer om daardie bottelnekke te deurkruis, en hulle rapporteer dat agente wat op intervensiedata opgelei is, agente klop wat op 'n ekwivalente aantal monsters van nie-intervensionele demonstreerders opgelei is.

Die mengverhouding is 'n hiperparameter en verdien om neergeskryf te word. Die samestelling van die volgende datastel is waar dit besluit word: oorspronklike demonstrasies plus die korreksiestel, episode-seleksie eksplisiet per bron eerder as 'n reël wat stilweg intrek wat ook al beskikbaar is. Hier is dit een saamstel-stap in die kajuit, en die resultaat is 'n gewone datastel - sien die opleidingsdokumentasie. Wat geen instrument vir jou doen nie, is om aan te teken watter verhouding watter kurwe opgelewer het.

Slaggat 4: die mens is nie 'n konsekwente kenner nie

DAgger se teorie neem 'n kenner aan. Jy is nie een in die tegniese sin nie: jou korreksies is nie monsters uit 'n vaste voorwaardelike verspreiding oor aksies nie. Die ACT-outeurs noem dit wanneer hulle die hindernisse vir fyn manipulasie lys - foute hoop oor tyd op, en menslike demonstrasies kan nie-stasionêr wees. Hul stelsel bereik steeds 80 tot 90 persent sukses op ses werklike take vanaf tien minute se demonstrasies, so die probleem is hanteerbaar, nie afwesig nie.

Die robomimic-studie maak die punt van die datakant af. Oor ses vanlyn-algoritmes op vyf gesimuleerde en drie werklike-wêreld multi-stadium-take, sluit sy lesse sensitiwiteit vir ontwerpkeuses in, afhanklikheid van demonstrasiekwaliteit, en - die een wat hier die meeste seermaak - veranderlikheid wat uit stopkriteria ontstaan, omdat opleidings- en evalueringsdoelwitte verskil. Die kontrolepunt met die laagste verlies is nie betroubaar die een met die hoogste suksessyfer nie.

Daar is 'n hardeware-weergawe hiervan: die invoermodus vorm die korreksie. 'n leier-volger-opstelling produseer deurlopende trajekte teen mensetempo. Sleutelbordstampies word hard deur die bediener geklamp - twee grade per oproep op die armgewrigte, vier op die griper - sodat dieselfde bedoeling as 'n trap van klein stappe aankom. Skuiwers stuur absolute teikens en die bediener beweeg hoogstens ses grade daarheen per oproep. Drie modusse, drie aksieverspreidings; om al drie in een korreksiestel te meng en dan te wonder waarom die nadering skoklaerig geword het, is selfaangedaan. Die teleoperasie-dokumentasie dek wat elke modus stuur.

Die weeg van intervensies: IWR en wat daarna gekom het

As korreksies die waardevolle minderheid is, is die beginselvaste oplossing gewig eerder as eksklusiwiteit. Intervention Weighted Regression is die verwysingsimplementering: die data word verdeel in intervensie- en nie-intervensiemonsters, en die twee verdelings word in gelyke verhouding tydens opleiding gemonster. 'n Korreksiestel wat vyf persent van die raampies is, dra dan die helfte van die gradiënt by, sonder dat die nominale gedrag uit die verspreiding verdwyn.

Gelyke verhouding is 'n beginpunt, nie 'n wet nie. Sirius veralgemeen dit deur die binêre verdeling met 'n deurlopende gewig van benaderde menslike vertroue te vervang; Sirius-Fleet skuif die besluit stroomop, en gebruik 'n visuele wêreldmodel en afwykingsvoorspellers om te besluit wanneer 'n mens hoegenaamd gevra word. Die gemeenskaplike draad: die intervensievlag is 'n opleidingsein, nie net 'n boekhoukolom nie.

Vier metrieke die moeite werd om langs die koers te log

• Oornames per loop. Twintig kort korreksies en een lang een gee soortgelyke koerse en beskryf verskillende beleide - een skoklaerig, een met 'n enkele blinde kol.
• Gemiddelde intervensielengte. Stygende lengte met 'n dalende telling beteken die oorblywende mislukkings is die moeilike gevalle - presies hoe laat vooruitgang lyk.
• Tyd tot eerste intervensie. 'n Beleid wat verder kom voordat dit hulp nodig het, verbeter selfs wanneer die totale koers plat is.
• Waar intervensies saamklomp. Groepeer die vlag volgens genormaliseerde episode-vordering; 'n stabiele piek oor rondes heen dui op een bottelnek.

'n Ronde-protokol wat jy werklik kan uitvoer

'n Gemete ronde het ses stappe en lewer een ry in die log. Die eerste vier is die lus; die laaste twee maak dit 'n meting.

1. 1
   Vries die evalueringsprotokol voor ronde nul

   Skryf beginpose, voorwerpplasing, kameras, aantal pogings, uittydperk en sukseskriterium neer. Fotografeer die tafel. As die dokument moet verander, herbegin die reeks.

2. 2
   Meet die basislyn

   Voer die protokol uit sonder intervensies en teken die suksesse aan; voer dan een geïnstrumenteerde sessie uit met oorname geaktiveer en teken die koers aan. Daardie twee getalle is ronde nul.

3. 3
   Versamel korreksies in een konsekwente styl

   Een invoermodus per ronde, een operateur as jy dit kan bestuur. Neem oor op 'n kriterium wat jy hardop kan stel - 'griper meer as twee sentimeter verkeerd tydens nadering' - en hou daarby vir die ronde.

4. 4
   Triage elke episode dieselfde dag

   Korreksie, evaluering of verwerp. Dubbelsinnige episodes word verwerp, nie gestoor op die teorie dat meer data help nie - 'n korreksie waarin jy self verbrou het, is erger as geen episode nie.

5. 5
   Stel die mengsel eksplisiet saam

   Oorspronklike demonstrasies plus korreksies, episode-seleksie per bron. Teken basistelling, korreksietelling en enige weging aan - dit is die veld wat jy oor drie weke sal wil hê.

6. 6
   Gaan voort vanaf die kontrolepunt, meet dan weer

   Train die saamgestelde datastel vanaf die vorige kontrolepunt eerder as die basismodel, voer die bevrore protokol plus een geïnstrumenteerde sessie uit, heg die ry aan, en vergelyk teen die vorige twee rondes.

Twee beperkings verander hoe jy 'n swak ronde lees. Om vanaf 'n kontrolepunt voort te gaan, inisialiseer die gewigte daarvandaan - nie 'n optimeerder-hervatting nie, sodat die skedule vars begin en 'n kort loop vanaf 'n gekonvergeerde kontrolepunt baie min kan beweeg. En die leier-belyningsbeweging aan die begin van 'n oorname het die minste kilometers op werklike hardeware van enigiets in die ketting; as korreksies almal met 'n vreemde oorgangsverskynsel begin, kyk daar voordat jy die mengsel blameer.

Wat die getalle jou nie kan vertel nie

Niks hiervan is opgelos nie, en 'n netjiese kurwe behoort jou nie andersom te oortuig nie. Die intervensiekoers meet 'n gesamentlike stelsel - beleid, hardeware, operateur, vertrek - en skryf op sy eie niks toe nie. Dit kan nie beoordeel of die korreksies goed was nie, en dit sal met graagte val op 'n taak wat makliker geword het omdat die voorwerp oor drie weke twee sentimeter nader gedryf het.

Wat dit wel doen, is om 'n vae indruk in 'n kolom te verander waarmee jy kan redeneer. Die alternatief is nie 'n beter metriek nie; dit is drie weke van korreksies versamel wat die kurwe jou, na ronde drie, sou vertel het om op te hou versamel. Die oorsigliteratuur definieer interaktiewe nabootsingsleer as menslike terugvoer wat intermitterend tydens robotuitvoering gegee word, wat 'n aanlynverbetering van die gedrag moontlik maak; die familie is wyd, en geen opstelling daarvan werk sonder 'n getal per ronde nie. Sien ook die SO-100-nabootsingsleergids vir die basisdatastel waarteen jy meng, die uitvoer van 'n beleid vir die inferensiekant, en die DAgger-lus-bladsy vir die geïmplementeerde pyplyn.

Hou die log in die repository, nie in 'n notaboek nie: rondes is dae uitmekaar, hardeware word herbou, en die persoon wat die kurwe in Oktober lees, is jy sonder enige herinnering aan Augustus. Die dokumentasie-FAQ dek die operasionele besonderhede wat hier weggelaat is.