Een DAgger-lus meten: interventiepercentage, evaluatieprotocol en de vallen daartussenin

Een DAgger-ronde voelt productief terwijl je erin zit. Je bestuurt het beleid, neemt over als het de greep bungelt, slaat de correcties op, retraint, en de volgende run ziet er uit - je zou durven zweren - iets soepeler. Twee rondes later kun je niet zeggen of iets is veranderd, omdat "iets soepeler" geen hoeveelheid is.

De lus heeft één getal per ronde nodig, en in een human-gated lus is dat getal bijna gratis: het aandeel van de run waarin je controle had in plaats van het beleid. Dit artikel definieert het zodat twee personen dezelfde waarde berekenen, registreert het, leest de resulterende curve, en noemt de vier manieren waarop het je misleidt wanneer het op zichzelf staat. Voor de theorie die dit stuk aanneemt, zie de DAgger-toelichting en de human-gated variant; het praktische tegenhanger is een DAgger-lus uitvoeren op een SO-100.

Waarom een ronde überhaupt een getal nodig heeft

DAgger bestaat vanwege een distributieproblem, en distributieproblemen zijn onzichtbaar voor het oog. Ross en Bagnell toonden aan dat imitatielering op een vaste demonstratieset leidt tot samengestelde fouten en een spijtrens die kwadratisch groeit in de tijdshorizon: zodra de leerling de staten verlaat die de demonstrator heeft bezocht, vertelt niets in de gegevens hoe het terugkomt. DAgger verhelpt dit door iteratie - voer het beleid uit, label de staten die het bezoekt, aggregeer, retraint - wat Ross, Gordon en Bagnell framen als een reductie tot no-regret online leren.

Die framing heeft een gevolg dat mensen overslaan. De garantie betreft de volgorde van beleidsmaatregelen over iteraties, niet één enkele run. Het zegt niets over of jouw ronde drie geholpen. De enige manier om het te weten is elk iteratie te meten. Kelly en collega's introduceerden HG-DAgger omdat klassieke DAgger de expert om actielabels vraagt terwijl de novice nog steeds de controle heeft, wat het artikel stelt kan de veiligheid verminderen en, met menselijke experts, waarschijnlijk de labelkwaliteit verslechteren door waargenomen actuatorvertraging. HG-DAgger leert ook een veiligheidsdrempel voor een op modelonzekerheid gebaseerde risicomaat en rapporteert verbeterde prestaties over zowel DAgger als behavioral cloning op een rijdataak. Het publiceert geen interventietellingen; die produceer je zelf.

Het tarief definiëren zodat twee personen hetzelfde getal krijgen

De definitie is één regel: interventieframes gedeeld door frames van de run. Alles moeilijks verbergt zich in wat als frame telt en wat als run telt.

Frames, geen episodes

Episodes tellen met minstens één interventie is nutteloos: tien episodes met elk één duwtje en tien waarin je tachtig procent hebt bestuurd, geven beide "10/10". Het framecount scheidt ze, en het is de granulariteit die de opname al heeft - in de LeRobot-gegevensvindingsformaat is elk tijdstip een rij, dus de interventievlag is één booleaanse kolom naast staat en actie. Hier wordt het per frame geschreven op het moment dat de overname begint en gewist wanneer de controle terugkeert.

De noemer bevat de correcties

Twee noemers zijn verdedigbaar - totale frames van de run, of frames die het beleid autonoom dreef - en ze wijken sterk af bij hoge interventieniveaus. Neem het over voor 400 van 1000 frames en de eerste geeft 40 procent, de tweede 67 procent. Het vergelijken van één ronde gemeten op de eerste manier tegen de volgende gemeten op de tweede manier is hoe een echte verbetering verdwijnt. Neem totale frames en herzie de keuze nooit halverwege de reeks.

Bepaal eenmaal wat er gebeurt met overdrachtsframes

Er is altijd een naad. Wanneer de controle overgaat, behoren sommige frames tot geen van beide zijden: de arm wordt vast gehouden, de leider is aan het uitlijnen, de opname is bevroren. In deze pijplijn blijven die overdrachtsframes in de ruwe stream en gaan nooit de bijgewerkte episode in - ze zijn noch beleidsgedrag noch een correctie waard om op te trainen. Tel de naad elke ronde op dezelfde manier: bij 30 Hz zijn zes overnames met elk een tweesecondennaad 360 frames, genoeg om een percentage punt te verplaatsen.

Het registreren zodat het getal de sessie overleeft

Een metriek in het statuspaneel van een actief proces is een aflezen: het verdwijnt na herstart en kan niet worden uitgezet. Één alleen-toevoegen regel per run dekt de hele reeks - inclusief welke checkpoint je dreef, aangezien dat elke ronde verandert en ze door elkaar halen invalidateert wat volgt.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Twee velden dragen het gewicht. train_mix is wat je aan de volgende trainingsklus hebt gegeven; zonder het kan niets worden toegeschreven. eval_protocol noemt de vaste test die je daarna hebt uitgevoerd, en is het veld dat meestal leeg wordt gelaten. In de ay-robots-cockpit rapporteert de overnamestatus het interventieframecount voor de actieve sessie, dus registreren is eerder transcriptie dan instrumentatie; de gegevensverzamelendocumentatie behandelt waar de per-frame kolommen landen.

De curve lezen: drie rondes, één vonnis

Drie rondes is het minimum voor een lezing, want twee punten zijn altijd een lijn. De onderstaande tabel is een boekhoudstelselsjabloon met plaatshouldernummers, geen metingen van een run. Je zoekt naar een monotone afname gekoppeld aan een toename van succes op een vaste test.

Rondes een en twee verrichten werk. Ronde drie niet: 11,3 tegen 11,1 procent ligt binnen de run-naar-run-variatie van alles wat op een fysieke arm is gemeten, en een vierde ronde van dezelfde correcties besteedt een middag aan niets. Het vlakke segment zegt iets structurels te veranderen.

• De resterende mislukkingen kunnen niet door teleoperation worden gecorrigeerd - object buiten bereik, grijpgeometrie, een gewricht aan zijn limiet. Geen correctiegegevens herstellen een kinematische muur.
• De correcties zijn te weinig tegen de basisgegevensset om de gradiënt te verplaatsen, en niets weegt ze.
• De correcties tegenspreken elkaar, dus het beleid gemiddelden twee strategieën en landt ertussenin.
• De fout is stroomopwaarts: een camera is verplaatst, de verlichting is veranderd, de polsweergave komt niet meer overeen met training.
• De taak bevindt zich aan het plafond van deze beleidsklasse op deze hardware, en de volgende stap is meer basisgegevens.

De laatste twee zijn geen mislukkingen van de lus. In Sirius-Fleet is een afnemende behoefte aan de mens het geplande resultaat: naarmate de robotautonoomie verbetert, passen de anomaliedetectoren hun voorspellingscriteria aan, wat leidt tot minder verzoeken om menselijke interventie en geleidelijk minder menselijke werkbelasting in de tijd. Daar past het criterium opzettelijk aan. In een handmatige lus past de jouwe ook aan, in stilte - dus een percentage dat afvlakt omdat de taak aan zijn plafond is, ziet er precies hetzelfde uit als één die afvlakte omdat de exploitant stopte met opmerken. Wat het volgende probleem is.

Valstrik 1: een dalend percentage is geen stijgend succespercentage

Het interventiepercentage meet precies één ding: hoeveel van de run je besloot te bezitten. Die beslissing is van jou, gemaakt in real-time, en het beweegt. In ronde nul neem je over bij de eerste slechte naderingshoek; tegen ronde drie heb je het beleid zien herstellen van een dozijn ervan en je laat het proberen. Je drempel verplaatst; de beleid misschien niet. Het percentage daalt hoe dan ook.

Menselijk vertrouwen is in de literatuur op zijn minst een gemodelleerde hoeveelheid in plaats van een aangenomen constante. Sirius herweegt trainingssteekproeven met benaderd menselijk vertrouwen en optimaliseert het beleid met gewogen behavioral cloning, meldt een 8 procent boost in simulatie en 27 procent op echte hardware boven de stand van de techniek in beleidsucces-percentage, met twee keer de convergentiesnelheid. Dat behandelt vertrouwen als een gewicht op de gegevens. Het corrigeert niet de drempel in je hoofd tussen ronde nul en ronde drie.

Je kunt de drift niet verwijderen, dus koppel het percentage aan iets wat je drempel niet kan raken: een vaste reeks proeven waarin je helemaal niet ingrijpt, gescoord tegen een criterium dat voor de ronde is geschreven. Een percentage dat daalt terwijl het gekoppelde succespercentage op zijn plaats blijft, is de handtekening van habituatie - het waard om op te vangen, want van binnenuit de lus voelt het als vooruitgang.

Valstrik 2: zonder een vast protocol meet je de ruimte

Evaluatie van echte robots is duur en moeilijk om te herhalen. De SIMPLER-auteurs motiveren gesimuleerde evaluatie met de opmerking dat evaluatie in de echte wereld van dergelijke beleidsmaatregelen niet schaalbaar is en reproduceerbaarheidsproblemen ondergaat die waarschijnlijk verslechteren naarmate beleidsmaatregelen hun taakspectrum verbreden. RoboArena valt het van de andere kant aan, met meer dan 600 pairwise evaluatie-episodes van echte robots over zeven generalistische beleidsmaatregelen, uitgevoerd door evaluators op zeven academische instellingen op het DROID-platform. De evaluators kiezen hun eigen taken en omgevingen, maar moeten beleidsparendubbel-blind beoordelen; het artikel rapporteert dat deze crowdsourcingranking generalistische beleidsmaatregelen nauwkeuriger bijspijkert dan conventionele, gecentraliseerde evaluatie.

Je zult geen 600 gepaarde episodes op één SO-100 in een workshop. Wat je kunt doen, is de variantie die je controleert verwijderen - een lijst saai genoeg dat het meestal wordt overgeslagen.

Dan de rekenkunde, onverzoenlijk bij het aantal proeven dat een workshop zich kan veroorloven. Onder de normale benadering draagt 60 procent succes over 20 proeven een standaardfout dicht bij 11 procentpunten - de wortel van 0,6 maal 0,4 over 20 - en het verschil tussen twee dergelijke rondes draagt ongeveer 15. Een sprong van 60 naar 70 procent is daarom consistent met niets wat is gebeurd. Vijftig proeven brengen de per-rondefiguur op ongeveer 7 punten, en kosten een middag.

Deze asymmetrie is het argument voor het interventiepercentage: berekend over duizenden frames in plaats van twintig binaire uitkomsten, beweegt het eerder en soepeler. De voorbehoud is dat frames binnen een episode sterk gecorreleerd zijn - één slechte greep levert honderd opeenvolgende interventieframes - dus de effectieve steekproefomvang ligt dichter bij het aantal overnames. Behandel het percentage als de vroege indicator en het succespercentage als langzame grondwaarde.

Valstrik 3: training alleen op correcties buigt het beleid

De correcties zijn de interessante gegevens, dus het instinct is om erop te trainen. Niet doen. Ze zijn geconstrueerd uit de smalle slice van de toestandsruimte waar het beleid al mislukte en zeggen bijna niets over het merendeel van de run die werkte. Fijn-tune alleen op die slice en je krijgt een beleid dat goed is in het herstellen van een verpestte benadering dat vergeten is hoe je een schone maakt.

Mandlekar en collega's bouwden hun teleinterventiesysteem hieromheen. Hun framing: manipulatietaken bevatten knelpuntgebieden die een reeks nauwkeurige acties vereisen - het invoegen van een pod in een koffiemachine is hun voorbeeld - waarbij kleine afwijkingen leiden tot staten die de demonstraties nooit hebben behandeld. Hun algoritme traint iteratief op de nieuwe gegevens zodat het beleid leert die knelpunten te doorkruisen, en ze rapporteren dat agenten die op interventiegegevens zijn getraind agents verslaan die op een gelijkwaardig aantal steekproeven van niet-interventiedemonstrateurs zijn getraind.

De mengerverhouding is een hyperparameter en verdient opschrijving. Het samenstellen van de volgende gegevensverzameling is waar het wordt bepaald: originele demonstraties plus de correctieset, episodeselectie expliciet per bron in plaats van een regel die in stilte pakt wat beschikbaar is. Hier is dat een samenstelstap in de cockpit, en het resultaat is een gewone gegevensverzameling - zie de trainsdocumentatie. Wat geen tool voor je doet, is opnemen welke verhouding welke curve produceerde.

Valstrik 4: de mens is geen consistente expert

DAgger's theorie gaat ervan uit dat er een expert is. Je bent er niet in de technische zin: je correcties zijn geen steekproeven uit een vaste voorwaardelijke verdeling over acties. De ACT-auteurs noemen dit bij het opsommen van de hindernissen voor fijne manipulatie - fouten stapelen zich in de tijd op, en menselijke demonstraties kunnen niet-stationair zijn. Hun systeem bereikt nog steeds 80 tot 90 procent succes op zes echte taken van tien minuten demonstraties, dus het probleem is werkbaar, niet afwezig.

De robomimic-studie maakt het punt vanaf de datakant. Over zes offline algoritmes op vijf gesimuleerde en drie echte multi-stage taken, bevatten de lessen gevoeligheid voor ontwerkkeuzes, afhankelijkheid van demonstratiekwaliteit, en - degene die hier het meest pijn doet - variabiliteit voortvloeiend uit stoppingscriteria, omdat trainings- en evaluatiedoelstellingen verschillen. Het checkpoint met het laagste verlies is niet betrouwbaar degene met het hoogste succespercentage.

Er is een hardwareversie hiervan: de invoermodus vormt de correctie. Een leader-follower opstelling produceert continue, mensgestuurd trajecten. Toetsenbordduwtjes worden door de server hard geklemd - twee graden per oproep op de armgewrichten, vier op de grijper - dus dezelfde intentie komt aan als een trap van kleine stappen. Schuivers verzenden absolute doelen en de server beweegt hooguit zes graden naar hen per oproep. Drie modi, drie actieverdelingen; alle drie in één correctieset mengen en je afvragen waarom de benadering krampig werd, is zelfberokkend. De teleoperatie-documentatie behandelt wat elke modus verzendt.

Wegen van de interventies: IWR en wat daarna kwam

Als correcties de waardevolle minderheid zijn, is de principiële fix gewicht in plaats van exclusiviteit. Intervention Weighted Regression is de referentie-implementatie: de gegevens worden opgesplitst in interventie- en niet-interventiesteekproeven, en de twee partities worden in gelijke verhouding bemonsterd tijdens training. Een correctieset die vijf procent van de frames is, draagt dan half de gradiënt bij, zonder dat het nominale gedrag uit de verdeling verdwijnt.

Gelijke verhouding is een startpunt, geen wet. Sirius generaliseert het door de binaire partitie te vervangen door een continu gewicht van benaderd menselijk vertrouwen; Sirius-Fleet verplaatst de beslissing stroomopwaarts, gebruikmakend van een visueel wereldmodel en anomaliedetectoren om te bepalen wanneer een mens überhaupt wordt gevraagd. De rode draad: de interventievlag is een trainingssignaal, niet alleen een boekhoudstelselkolom.

Vier maten waard om naast het percentage vast te leggen

• Overnames per run. Twintig korte correcties en één lange geven vergelijkbare percentages en beschrijven verschillende beleidsmaatregelen - één nerveus, één met een blind spot.
• Gemiddelde interventielengte. Stijgende lengte met een dalend aantal betekent dat de resterende mislukkingen de moeilijke zijn, wat late vooruitgang lijkt.
• Tijd tot eerste interventie. Een beleid dat verder komt voordat hulp nodig is, verbetert zelfs wanneer het totaalpercentage vlak is.
• Waar interventies clusteren. Bin de vlag naar genormaliseerde episodevooruitgang; een stabiele piek over rondes wijst op één knelpunt.

Een rondeprotocol dat je daadwerkelijk kunt uitvoeren

Een gemeten ronde heeft zes stappen en produceert één rij in het logboek. De eerste vier zijn de lus; de laatste twee maken het een meting.

1. 1
   Bevries het evaluatieprotocol vóór ronde nul

   Schrijf starthouding, objectplaatsing, camera's, aantal proeven, time-out en succescriterium op. Fotografeer de tafel. Als het document moet veranderen, herstart de serie.

2. 2
   Meet de basislijn

   Voer het protocol zonder interventies uit en registreer de successen; voer vervolgens één geinstrumenteerde sessie uit met overname ingeschakeld en registreer het percentage. Die twee nummers zijn ronde nul.

3. 3
   Verzamel correcties in één consistent stijl

   Één invoermodus per ronde, één exploitant als je het kunt regelen. Neem over op een criterium dat je hardop kunt zeggen - 'grijper meer dan twee centimeter af bij benadering' - en hou het voor de ronde.

4. 4
   Sorteer elke episode dezelfde dag

   Correctie, evaluatie of verwijdering. Dubieuse episodes worden verwijderd, niet opgeslagen op de theorie dat meer gegevens helpen - een correctie waarin je zelf bent mislukt, is erger dan geen episode.

5. 5
   Stel de mengeling expliciet samen

   Originele demonstraties plus correcties, episodeselectie per bron. Registreer basisaantal, correctieaantal en eventuele weging - dit is het veld dat je in drie weken wilt.

6. 6
   Doorgaan van het checkpoint, dan opnieuw meten

   Train de samengestelde gegevensverzameling van het vorige checkpoint in plaats van het basismodel, voer het bevolen protocol plus één geinstrumenteerde sessie uit, voeg de rij toe en vergelijk met de vorige twee rondes.

Twee grenzen veranderen hoe je een zwakke ronde leest. Doorgaan van een checkpoint initialiseert de gewichten ervan - geen optimaliserderherstel, dus het schema begint van voren af aan en een korte run van een samengevoegd checkpoint kan zeer weinig verschuiven. En de leader-align beweging aan het begin van een overname heeft de minste kilometers op echte hardware van alles in de keten; als correcties allemaal met een vreemd overgangsverschijnsel beginnen, kijk daar eerst voordat je de mengeling beschuldigt.

Wat de getallen je niet kunnen vertellen

Niets hiervan is opgelost, en een nette curve mag je niet anders overtuigen. Het interventiepercentage meet een gezamenlijk systeem - beleid, hardware, exploitant, ruimte - en schrijft niets op zichzelf toe. Het kan niet oordelen of de correcties goed waren, en het zal zich gelukkig laten vallen op een taak die gemakkelijker werd omdat het object drie weken lang twee centimeter dichter is verschoven.

Wat het doet, is een vaag indruk in een kolom veranderen waarmee je kunt argumenteren. Het alternatief is geen beter metriek; het zijn drie weken lang correcties verzamelen die de curve je, na ronde drie, zou hebben gezegd om te stoppen met verzamelen. De onderzoeksliteratuur definieert interactief imitatieleren als menselijke feedback die intermitterend wordt gegeven tijdens robotuitvoering, wat online verbetering van het gedrag mogelijk maakt; de familie is breed, en geen arrangement ervan werkt zonder een getal per ronde. Zie ook de SO-100 imitatielering gids voor de basisgegevensverzameling waarmee je mengt, een beleid uitvoeren voor de inferentiekant, en de DAgger-luspagina voor de geïmplementeerde pijplijn.

Houd het logboek in de opslagplaats, niet in een notitieboek: rondes zijn dagen uit elkaar, hardware wordt herbouwd, en de persoon die de curve in oktober leest, ben je zonder herinnering aan augustus. De documentatie veelgestelde vragen behandelt de operationele details die hier niet zijn.