Messung einer DAgger-Schleife: Interventionsrate, Evaluierungsprotokoll und die Fallstricke dazwischen

Eine DAgger-Runde fühlt sich produktiv an, während man sie durchführt. Man fährt die Policy, übernimmt die Kontrolle, wenn sie beim Greifen stolpert, speichert die Korrektionen, trainiert neu, und die nächste Ausführung sieht – man würde schwören – ein bisschen reibungsloser aus. Zwei Runden später kann man nicht sagen, ob sich etwas geändert hat, denn "ein bisschen reibungsloser" ist keine Menge.

Die Schleife braucht eine Zahl pro Runde, und in einer von Menschen bewachten Schleife ist diese Zahl fast umsonst: der Anteil des Laufs, während dessen du die Kontrolle statt der Policy hattest. Dieser Artikel definiert sie so, dass zwei Personen den gleichen Wert berechnen, protokolliert sie, liest die resultierende Kurve aus und benennt die vier Wege, auf denen sie dich in die Irre führt, wenn sie allein steht. Für die Theorie, die dieses Stück annimmt, siehe die DAgger-Erklärung und die von Menschen bewachte Variante; die praktische Entsprechung ist DAgger-Schleife auf einem SO-100 ausführen.

Warum eine Runde eine Zahl überhaupt braucht

DAgger existiert wegen eines Verteilungsproblems, und Verteilungsprobleme sind unsichtbar für das Auge. Ross und Bagnell zeigten, dass Imitationslernen auf einem festen Demonstrationssatz zu zusammengesetzten Fehlern und einer Reue-Grenze führt, die quadratisch im Zeithorizont wächst: sobald der Lerner die Zustände verlässt, die der Demonstrator besucht hat, sagt ihm nichts in den Daten, wie er zurückkommt. DAgger behebt dies durch Iterieren – Policy ausführen, besuchte Zustände labeln, aggregieren, neu trainieren – was Ross, Gordon und Bagnell als Reduktion auf No-Regret-Online-Lernen formulieren.

Diese Formulierung hat eine Folge, die Menschen überspringen. Die Garantie betrifft die Abfolge der Policies über Iterationen, nicht einen einzelnen Lauf. Sie sagt nichts darüber aus, ob deine Runde drei geholfen hat. Die einzige Möglichkeit, das zu wissen, ist, jede Iteration zu messen. Kelly und Kollegen führten HG-DAgger ein, weil klassisches DAgger den Experten um Action-Label bittet, während der Anfänger noch die Kontrolle hat, was die Arbeit behauptet kann die Sicherheit verringern und mit menschlichen Experten wahrscheinlich die Label-Qualität durch wahrgenommene Aktuator-Latenz verschlechtert. HG-DAgger lernt auch einen Sicherheitsgrenzwert für eine modellbasierte Unsicherheitsrisiko-Metrik und meldet verbesserte Leistung über sowohl DAgger als auch Behavioral Cloning bei einer Fahrtaufgabe. Es veröffentlicht keine Interventionszählungen; diese stellst du selbst zusammen.

Definition der Rate so, dass zwei Personen die gleiche Zahl erhalten

Die Definition ist eine Zeile: Interventionsframes dividiert durch Frames des Laufs. Alles Schwierige versteckt sich in dem, was als Frame und als Lauf zählt.

Frames, nicht Episoden

Episoden mit mindestens einer Intervention zu zählen ist sinnlos: zehn Episoden mit einem Nudge jede und zehn, in denen du achtzig Prozent gefahren hast, geben beide "10/10". Die Frame-Anzahl trennt sie, und es ist die Granularität, die die Aufzeichnung bereits hat – im LeRobot-Datensatzformat ist jeder Zeitschritt eine Zeile, also ist das Interventions-Flag eine boolesche Spalte neben Zustand und Aktion. Hier wird es pro Frame geschrieben, wenn die Übernahme beginnt, und gelöscht, wenn die Kontrolle zurückgegeben wird.

Der Nenner umfasst die Korrektionen

Zwei Nenner sind verteidigbar – Gesamtframes des Laufs oder Frames, die die Policy autonom fährt – und sie divergieren stark bei hohen Interventionsstufen. Übernimm die Kontrolle für 400 von 1000 Frames und die erste gibt 40 Prozent, die zweite 67 Prozent. Eine Runde mit der ersten Messmethode gegen die nächste mit der zweiten zu vergleichen ist, wie eine echte Verbesserung verschwindet. Nimm Gesamtframes und überarbeite die Wahl während der Serie nie wieder.

Entscheide einmal, was mit Handover-Frames passiert

Es gibt immer eine Naht. Wenn die Kontrolle weitergegeben wird, gehören einige Frames zu keiner Seite: der Arm wird gehalten, der Leader richtet sich aus, die Aufzeichnung ist eingefroren. In dieser Pipeline bleiben diese Handover-Frames im Rohstrom und treten nie in die kuratierte Episode ein – sie sind weder Policy-Verhalten noch eine Korrektur, die es wert wäre, trainiert zu werden. Zähle die Naht jede Runde gleich: bei 30 Hz sind sechs Übergaben mit einer zwei Sekunden langen Naht jede 360 Frames, genug um einen Prozentpunkt zu bewegen.

Protokollieren, so dass die Zahl die Sitzung überlebt

Eine Metrik im Statusbereich eines laufenden Prozesses ist ein Messwert: sie verschwindet beim Neustart und kann nicht aufgezeichnet werden. Eine nur-anhängbare Zeile pro Lauf umfasst die ganze Serie – einschließlich welchen Checkpoint du fährst, da dieser sich jede Runde ändert und die Vermischung invalidiert, was folgt.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Zwei Felder tragen das Gewicht. train_mix ist das, was du dem nächsten Trainingsjob zugeführt hast; ohne es kann nichts zugeordnet werden. eval_protocol benennt den festen Test, den du danach ausgeführt hast, und ist das Feld, das am häufigsten leer gelassen wird. Im ay-robots-Cockpit meldet der Übernahmestatus die Interventions-Frame-Anzahl für die laufende Sitzung, also ist Protokollierung eher Transkription als Instrumentierung; die Datensatz-Dokumentation behandelt, wo die Pro-Frame-Spalten landen.

Kurve lesen: drei Runden, ein Urteil

Drei Runden ist das Minimum für eine Ablesung, weil zwei Punkte immer eine Linie sind. Die Tabelle unten ist eine Buchführungsvorlage mit Platzhalterzahlen, nicht Messungen aus einem echten Lauf. Du suchst nach einem monotonen Rückgang, der von einem Anstieg der Erfolgsquote bei einem festen Test begleitet wird.

Runden eins und zwei leisten Arbeit. Runde drei nicht: 11,3 gegen 11,1 Prozent liegen innerhalb der Lauf-zu-Lauf-Variation von allem, das auf einem physischen Arm gemessen wird, und eine vierte Runde der gleichen Korrektionen verbringt einen Nachmittag für nichts. Das flache Segment sagt, ändere etwas Strukturelles.

• Die verbleibenden Ausfälle sind nicht durch Teleoperation korrigierbar – Objekt außer Reichweite, Greifer-Geometrie, ein Gelenk an seinem Limit. Keine Korrektur-Daten beheben eine kinematische Wand.
• Die Korrektionen sind zu wenige gegen den Basisdatensatz, um den Gradienten zu bewegen, und nichts gewichtet sie.
• Die Korrektionen widersprechen sich, also mittelt die Policy zwei Strategien und landet zwischen ihnen.
• Der Fehler ist vorgelagert: eine Kamera ist verschoben, die Beleuchtung hat sich geändert, die Handgelenksansicht stimmt nicht mehr mit dem Training überein.
• Die Aufgabe ist an der Obergrenze dieser Policy-Klasse auf dieser Hardware, und der nächste Schritt ist mehr Basisdaten.

Die letzten zwei sind keine Fehler der Schleife. In Sirius-Fleet ist ein sinkender Bedarf nach dem Menschen das konzipierte Ergebnis: Wenn sich die Roboterautonomie verbessert, passen ihre Anomalie-Prädiktoren ihre Vorhersagkriterien an, führen zu weniger Anfragen für menschliches Eingreifen und reduzieren schrittweise die menschliche Arbeitsbelastung im Laufe der Zeit. Dort passt sich das Kriterium bewusst an. In einer manuellen Schleife passt sich deins auch an, still – also sieht eine Rate, die abflacht, weil die Aufgabe an ihrer Obergrenze ist, genau wie eine aus, die abflacht, weil der Bedienende es nicht mehr bemerkt. Das ist das nächste Problem.

Fallstrick 1: eine fallende Rate ist keine steigende Erfolgsquote

Die Interventionsrate misst genau eines: wie viel des Laufs du dir selbst zugeeignet hast. Diese Entscheidung triffst du in Echtzeit, und sie bewegt sich. In Runde null übernahmst du die Kontrolle beim ersten schlechten Anfahrtswinkel; in Runde drei hast du beobachtet, wie die Policy sich von einem Dutzend davon erholt, und du lässt sie versuchen. Dein Grenzwert bewegte sich; die Policy möglicherweise nicht. Die Rate fällt ohnehin.

Menschliches Vertrauen ist in der Literatur zumindest eine modellierte Größe, anstatt einer angenommenen Konstante. Sirius gewichtet Trainingsstichproben mit approximiertem menschlichem Vertrauen neu und optimiert die Policy mit gewichteter Behavioral Cloning, wobei über sowohl DAgger als auch Behavioral Cloning auf einer Fahrtaufgabe verbesserte Leistung gemeldet wird, mit doppelter Konvergenzgeschwindigkeit. Das behandelt Vertrauen als eine Gewichtung auf den Daten. Es korrigiert nicht den Grenzwert in deinem Kopf zwischen Runde null und Runde drei.

Du kannst die Abtrift nicht entfernen, also paare die Rate mit etwas, das dein Grenzwert nicht anfassen kann: ein fester Satz von Versuchen, in denen du gar nicht eingreifst, gegen ein vor der Runde geschriebenes Kriterium bewertet. Eine Rate, die fällt, während die gepaarte Erfolgsquote flach bleibt, ist die Unterschrift der Gewöhnung – es lohnt sich zu fangen, denn von innen in der Schleife fühlt es sich wie Fortschritt an.

Fallstrick 2: ohne ein festes Protokoll, misst du den Raum

Evaluierung echter Roboter ist teuer und schwer zu wiederholen. Die SIMPLER-Autoren motivieren simulierte Evaluierung mit der Beobachtung, dass reale Evaluierung solcher Policies nicht skalierbar ist und Reproduzierbarkeitsprobleme hat, die sich wahrscheinlich verschärfen, wenn Policies ihr Aufgabenspektrum erweitern. RoboArena greift es von der anderen Seite an, mit mehr als 600 paarweisen echten Roboter-Evaluierungsepisoden über sieben Generalisten-Policies, durchgeführt von Bewertern bei sieben akademischen Institutionen auf der DROID-Plattform. Seine Bewerter wählen ihre eigenen Aufgaben und Umgebungen, müssen Paare von Policies doppelblind beurteilen; die Arbeit meldet, dass dieser Crowd-sourced-Ranking den Generalisten-Policy-Leistung genauer verfolgt als herkömmliche, zentralisierte Evaluierung.

Du wirst nicht 600 gepaarte Episoden auf einem SO-100 in einer Werkstatt durchführen. Was du tun kannst, ist die Varianz zu entfernen, die du kontrollierst – eine so langweilig ist, dass sie normalerweise übersprungen wird.

Dann die Arithmetik, unbarmherzig in den Versuchszählen, die sich eine Werkstatt leisten kann. Unter der Normalapproximation trägt 60 Prozent Erfolgsquote über 20 Versuche einen Standardfehler nahe 11 Prozentpunkten – die Quadratwurzel von 0,6 Mal 0,4 über 20 – und der Unterschied zwischen zwei solchen Runden trägt etwa 15. Ein Sprung von 60 auf 70 Prozent ist daher konsistent mit nichts, das passiert ist. Fünfzig Versuche bringen die Pro-Runden-Figur auf etwa 7 Punkte, und kosten einen Nachmittag.

Diese Asymmetrie ist das Argument für die Interventionsrate: berechnet über Tausende von Frames statt zwanzig binärer Ergebnisse, bewegt sie sich früher und sanfter. Der Vorbehalt ist, dass Frames innerhalb einer Episode stark korreliert sind – ein schlechter Griff erzeugt hundert aufeinanderfolgende Interventions-Frames – also die effektive Stichprobengröße näher an der Anzahl der Übergaben liegt. Behandle die Rate als den Früh-Indikator und die Erfolgsquote als langsame Grundwahrheit.

Fallstrick 3: Training nur auf Korrektionen biegt die Policy

Die Korrektionen sind die interessanten Daten, also ist der Instinkt, auf ihnen zu trainieren. Nicht tun. Sie kommen konstruktionsgemäß aus dem schmalen Ausschnitt des Zustandsraums, in dem die Policy bereits fehlschlug, und sagen fast nichts über die Mehrheit des Laufs, der funktionierte. Feinabstimmung nur auf diesem Ausschnitt und du bekommst eine Policy, die gut darin ist, sich von einem verpfuschten Anflug zu erholen, die aber vergessen hat, wie man einen sauberen macht.

Mandlekar und Kollegen bauten ihr Ferninterventionssystem darum herum auf. Ihre Formulierung: Manipulationsaufgaben enthalten Engpass-Regionen, die eine Abfolge präziser Aktionen erfordern – das Einführen einer Kapsel in eine Kaffeemaschine ist ihr Beispiel – wo kleine Abweichungen in Zustände führen, die die Demonstrationen nie abdeckten. Ihr Algorithmus trainiert iterativ auf den neuen Daten, damit die Policy diese Engpässe durchlaufen lernt, und sie melden, dass Agenten, die auf Interventionsdaten trainiert wurden, Agenten schlagen, die auf einer gleichwertigen Anzahl von Stichproben nicht-interventionaler Demonstranten trainiert wurden.

Das Mischungsverhältnis ist ein Hyperparameter und verdient es, aufgeschrieben zu werden. Das Komponieren des nächsten Datensatzes ist, wo es entschieden wird: ursprüngliche Demonstrationen plus der Korrektionssatz, Episodenauswahl pro Quelle statt einer Regel, die still Verfügbares eintreibt. Hier das ist ein Kompositionsschritt im Cockpit, und das Ergebnis ist ein gewöhnlicher Datensatz – siehe die Trainingsdokumentation. Was kein Werkzeug für dich tut, ist das Aufzeichnen, welches Verhältnis welche Kurve erzeugte.

Fallstrick 4: der Mensch ist kein konsistenter Experte

DAggers Theorie setzt einen Experten voraus. Du bist im technischen Sinne keiner: deine Korrektionen sind nicht Stichproben aus einer festen bedingten Verteilung über Aktionen. Die ACT-Autoren benennen dies, wenn sie die Hindernisse zur feinen Manipulation auflisten – Fehler sammeln sich im Laufe der Zeit, und menschliche Demonstrationen können nicht-stationär sein. Ihr System erreicht dennoch 80 bis 90 Prozent Erfolgsquote bei sechs echten Aufgaben aus zehn Minuten Demonstrationen, also ist das Problem handhabbar, nicht abwesend.

Die robomimic-Studie macht den Punkt von der Datenseite. Über sechs Offline-Algorithmen bei fünf simulierten und drei echten Aufgaben mit mehreren Etappen, seine Lektionen umfassen Empfindlichkeit gegenüber Design-Entscheidungen, Abhängigkeit von Demonstrationsqualität, und – die, die hier am meisten schmerzt – Variabilität, die sich aus Stoppkriterien ergibt, weil Training und Evaluierungsziele divergieren. Der Checkpoint mit dem niedrigsten Verlust ist nicht zuverlässig der mit der höchsten Erfolgsquote.

Es gibt eine Hardware-Version davon: der Eingabemodus formt die Korrektur. Ein Leader-Follower Setup produziert kontinuierliche, von Menschentempo gesteuerte Trajektorien. Tastatur-Nudges werden hart vom Server geklemmt – zwei Grad pro Anruf auf den Arm-Gelenken, vier auf dem Greifer – also kommt die gleiche Absicht als eine Treppe von kleinen Schritten an. Schieberegler senden absolute Ziele und der Server bewegt sich um höchstens sechs Grad pro Anruf auf sie zu. Drei Modi, drei Action-Verteilungen; Mischung aller drei in einen Korrektionssatz und dann Wunder, warum die Anfahrt zuckend wurde, ist selbst beigebracht. Die Teleoperation-Dokumentation behandelt, was jeder Modus sendet.

Gewichtung der Interventionen: IWR und das Danach

Wenn Korrektionen die wertvolle Minderheit sind, ist die prinzipielle Behebung Gewicht statt Ausschließlichkeit. Intervention Weighted Regression ist die Referenz-Implementierung: die Daten werden in Interventions- und Nicht-Interventions-Stichproben partitioniert, und die zwei Partitionen werden während des Trainings in gleicher Proportion gesampelt. Ein Korrektur-Satz, der fünf Prozent der Frames ist, trägt dann zur Hälfte des Gradienten bei, ohne dass nominales Verhalten aus der Verteilung verschwindet.

Gleiche Proportion ist ein Startpunkt, keine Regel. Sirius verallgemeinert es, indem es die binäre Partition durch ein kontinuierliches Gewicht aus approximiertem menschlichem Vertrauen ersetzt; Sirius-Fleet bewegt die Entscheidung vorgelagert, mit einem visuellen Weltmodell und Anomalie-Prädiktoren, um zu entscheiden, wann ein Mensch überhaupt gefragt wird. Der gemeinsame Faden: das Interventions-Flag ist ein Trainingssignal, nicht nur eine Buchführungs-Spalte.

Vier Metriken wert, neben der Rate protokolliert zu werden

• Übergaben pro Lauf. Zwanzig kurze Korrektionen und eine lange geben ähnliche Raten und beschreiben unterschiedliche Policies – eine zuckend, eine mit einem einzelnen blinden Fleck.
• Mittlere Eingriffslänge. Steigende Länge mit fallendem Zähler bedeutet, die verbleibenden Ausfälle sind die harten, das ist, wie Spät-Fortschritt aussieht.
• Zeit bis zum ersten Eingriff. Eine Policy, die weiter kommt, bevor sie Hilfe braucht, verbessert sich, auch wenn die Gesamt-Rate flach ist.
• Wo Eingriffe häufen sich. Bin das Flag durch normalisierte Episoden-Fortschritt; ein stabiler Gipfel über Runden weist auf einen Engpass hin.

Ein Runden-Protokoll, das du tatsächlich durchführen kannst

Eine gemessene Runde hat sechs Schritte und erzeugt eine Zeile im Protokoll. Die ersten vier sind die Schleife; die letzten zwei machen es eine Messung.

1. 1
   Friere das Evaluierungsprotokoll vor Runde null ein

   Schreib auf Startpose, Objekt-Platzierung, Kameras, Versuchszahl, Timeout und Erfolgskriterium. Fotografiere den Tisch. Wenn die Dokumentation sich ändern muss, startet die Serie neu.

2. 2
   Gemessene Basislinie

   Führe das Protokoll ohne Eingriffe durch und erfasse die Erfolge; führe dann eine instrumentierte Sitzung mit aktivierter Übernahme durch und erfasse die Rate. Diese zwei Zahlen sind Runde null.

3. 3
   Sammle Korrektionen in einem konsistenten Stil

   Ein Eingabemodus pro Runde, ein Bedienender wenn du kannst. Übernahmst du die Kontrolle nach einem Kriterium, das du laut sagen kannst – "Greifer mehr als zwei Zentimeter in der Anfahrt ab" – und halte es für die Runde.

4. 4
   Triage jede Episode am selben Tag

   Korrektur, Evaluierung oder verwerfen. Zweideutige Episoden werden verworfen, nicht gespeichert auf der Theorie, dass mehr Daten hilft – eine Korrektur, in der du selbst stolpertest, ist schlechter als keine Episode.

5. 5
   Komponiere die Mischung explizit

   Ursprüngliche Demonstrationen plus Korrektionen, Episodenauswahl pro Quelle. Erfasse Basisanzahl, Korrektur-Anzahl und beliebige Gewichtung – das ist das Feld, das du in drei Wochen haben wirst.

6. 6
   Weitermachen vom Checkpoint, dann erneut messen

   Trainiere den komponierten Datensatz vom vorherigen Checkpoint statt vom Basis-Modell, führe das eingefrorene Protokoll plus eine instrumentierte Sitzung durch, ergänze die Zeile, und vergleiche gegen die vorherigen zwei Runden.

Zwei Grenzen ändern, wie du eine schwache Runde liest. Das Weitermachen vom Checkpoint initialisiert die Gewichte davon – nicht eine Optimierer-Wiederaufnahme, also startet der Zeitplan frisch und ein kurzer Lauf vom einem konvergierten Checkpoint kann sehr wenig bewegen. Und die Leader-Align-Bewegung am Anfang einer Übernahme hat die geringste Laufleistung auf echter Hardware von allem in der Kette; wenn Korrektionen alle mit einem komischen Transient beginnen, schau dort bevor du die Mischung beschuldigst.

Was die Zahlen dir nicht sagen können

Nichts davon ist gelöst, und eine ordentliche Kurve sollte dich nicht andernfalls überzeugen. Die Interventionsrate misst ein verbundenes System – Policy, Hardware, Bedienender, Raum – und schreibt nichts auf eigene Faust zu. Sie kann nicht beurteilen, ob die Korrektionen gut waren, und sie wird freudig auf einer Aufgabe fallen, die einfacher wurde, weil das Objekt über drei Wochen zwei Zentimeter näher abdriftete.

Was sie macht, ist eine vagen Eindruck in eine Spalte verwandeln, mit der du argumentieren kannst. Die Alternative ist keine bessere Metrik; das ist drei Wochen Sammeln von Korrektionen, die die Kurve dir nach Runde drei gesagt hätte, zu stoppen. Die Befragungsliteratur definiert interaktives Imitationslernen als Mensch-Feedback, das während der Roboter-Ausführung intermittierend gegeben wird, was eine Online-Verbesserung des Verhaltens ermöglicht; die Familie ist breit, und keine Anordnung davon funktioniert ohne eine Zahl pro Runde. Sieh auch den SO-100-Imitationslern-Leitfaden für den Basis-Datensatz, gegen den du mischt, eine Policy ausführen für die Inferenz-Seite, und die DAgger-Schleife-Seite für die implementierte Pipeline.

Behalte das Protokoll im Repository, nicht in einem Notizbuch: Runden sind Tage auseinander, Hardware wird umgebaut, und die Person, die die Kurve im Oktober liest, bist du ohne Erinnerung an August. Die Dokumentations-FAQ behandelt die operative Details, die hier ausgelassen wurden.