מדידת לולאת DAgger: Intervention Rate, פרוטוקול הערכה וההפכים בין

סבב DAgger מרגיש פרודוקטיבי בזמן שאתה בתוכו. אתה מנהל את המדיניות, משתלט כשהיא מטושטשת את הלחיצה, שומר את התיקונים, מאמן מחדש, והריצה הבאה נראית - היית משבע - קצת חלקה יותר. שני סבבים מאוחר יותר אינך יכול להגיד אם משהו השתנה, כי "קצת חלקה יותר" היא לא כמות.

הלולאה צריכה מספר אחד לסבב, וב-loop שמנוהל באופן אנושי המספר הזה כמעט בחינם: השבר של הריצה שבה היה לך שליטה במקום המדיניות. מאמר זה מגדיר אותו כך ששני אנשים יחשבו את אותו הערך, תיעד אותו, יקרא את העקומה המתקבלת, ויתן שמות לארבע הדרכים בהן הוא מטעה אותך כשהוא עומד לבדו. לתיאוריה שחתיכה זו מניחה, ראה the DAgger explainer ו the human-gated variant; ההמקביל להישג יד הוא running a DAgger loop on an SO-100.

למה סבב צריך מספר בכלל

DAgger קיים בגלל בעיית הפצה, ובעיות הפצה בלתי נראות לעין. Ross ו Bagnell הראו כי imitation learning על קבוצת הדגמה קבועה מוביל לשגיאות מתגברות וקשרי אבדן הגדלים בריבוע בשדרג הזמן: ברגע שהלומד משאיר את המדינות שהמדמה ביקרה, שום דבר בנתונים לא אומר לו איך לחזור. DAgger תיקונים זה על ידי איטרציה - הפעל את המדיניות, תייג את המדינות שהיא מבקרת, צברה, הדרכה מחדש - אשר Ross, Gordon ו Bagnell מסגרים כהקטנה ללמידה מקוונת ללא סעיף.

לשיתוף זה תוצאה אנשים מדלגים. ההבטחה נוגעת ברצף מדיניות על איטרציות, לא כל ריצה אחת. זה אומר שום דבר על אם your סבב שלוש עזר. הדרך היחידה לדעת היא למדוד כל איטרציה. Kelly ו עמיתים הציגו HG-DAgger כי Classic DAgger שואל את המומחה לתוויות פעולה בזמן שהנוביץ עדיין בשליטה, אשר הנייר טוען יכול להפחית בטיחות וביי בעלי אדם מומחים, סביר להיות להידרדר איכות תוויות דרך הזמן עיכוב מפעיל מנויות. HG-DAgger גם לומד סף בטיחות למדד סיכון מבוסס-סיכון דגם-אי-ודאות ודיווח ביצועים משופרים על פני DAgger ו behavioral cloning על משימת נהיגה. זה לא מפרסם מספר התערבויות; אלה אתה מייצר בעצמך.

הגדרת הקצב כך ששני אנשים יקבלו את אותו מספר

ההגדרה היא שורה אחת: frames התערבות חלקי frames של הריצה. כל דבר קשה מסתתר במה שסופר כ-frame ומה שנחשב לריצה.

Frames, לא episodes

ספירה של episodes עם לפחות התערבות אחת היא חסרת תועלת: עשר episodes עם דחיפה אחת כל אחד ועשר בהן נהגת שמונים אחוז שניהם נתנו "10/10". ספירת הframe מפרידה ביניהם, וזו הגרנולריות שלהנגע כבר יש - ב LeRobot dataset format כל timestep הוא שורה, כך שדגל ההתערבות הוא עמודת boolean אחת ליד מדינה ופעולה. כאן כתוב לכל frame ברגע שהתקיפה מתחילה ומנוקה כאשר השליטה חוזרת.

המכנה כולל את התיקונים

שני מכנים הם הגנים - סה"כ frames של הריצה, או frames המדיניות נהגה באופן עצמאי - והם מתבדלים רע בגובה התערבות גבוה. קח למעלה 400 מתוך 1000 frames והראשון נותן 40 אחוז, השני 67 אחוז. השוואה בין סבב אחד למדוד דרך ראשונה נגד הבא למדוד השני היא איך שיפור אמיתי נעלם. קח הסה"כ frames ותוציא מחדש את הבחירה באמצע סדרה.

הסכם פעם אחת מה קורה לתיבות ה-handover

תמיד יש חיתוך. כאשר השליטה עוברת, כמה frames שייכות לשום צד: הזרוע מוחזקת, המנהיג מיישר, ההקלטה הקפאה. בצינור זה handover frames להישאר בזרם הגולמי ותוכן אל לעולם enter את קורטד episode - הם לא התנהגות מדיניות וגם לא תיקון שווה הדרכה. ספור את התופר באותו אופן בכל סבב: ב 30 Hz, שישה takeovers עם שני שנייה seam כל אחד הוא 360 frames, מספיק לנוע נקודה אחוז.

רישום אותו כך המספר משרוד בחציר

מטרי בלוח הסטטוס של תהליך רץ הוא קריאה: זה נעלם על restart ולא יכול להיות מתוכנן. שורה אחת הוא מוסיפה לכל ריצה מכסה את כל סדרה - כולל אשר checkpoint אתה נהגת, מאז שעדכנה כל סבב וערבוב אותם עד מנוגד למה שלאחר מכן.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

שני שדות לשאת משקל. train_mix הוא מה שהנמקת את משימת ההדרכה הבאה; בלעדיו שום דבר יכול להיות מיוחס. eval_protocol שמות הבדיקה הקבועה שרצת אחר כך, והוא השדה שלרוב נשאר ריק. בקוקפיט ay-robots דיווח מצב הטקאובר מונה את מספר ה frames התערבות לפי הפעילויות הנוכחיות, כך שתיעוד הוא העתקה בעדיפות מעל הגיוד; ה dataset documentation מכסה איפה העמודות לכל frame הנחתות.

קריאת העקומה: שלוש ריצות, פסק דין אחד

שלוש ריצות הם המינימום לקריאה, כי שתי נקודות הן תמיד קו. הטבלה למטה היא תבנית חשבונאות עם מספרי מיקום, לא מדידות מכל ריצה. אתה מחפש ירידה רציפה שהתאימה על ידי עלייה בהצלחה על בדיקה קבועה.

ריצות אחד ושתיים עושות עבודה. סבב שלוש הוא לא: 11.3 נגד 11.1 אחוז הוא בתוך ריצה לריצה שונות של כל דבר למדוד על זרוע פיזיקלית, וריצה רביעית של אותו התיקונים משקיע אחר צהריים על כלום. הקטע השטוח אומר לשנות משהו מבני.

• הכישלונות הנותרים אינם תוקפים על ידי טלאופרציה - אובייקט לא בהישג יד, גיאומטריה הלחיצה, זיווג בגבולו. לא נתונים תיקון תיקוני קיר קינמטי.
• התיקונים הם מעט מדי נגד מערך הנתונים הבסיסי להזיז את שיפוע, ושום דבר משקל אותם.
• התיקונים מנוגדים זה לזה, כך שהמדיניות מחוצים שתי אסטרטגיות ונוחתות ביניהן.
• הכישלון הוא במעלה הזרם: מצלמה עברה, התאורה השתנתה, התצוגה של פרק כף היד כבר לא תואמת הדרכה.
• המשימה היא בתקרת מחלקה מדיניות זו על חומרה זו, והשלב הבא הוא עוד נתונים בסיסיים.

שניים האחרונים אינם כישלונות של הלולאה. ב Sirius-Fleet צורך פוחת לתכנית האנושית היא התוצאה שתוכננה: כאשר עצמאות רובוט משתפרת, את anomaly predictors שלה להסתגל שלהם criteria התחזוקה, מה שמוביל פחות בקשות להתערבות אנושית ובהדרגה הפחתת עומס העבודה האנושי לאורך זמן. שם קריטריון משתנה בעל כוונה. בלולאה ידנית שלך מסתגלת גם כן, בשקט - כך שקצב זה השטחים כי המשימה היא בתקרתו נראה בדיוק כמו אחד זה פרוש כי אופרטור הפסיק ולשים לב. שזה הבעיה הבאה.

Trap 1: a falling rate is not a rising success rate

קצב ההתערבות משוער בדיוק דבר אחד: כמה מהריצה שהחלטת להבעלות. השיקול זה שלך, עשה בזמן אמת, וזה עובר. בסבב אפס אתה לקחת בחזרה בגישת זווית הראשונה הרע; ממשלת סבב שלוש אתה צפית מדיניות התאוששות מתריסים דרכו ואתה תן לו לנסות. הסף שלך עברה; ה policy אולי לא. הקצב נופל כך או אחרת.

אמון אנושי הוא לפחות כמות יצורה בספרות במקום קבוע מניח. Sirius שוקל דגימות הדרכה עם אמון אנושי approximated והופעלים המדיניות עם weighted behavioral cloning, דיווח 8 אחוז דחיפה בסימולציה ו 27 אחוז על חומרה אמיתית על מדינה של דעת בהצלחה מדיניות, בשביתה פעמים מהירות התכנסות. זה מטפל אמון כמשקל על הנתונים. זה לא מתקן הסף בראשך בין סבב אפס וסבב שלוש.

אתה לא יכול להסיר את הסחיפה, כך זוג הקצב עם משהו הסף שלך לא יכול לגעת: סט קבוע של משפטים בהם אתה לא התערבות כלל, קלע נגד קריטריון כתוב לפני הסבב. קצב זה נופל בזמן קצב הצלחה זוג להישאר היא החתימה של הרגלות - שווה תופש, כי מ בתוך הלולאה זה מרגיש כמו התקדמות.

Trap 2: without a fixed protocol, you measure the room

הערכה רובוט אמיתית יקרה וקשה לחזור על. SIMPLER המחברים motivate הערכה סימולציה עם ההערה כי בעולם אמיתי הערכה של מדיניות כזו לא סקלבילית ופנים reproducibility אתגרים סביר להיות worsen כמו מדיניות מתרחבות спектר המשימה שלהם. RoboArena התקפות זה מן האחר צד, עם יותר מ 600 pairwise אמיתית-רובוט הערכה episodes בין שבע generalist מדיניות, להגביל על ידי evaluators בשבע תעודה institutions על DROID פלטפורמה. זה evaluators בחר משלהם משימות וסביבות אבל חייב לשפוט זוגות מדיניות double-blind; הנייר דיווח כי זה crowd-sourced דירוג מסלולים generalist-policy ביצועים יותר accuracally מאשר קונבנציונלי, centralized הערכה.

אתה לא יהיה להפעיל 600 זוג episodes על אחד SO-100 בסדנה. מה אתה יכול לעשות הוא להסיר את השונות אתה בשליטה - שורה משעממת מספיק שבדרך כלל יקבל את דלג.

אז החשבון, ruthless בספירת משפט סדנה יכול להציע. תחת תקינה approximation, 60 אחוז הצלחה על פני 20 משפטים לשאת שגיאה סטנדרטי קרוב 11 נקודות אחוז - השורש הריבוע של 0.6 פעמים 0.4 מעל 20 - והפרש בין שתי ריצות כזה נושא על בערך 15. קפיצה מ 60 ל 70 אחוז הוא לכן עקבי עם כלום היה קורה. חמישים משפטים להביא על הסבב נתון דמות ל בערך 7 נקודות, ועלות אחר צהריים.

This asymmetry is the argument for the intervention rate: computed over thousands of frames rather than twenty binary outcomes, it moves earlier and more smoothly. The caveat is that frames within an episode are heavily correlated - one bad grasp yields a hundred consecutive intervention frames - so the effective sample size is closer to the number of takeovers. Treat the rate as the early indicator and the success rate as slow ground truth.

Trap 3: training only on corrections bends the policy

התיקונים הם הנתונים מעניינים, כל הנטיה הוא להדרכה עליהם. לא. הם בא בבנייה מן הצר פרוסה של מדינה החלל איפה המדיניות כבר נכשלה ותגיד כמעט כלום על רוב של הריצה זה עבד. Fine-tune על זה פרוסה בלבד והוא לקבל מדיניות טוב בהשתקמות מ botched גישה זה שכחה איך לעשות נקי אחד.

Mandlekar ו עמיתים כנויים שלהם רחוק התערבות מערכת סביב זה. שלהם framing: תמרור משימות להכיל צוואר בקבוק אזורי דורשים רצף של פעולות מדויק - הוספת pod לתוך קפה מכונה הוא שלהם דוגמא - איפה קטן סטיות להוביל לתוך מדינה ההדגמה לא covered. שלהם אלגוריתם תרגולים iteratively על הנתונים החדשים כל אחד המדיניות לומד לחצות אלה צוואר בקבוקים, והם דיווח זה סוכנים trained על התערבות נתונים לתקיפה סוכנים trained על מספר שווה של דגימות מ non-interventional demonstrators.

ערבוב היחס הוא hyperparameter וזכאי להיות כתוב למטה. בהרכבה מערך הנתונים הבא הוא איפה זה הוחלט: ההדגמה המקורית בתוספת ערכת התיקון, בחירה episode לכל מקור במקום כלל זה שקט משיכות בכל מה שזמין. כאן זה אחד לחבר צעד בקוקפיט, והתוצאה היא מערך נתונים רגיל - ראה את ה training documentation. מה אין כלי עשה עבורך הוא הקלטת אשר יחס הייצור אשר עקומה.

Trap 4: the human is not a consistent expert

DAgger של התיאוריה מניח זה מומחה. אתה לא אחד בחושי טכני: התיקונים שלך הם לא דגימות מ קבוע conditional הפצה מעל פעולות. ACT המחברים שם זה כאשר רשימת המכשולים לתמרור דקיק - שגיאות מתחברות לאורך זמן, והדגמות אנושי יכול להיות לא-stationary. שלהם מערכת עדיין מגיע 80 ל 90 אחוז הצלחה על שישה אמיתיות משימות מ עשר דקות של הדגמות, כל הבעיה היא tractable, לא היה.

robomimic לימוד עושה הנקודה מן הנתונים צד. בחזוי שישה offline אלגוריתמים בחמש סימולציה ושלוש אמיתי-עולם מרוב-שלב משימות, של השיעורים קלוט עוגיות עיצוב, dependence על הדגמה איכות, וה - זה קורא הכיד - variability מ עוצר criteria, כי הדרכה וערכה היעדים להבדל. checkpoint עם המטר הפסד הנמוך הוא לא reliably התא עם הצלחה הגבוהה שיעור.

יש גרסה חומרה של זה: קלט מצב עיצוב התיקון. A leader-follower מערכת מייצר רציף, אנושי-paced trajectories. מקלדת nudges נתפסים קשה על ידי השרת - שתיים degrees לכל צעדות על זרוע joints, ארבע על gripper - כך אותו כוונה הגעות כמו מדרגה של צעדות קטנות. Sliders לשלוח מטרות מוחלטות וה-server נע ב-most שש degrees לעברם לכל צעדות. שלוש מצב, שלוש פעולה הפצה; ערבוב כל שלוש לתוך אחד תיקון קבוע ואז תוהה למה הגישה הפכה twitchy הוא self-inflicted. ה teleoperation documentation מכסה מה כל אחד מצב שולח.

Weighting the interventions: IWR and what came after

אם תיקונים הם המיעוט ערך, פrincipled תיקייה היא משקל ולא exclusivity. Intervention Weighted Regression היא התייחסות בישול: הנתונים הוא partitioned לתוך התערבות ו לא-התערבות דגימות, וה שתיים partitions נדגמו בפרופורציה שווה במהלך הדרכה. תיקון קבוע זה חמש אחוז של הframes אבל תורם חצי השיפוע, בלי המוטו התנהגות נעלמה מה הפצה.

Equal proportion is a starting point, not a law. Sirius generalises it by replacing the binary partition with a continuous weight from approximated human trust; Sirius-Fleet moves the decision upstream, using a visual world model and anomaly predictors to decide when a human is asked at all. The common thread: the intervention flag is a training signal, not just a bookkeeping column.

Four metrics worth logging next to the rate

• Takeovers per run. Twenty short corrections and one long one give similar rates and describe different policies - one jittery, one with a single blind spot.
• Mean intervention length. Rising length with a falling count means the remaining failures are the hard ones, which is what late progress looks like.
• Time to first intervention. A policy that gets further before needing help is improving even when the total rate is flat.
• Where interventions cluster. Bin the flag by normalised episode progress; a stable peak across rounds points at one bottleneck.

A round protocol you can actually run

A measured round has six steps and produces one row in the log. The first four are the loop; the last two make it a measurement.

1. 1
   Freeze the evaluation protocol before round zero

   Write down start pose, object placement, cameras, trial count, timeout and success criterion. Photograph the table. If the document has to change, the series restarts.

2. 2
   Measure the baseline

   Run the protocol with no interventions and record the successes; then run one instrumented session with takeover enabled and record the rate. Those two numbers are round zero.

3. 3
   Collect corrections in one consistent style

   One input mode per round, one operator if you can manage it. Take over on a criterion you can state out loud - 'gripper more than two centimetres off at approach' - and hold it for the round.

4. 4
   Triage every episode the same day

   Correction, evaluation or discard. Ambiguous episodes get discarded, not saved on the theory that more data helps - a correction in which you yourself fumbled is worse than no episode.

5. 5
   Compose the mixture explicitly

   Original demonstrations plus corrections, episode selection per source. Record base count, correction count and any weighting - this is the field you will want in three weeks.

6. 6
   Continue from the checkpoint, then re-measure

   Train the composed dataset from the previous checkpoint rather than the base model, run the frozen protocol plus one instrumented session, append the row, and compare against the previous two rounds.

Two limits change how you read a weak round. Continuing from a checkpoint initialises the weights from it - not an optimiser resume, so the schedule starts fresh and a short run from a converged checkpoint can move very little. And the leader-align motion at the start of a takeover has the least mileage on real hardware of anything in the chain; if corrections all begin with an odd transient, look there before blaming the mixture.

What the numbers cannot tell you

None of this is solved, and a tidy curve should not persuade you otherwise. The intervention rate measures a joint system - policy, hardware, operator, room - and attributes nothing on its own. It cannot judge whether the corrections were good, and it will fall happily on a task that got easier because the object drifted two centimetres closer over three weeks.

What it does is turn a vague impression into a column you can argue with. The alternative is not a better metric; it is three weeks of collecting corrections the curve would have told you, after round three, to stop collecting. The survey literature defines interactive imitation learning as human feedback given intermittently during robot execution, allowing an online improvement of the behaviour; the family is wide, and no arrangement of it works without a number per round. See also the SO-100 imitation learning guide for the base dataset you mix against, running a policy for the inference side, and the DAgger loop page for the implemented pipeline.

Keep the log in the repository, not in a notebook: rounds are days apart, hardware gets rebuilt, and the person reading the curve in October is you with no memory of August. The documentation FAQ covers the operational details left out here.