DAggerループの測定：介入率、評価プロトコル、およびその間の落とし穴

DAggerラウンドは実行中は生産的に感じられる。ポリシーを駆動し、掴みが失敗したときに引き継ぎ、訂正を保存し、再トレーニングを行い、次の実行はわずかにスムーズに見える。2ラウンド後、「わずかにスムーズ」は量ではないため、何かが変わったかどうかは言えない。

ループはラウンドごとに1つの数字が必要であり、ヒューマンゲート型ループではその数字はほぼ無料である：ポリシーの代わりにコントロール下にあった実行の割合。本記事では、2人が同じ値を計算するように定義し、ログし、結果の曲線を読み、それが単独で立つときに誤解させる4つの方法に名前を付ける。この記事が想定する理論については、以下を参照してください DAgger解説 と ヒューマンゲート型バリアント；実践的な対応物は SO-100でのDAggerループの実行。

なぜラウンドには数字が必要なのか

DAggerは分布問題のために存在し、分布問題は目には見えない。RossとBagnellは、模倣学習 固定デモンストレーションセットでは、誤差が複合し、時間地平線内で二次的に増加する後悔限界につながる：学習者が実演者が訪問した状態を離れると、データ内のものは、戻る方法を教えない。DAggerはこれを繰り返すことで修正する - ポリシーを実行し、訪問する状態にラベルを付け、集約し、再トレーニングする - これはRoss、GordonおよびBagnellが後悔のないオンライン学習への削減として構成している。

そのフレーミングは、人々がスキップする結果を持っている。保証は、任意の単一の実行ではなく、反復にわたるポリシーのシーケンスに関するものである。それは、かどうかについて何も言わない あなたの ラウンド3が役に立った。唯一の方法は、各反復を測定することである。Kellyと同僚がHG-DAggerを導入した理由は、古典的なDAggerが初心者がまだコントロール下にある間に、専門家にアクション ラベルを要求するためであり、論文はこれが安全性を低下させることができ、ヒューマン専門家では、知覚されたアクチュエータラグを通じてラベル品質を低下させる可能性が高いと主張している。HG-DAggerはまた、モデル不確実性ベースのリスク メトリックの安全閾値を学習し、運転タスク上でDAggerおよび行動クローニングの両方よりも改善されたパフォーマンスを報告する。介入カウントは公開していない；それらはあなた自身が生成する。

2人が同じ数を得るようにレートを定義する

定義は1行である：介入フレーム数を実行フレーム数で除したもの。すべての困難は、フレームとして何がカウントされ、実行として何がカウントされるかに隠されている。

エピソードではなくフレーム

少なくとも1つの介入を伴うエピソードをカウントすることは無駄である：1つずつナッジを伴う10エピソードと80パーセント運転した10の両方が「10/10」を与える。フレームカウントはそれらを分離し、それは記録がすでに持っている粒度である - LeRobot データセット形式 すべてのタイムステップが行である、したがって介入フラグは状態とアクション の隣の1つのブール列である。ここでは、テイクオーバーが開始する瞬間のフレームごとに記述され、制御が戻るときにクリアされる。

分母には訂正が含まれる

2つの分母が防御可能である - 実行の総フレーム、またはポリシーが自律的に駆動したフレーム - そして、高い介入レベルで大きく分岐する。1000フレームのうち400を引き継ぎ、最初の40パーセント、2番目の67パーセント。最初の方法で測定されたあるラウンドを2番目の方法で測定された次のラウンドと比較することは、実際の改善がどのように消えるかである。総フレームを取得し、シリーズの途中で選択を再検討しない。

ハンドオーバーフレームに何が起こるかを一度決定する

常に継ぎ目がある。制御が渡されるとき、いくつかのフレームはどちらの側にも属さない：腕は保持されている、リーダーは整列している、記録は凍結されている。このパイプラインでは、これらのハンドオーバーフレームは生のストリームに留まり、キュレーションされた エピソード - それらはポリシー行動でも、トレーニングの価値がある訂正でもない。毎ラウンド同じ方法で継ぎ目をカウントする：30 Hzでは、各2秒の継ぎ目を備えた6つのテイクオーバーは360フレームであり、パーセントポイントを移動するのに十分である。

ログ記録により、数字はセッションを生き残る

実行中のプロセスのステータスパネルのメトリックは読み出しである：再起動時に消え、プロットできない。実行ごとに1つの追記のみの行がシリーズ全体をカバーする - どの チェックポイント あなたが運転したもの、それはラウンドごとに変わり、混ぜると何が続くかを無効にする。

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

2つのフィールドが重要である。 train_mix は、次のトレーニングジョブに供給したものである；それなしでは何も属性付けることができない。 eval_protocol は、その後に実行した固定テストに名前を付け、最も頻繁に空のままであるフィールドである。ay-robots コックピットでは、テイクオーバーステータスは実行中のセッションの介入フレームカウントを報告するため、ログ記録は計測ではなく転写である；データセットドキュメンテーション フレームごとの列がどこに着陸するかを対象としている。

曲線を読む：3ラウンド、1つの評決

3ラウンドは読みの最小値である。なぜなら、2つのポイントは常に直線だからである。以下の表は、実行からの測定ではなく、プレースホルダー数を使用した簿記テンプレートである。固定テストの成功の増加と一致する単調減少を探している。

ラウンド1と2は動作している。ラウンド3はそうではない：11.3対11.1パーセントは、物理的な腕で測定されるものの実行から実行への変動内であり、同じ訂正の4番目のラウンドは何もしない午後を費やす。平坦なセグメントは、何か構造的に変更することを示している。

• 残りの故障はテレオペレーションでは修正できない - オブジェクトが到達範囲外、グリッパージオメトリ、制限の関節。訂正データはキネマティック壁を修正しない。
• 訂正は、勾配を移動させるためのベースデータセットに対して少なすぎ、何も重みを付けない。
• 訂正は互いに矛盾しているため、ポリシーは2つの戦略を平均化してその間に着地する。
• 障害はアップストリームにある：カメラが移動し、照明が変更され、手首ビューがトレーニングと一致しなくなった。
• タスクはこのハードウェアのこのポリシークラスの上限にあり、次のステップはより多くのベースデータである。

最後の2つはループの障害ではない。Sirius-Fleetでは、ヒューマンの必要性の低下は設計された結果である：ロボット自律性が向上するにつれて、その異常予測因子は予測基準を適応させ、ヒューマン介入の要求が少なくなり、時間とともにヒューマンワークロードが徐々に減少する。そこで基準は意図的に適応する。手動ループでは、あなたのものも静かに適応する - したがって、タスクがその上限にあるために平坦化するレートは、オペレータが注意を停止したために平坦化したものとまったく同じに見える。これが次の問題である。

トラップ1：低下するレートは上昇する成功率ではない

介入率は正確に1つのことを測定する：実行のうちどれだけをあなたが所有することを決定したか。その決定はあなたのものであり、リアルタイムで行われ、移動する。ラウンド0では、最初の悪いアプローチ角度を引き継ぎます；ラウンド3までに、ポリシーがそれら数十から回復するのを見守り、試してみるようにします。あなたのしきい値が移動しました；ポリシー かもしれません。レートはどちらにしても低下する。

人間の信頼は、少なくとも仮定された定数ではなく、文献でモデル化された量である。Siriusは、概算的な人間の信頼を使用してトレーニングサンプルを再重み付けし、加重行動クローニングを使用してポリシーを最適化し、ポリシー成功率の最先端に対してシミュレーション で8パーセントのブースト、実ハードウェアで27パーセントを報告し、2倍の収束速度で報告する。これはデータの重みとして信頼を扱う。それはラウンド0とラウンド3の間のあなたの頭のしきい値を修正しない。

ドリフトを削除することはできないため、レートをしきい値が接触できない何かとペアにする：介入しない固定試験セット、ラウンド前に記述された基準に対してスコアリングされたもの。ペアの成功率が変わらないまま低下するレートは、習慣化の署名である - 価値があるをキャッチ、ループの内側から進歩のように感じるため。

トラップ2：固定プロトコルがなければ、部屋を測定する

実ロボット評価は費用がかかり、繰り返すのが難しい。SIMPLER著者は、そのようなポリシーの実世界的評価がスケーラブルではなく、ポリシーがタスクスペクトルを拡大するにつれて悪化する可能性のある再現可能性の課題に直面するという観察によってシミュレーション評価を動機付ける。RoboArenaは反対側からそれを攻撃し、DROIDプラットフォーム上の7つの学術機関の評価者によって実行される7つの一般主義者ポリシーにわたる600以上のペアワイズ実ロボット評価エピソードを使用する。その評価者は自分のタスクと環境を選択するが、ダブルブラインドでポリシーのペアを判断する必要があります；論文は、このクラウドソーシングされたランキングが従来の集中化された評価よりも正確に一般主義者ポリシーのパフォーマンスを追跡することを報告している。

1つで600個のペアエピソードを実行することはない SO-100 ワークショップで。あなたができることは、あなたが制御する分散を削除することである - それは通常スキップされるほど退屈なリストである。

その後、算数、ワークショップが余裕を持ってできるトライアルカウントで容赦ない。通常の近似では、20回の試行で60パーセントの成功は、11パーセントポイント近くの標準誤差を持っている - 20回以上の0.6倍0.4の平方根 - 2つのそのようなラウンド間の差は約15を持っている。したがって、60から70パーセントへのジャンプは、何も起こっていないことと一致している。50回の試行は、ラウンドごとの図をおおよそ7ポイントにし、午後のコストである。

この非対称性は、介入率の議論である：20の二進結果ではなく、数千のフレームで計算され、より早く、より滑らかに移動する。注意点は、エピソード内のフレームが強く相関している - 1つの悪い掴みは100個の連続介入フレームを生成する - ため、有効なサンプルサイズはテイクオーバーの数に近い。レートを初期指標として、成功率を遅い地上真実として扱う。

トラップ3：訂正に対してのみのトレーニングはポリシーを曲げる

訂正は興味深いデータであるため、本能は彼らにトレーニングすることである。するな。彼らはポリシーがすでに失敗していた状態空間の狭いスライスから建設によって来て、機能した実行の大多数についてほぼ何も言わない。そのスライスだけでファインチューニングすると、ぎこちないアプローチから回復するのは良いが、クリーンなアプローチを作る方法を忘れたポリシーが得られる。

Mandlekarと同僚は、彼らの遠隔介入システムをこれを中心に構築した。彼らのフレーミング：操作タスクには、一連の正確なアクションを必要とするボトルネック領域が含まれている - ポッドをコーヒーマシンに挿入することは、彼らの例である - 小さな逸脱がデモンストレーションが決してカバーしなかった状態につながるところ。彼らのアルゴリズムは新しいデータに対して反復的に訓練し、ポリシーはこれらのボトルネックを通過することを学び、介入データで訓練されたエージェントが非介入的デモンストレータからの同等数のサンプルで訓練されたエージェントを打つことを報告する。

混合比は超パラメータであり、書き下ろされるべきである。次のデータセットを構成することは、それが決定される場所である：元のデモンストレーションプラス訂正セット、利用可能なものを静かに引き込むルールではなくソースごとの明示的なエピソード選択。ここではコックピットの1つの構成ステップであり、結果は通常のデータセットである - を参照 トレーニングドキュメンテーション。どのツールもあなたのためにしていないのは、どの比率がどの曲線を生成したかを記録することである。

トラップ4：ヒューマンは一貫した専門家ではない

DAggerの理論は専門家を想定している。技術的な意味では、あなたは1つではない：あなたの訂正はアクション上の固定条件分布からのサンプルではない。ACT著者は、良好な操作への障害をリストアップするときこれに名前を付ける - エラーは時間とともに複合し、人間のデモンストレーションは非定常的である。彼らのシステムは依然として10分のデモンストレーションから6つの実タスクで80から90パーセントの成功に達し、問題は処理可能であり、不在ではない。

robomimic研究はデータサイドからポイントを作成する。5つのシミュレーションおよび3つの現実世界のマルチステージタスクにわたる6つのオフラインアルゴリズムで、その教訓には設計選択の感受性、デモンストレーション品質への依存、および - ここで最も傷つく - 停止基準に起因する変動性が含まれる、トレーニングと評価の目的が異なるため。最も低い損失を持つチェックポイントは、確実に最も高い成功率を持つチェックポイントではない。

これのハードウェアバージョンがある：入力モードは訂正を形作る。リーダーフォロワー セットアップは、連続的で、人間のペースの軌跡を生成する。キーボードのナッジはサーバーによってハードにクランプされ、腕関節で1コールあたり2度、グリッパーで4度 - したがって、同じ意図は小さなステップの階段として到着する。スライダーは絶対ターゲットを送信し、サーバーは1コールあたり最大6度それらに向かって移動する。3つのモード、3つのアクション分布；3つすべてを1つの訂正セットに混ぜてから、アプローチがなぜ痛みを伴ったのかを疑問に思うことは自己不健全である。テレオペレーションドキュメンテーション 各モードが送信するものをカバーしている。

介入の重み付け：IWRとその後

訂正が貴重なマイノリティの場合、原則的な修正は排他性ではなく重みである。Intervention Weighted Regressionは参照実装である：データは介入サンプルと非介入サンプルに分割され、2つの分割はトレーニング中に等しい割合でサンプリングされる。フレームの5パーセントの訂正セットは、名目上の行動が分布から消えることなく、勾配の半分に貢献する。

等しい割合は法律ではなく、出発点である。Siriusは、二進分割を概算的な人間の信頼からの継続的な重みで置き換えることによってそれを一般化する；Sirius-Fleetは、視覚的な世界モデルと異常予測因子を使用してヒューマンが要求されるかどうかを決定する上流の決定を移動する。共通のスレッド：介入フラグは、単なる簿記列ではなく、トレーニング信号である。

レートの隣に価値がある4つのメトリック

• 実行ごとのテイクオーバー。20の短い訂正と1つの長い訂正は、同様のレートを与え、異なるポリシーを説明する - 1つはじきじきした、1つは単一の盲点である。
• 平均介入長。数の低下を伴う上昇長は、残りの故障が難しいものであり、進行後半がどのように見えるかを意味する。
• 初回介入までの時間。ヘルプが必要になる前にさらに進む政策は、総率が平坦でも改善されている。
• 介入がクラスタリングされる場所。正規化されたエピソード進捗により、フラグをビン化する；ラウンド全体の安定したピークは1つのボトルネックを指している。

実際に実行できるラウンドプロトコル

測定されたラウンドには6つのステップがあり、ログに1行を生成する。最初の4つはループである；最後の2つはそれを測定にする。

1. 1
   ラウンド0前に評価プロトコルを凍結する

   開始ポーズ、オブジェクト配置、カメラ、トライアルカウント、タイムアウト、および成功基準を記述する。テーブルの写真撮影。ドキュメントを変更する必要があれば、シリーズが再起動される。

2. 2
   ベースラインを測定する

   介入なしでプロトコルを実行し、成功を記録します；次に、テイクオーバーを有効にして1つの計測セッションを実行し、レートを記録します。これら2つの数字はラウンド0である。

3. 3
   1つの一貫したスタイルで訂正を収集する

   ラウンドあたり1つの入力モード、可能な場合は1つのオペレータ。あなたが声に出して状態できる基準に対して引き継ぐ - '近づきで2センチメートル以上グリッパーをオフにする' - そしてラウンドのためにそれを保持する。

4. 4
   同じ日にすべてのエピソードをトリアージする

   訂正、評価、または破棄。曖昧なエピソードは破棄され、より多くのデータが役立つという理論で保存されていない - あなた自身が失敗した訂正は、エピソードがないより悪い。

5. 5
   混合物を明示的に構成する

   元のデモンストレーションプラス訂正、ソースごとのエピソード選択。ベースカウント、訂正カウント、および重みを記録 - これは3週間で必要になるフィールドである。

6. 6
   チェックポイントから続行し、再測定する

   基本モデルではなく前のチェックポイントから構成されたデータセットを訓練し、凍結されたプロトコルプラス1つの計測セッションを実行し、行を追記し、前の2ラウンドと比較する。

2つの制限は、弱いラウンドをどのように読むかを変更する。チェックポイントから続行するとそれから重みを初期化する - オプティマイザーのレジュームではなく、スケジュールは新しく開始され、収束したチェックポイントからの短い実行はほとんど移動できない。そして、テイクオーバーの開始時のリーダーアラインモーションは、チェーン内のもの中で最も実ハードウェア上の走行距離が少ない；訂正がすべて奇妙な一時的なもので始まる場合、混合物のせいにする前にそこを見てください。

数字があなたに言うことができない

これのどれも解決されていない、そして整然とした曲線はあなたにそうでなければ説得すべきではない。介入率は、ジョイントシステム（ポリシー、ハードウェア、オペレータ、ルーム）を測定し、それ自体に何も属性付けしない。訂正が良かったかどうかを判断することはできず、オブジェクトが3週間以上で2センチメートル近くドリフトしたため、タスクが簡単になったタスクに幸せに低下する。

それが行うことは、漠然とした印象をあなたが議論できる列に変える。代替案はより良いメトリックではなく、それは、ラウンド3の後、収集を停止するように曲線があなたに言ったであろう訂正を収集する3週間である。調査文献は、インタラクティブ模倣学習を、ロボット実行中に断続的に与えられたヒューマンフィードバックとして定義し、行動のオンライン改善を可能にする；家族は広く、ラウンドごとに数字なしで機能する配置はない。も参照してください SO-100模倣学習ガイド 対混合するベースデータセットについては、ポリシーの実行 推論側については、DAggerループページ 実装されたパイプラインについては。

ログをノートではなくリポジトリに保持する：ラウンドは数日離れており、ハードウェアが再構築され、10月の曲線を読む人は、8月の記憶がないあなたである。ドキュメンテーション FAQ ここで省略された運用上の詳細をカバーしている。