Đo lường một Vòng lặp DAgger: Tỷ lệ Intervention, Giao thức Evaluation, và những Bẫy ở Giữa

Một vòng DAgger cảm thấy hiệu quả khi bạn đang ở trong nó. Bạn lái policy, tiếp quản khi nó vấp phải cách nhận, lưu các sửa chữa, huấn luyện lại, và lần chạy tiếp theo trông — bạn sẽ thề — một chút mượt mà hơn. Hai vòng sau bạn không thể nói liệu có gì thay đổi, bởi vì "một chút mượt mà hơn" không phải là một đại lượng.

Vòng lặp cần một số mỗi vòng, và trong một vòng lặp được kiểm soát bởi con người, con số đó gần như miễn phí: phần của lần chạy trong đó bạn có kiểm soát thay vì policy. Bài viết này định nghĩa nó sao cho hai người tính toán cùng một giá trị, ghi log nó, đọc đường cong kết quả, và đặt tên bốn cách nó dẫn bạn vào sai lầm khi nó đứng một mình. Đối với lý thuyết mà bài viết này giả định, xem the DAgger explainer và the human-gated variant; đối tác thực tiễn là running a DAgger loop on an SO-100.

Tại sao một vòng cần một số ở tất cả

DAgger tồn tại vì một vấn đề phân phối, và các vấn đề phân phối không nhìn thấy bằng mắt. Ross và Bagnell đã chỉ ra rằng imitation learning trên một tập hợp minh chứng cố định dẫn đến lỗi compounding và một regret bound phát triển bậc hai theo đạo hàm thời gian: khi người học rời khỏi các trạng thái mà demonstrator đã ghé thăm, không có gì trong dữ liệu cho nó biết cách quay lại. DAgger khắc phục điều này bằng cách iterate — chạy policy, nhãn các trạng thái nó ghé thăm, aggregate, huấn luyện lại — mà Ross, Gordon và Bagnell frame như một reduction để không-regret online learning.

Framing đó có hệ quả những người bỏ qua. Bảo đảm liên quan đến chuỗi các policies qua các iterations, không phải bất kỳ lần chạy nào. Nó nói không về liệu your round three helped. Cách duy nhất để biết là đo mỗi iteration. Kelly và đồng nghiệp giới thiệu HG-DAgger vì classic DAgger yêu cầu expert cho các nhãn action khi novice vẫn đang kiểm soát, mà bài viết lập luận có thể giảm độ an toàn và, với các experts con người, có khả năng làm suy giảm chất lượng nhãn thông qua perceived actuator lag. HG-DAgger cũng học một safety threshold cho một risk metric dựa trên model-uncertainty và báo cáo hiệu suất cải thiện so với cả DAgger và behavioural cloning trên một tác vụ lái. Nó xuất bản không intervention counts; những thứ đó bạn tự tạo.

Định nghĩa tỷ lệ sao cho hai người nhận được cùng một số

Định nghĩa là một dòng: intervention frames chia cho frames của lần chạy. Mọi thứ khó khăn ẩn trong những gì tính là một frame và những gì tính là một lần chạy.

Frames, không phải episodes

Đếm các episodes có ít nhất một intervention là vô dụng: mười episodes mỗi cái có một nudge và mười trong đó bạn lái tám mươi phần trăm cả hai đều cho "10/10". Số frame tách chúng ra, và nó là granularity mà recording đã có — trong LeRobot dataset format mọi timestep là một dòng, vì vậy intervention flag là một cột boolean tiếp theo đến trạng thái và action. Ở đây nó được viết mỗi frame khoảnh khắc takeover bắt đầu và xóa khi kiểm soát quay lại.

Mẫu số bao gồm các sửa chữa

Hai mẫu số có thể bảo vệ được — tổng frames của lần chạy, hoặc frames mà policy lái tự quản — và chúng phân kỳ tồi tệ ở các mức intervention cao. Lấy quyền kiểm soát cho 400 trong 1000 frames và cái đầu tiên cho 40 phần trăm, cái thứ hai 67 phần trăm. So sánh một vòng đo được cách đầu tiên chống lại cái tiếp theo được đo cách thứ hai là cách một cải thiện thực sự biến mất. Lấy tổng frames và không bao giờ xem lại lựa chọn mid-series.

Quyết định một lần những gì xảy ra với handover frames

Có luôn là một đường may. Khi kiểm soát chuyển qua, một số frames thuộc về không bên nào: cánh tay được giữ, người lãnh đạo đang căn chỉnh, recording bị đóng lạnh. Trong pipeline này những handover frames đó ở lại trong raw stream và không bao giờ nhập vào curated episode — chúng không phải hành vi policy cũng không phải một sửa chữa đáng giá luyện tập trên. Đếm đường may cùng một cách mỗi vòng: ở 30 Hz, sáu takeovers với một seam hai giây mỗi cái là 360 frames, đủ để di chuyển một percentage point.

Ghi log nó sao cho số sống sót phiên

Một metric trong bảng trạng thái của một quá trình chạy là một readout: nó biến mất khi khởi động lại và không thể được vẽ. Một dòng append-only cho mỗi lần chạy bao phủ toàn bộ chuỗi — bao gồm cái nào checkpoint bạn lái, vì điều đó thay đổi mỗi vòng và trộn chúng làm vô hiệu hóa những gì theo sau.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Hai trường mang nặng. train_mix là những gì bạn cho công việc luyện tập tiếp theo; nếu không không có gì có thể được quy cho. eval_protocol đặt tên test cố định bạn chạy sau đó, và là trường thường để trống nhất. Trong cockpit ay-robots, takeover status báo cáo số intervention frames cho phiên chạy, vì vậy ghi log là transcription thay vì instrumentation; dataset documentation bao gồm nơi các cột per-frame đáp xuống.

Đọc đường cong: ba vòng, một phán quyết

Ba vòng là mức tối thiểu để đọc, bởi vì hai điểm luôn là một dòng. Bảng dưới đây là một template ghi chép với các số placeholder, không phải các phép đo từ bất kỳ lần chạy nào. Bạn đang tìm kiếm một giảm đơn điệu kết hợp bởi một tăng lên trong thành công trên một test cố định.

Các vòng một và hai đang làm việc. Vòng ba không: 11.3 chống 11.1 phần trăm là bên trong biến thiên run-to-run của bất kỳ thứ gì được đo trên một cánh tay vật lý, và một vòng thứ tư của cùng sửa chữa dành một buổi chiều cho không có gì. Đoạn phẳng nói thay đổi một cái gì đó cấu trúc.

• Những thất bại còn lại không thể sửa chữa bằng teleoperation — đối tượng ra ngoài tầm tay, hình học gripper, một joint ở giới hạn của nó. Không dữ liệu sửa chữa khắc phục một bức tường kinematic.
• Các sửa chữa quá ít chống lại dataset cơ sở để di chuyển gradient, và không có gì cân bằng chúng.
• Các sửa chữa mâu thuẫn với nhau, vì vậy policy trung bình hai chiến lược và hạ cánh giữa chúng.
• Thất bại là upstream: một máy ảnh di chuyển, ánh sáng thay đổi, chế độ xem cổ tay không còn khớp với luyện tập.
• Tác vụ ở trần nhà của lớp policy này trên phần cứng này, và bước tiếp theo là dữ liệu cơ sở nhiều hơn.

Hai cái cuối cùng không phải là thất bại của vòng lặp. Trong Sirius-Fleet một nhu cầu giảm xuống cho con người là kết quả được thiết kế: khi tự chủ của robot cải thiện, các predictors anomaly của nó thích ứng các tiêu chí dự đoán của họ, dẫn đến ít hơn các yêu cầu cho human intervention và dần dần giảm workload con người theo thời gian. Ở đó tiêu chí thích ứng có mục đích. Trong một vòng lặp thủ công của bạn thích ứng quá, im lặng — vì vậy một tỷ lệ làm phẳng bởi vì tác vụ ở trần nhà của nó trông chính xác như một cái làm phẳng bởi vì nhà điều hành dừng để nhận thấy. Đó là vấn đề tiếp theo.

Bẫy 1: một tỷ lệ giảm xuống không phải là một tỷ lệ thành công tăng lên

Tỷ lệ intervention đo chính xác một thứ: bao nhiêu của lần chạy bạn quyết định sở hữu. Quyết định đó là của bạn, được thực hiện trong thời gian thực, và nó di chuyển. Ở vòng không bạn tiếp quản ở góc tiếp cận xấu đầu tiên; bởi vòng ba bạn đã xem policy phục hồi từ một tá của chúng và bạn để nó thử. Ngưỡng của bạn di chuyển; policy có thể không. Tỷ lệ rơi bất cứ cách nào.

Human trust là ít nhất một đại lượng được model hóa trong văn học chứ không phải một hằng số được giả định. Sirius re-weights mẫu luyện tập với approximated human trust và tối ưu hóa policy với weighted behavioural cloning, báo cáo một 8 phần trăm boost trong mô phỏng và 27 phần trăm trên phần cứng thực tế qua state of the art trong policy success rate, ở hai lần tốc độ hội tụ. Đó là treat trust như một trọng số trên dữ liệu. Nó không sửa ngưỡng trong đầu bạn giữa vòng không và vòng ba.

Bạn không thể loại bỏ drift, vì vậy cặp tỷ lệ với một cái gì đó ngưỡng của bạn không thể chạm đến: một tập cố định các thử mà bạn không can thiệp ở tất cả, được tính toán chống lại một tiêu chí viết trước vòng. Một tỷ lệ rơi trong khi tỷ lệ thành công cặp ở lại là chữ ký của habituation — đáng giá bắt, bởi vì từ bên trong vòng lặp nó cảm thấy như tiến bộ.

Bẫy 2: nếu không có giao thức cố định, bạn đo phòng

Đánh giá real-robot đắt và khó lặp lại. Các tác giả SIMPLER động lực đánh giá mô phỏng với quan sát mà đánh giá real-world của các policies như vậy không có thể mở rộng và phải đối mặt với thách thức reproducibility có khả năng tồi tệ hơn khi các policies mở rộng phạm vi tác vụ của họ. RoboArena tấn công nó từ phía kia, với hơn 600 cặp real-robot evaluation episodes trên bảy generalist policies, chạy bởi evaluators tại bảy các tổ chức học thuật trên nền tảng DROID. Các evaluators của nó chọn tác vụ và môi trường của riêng họ nhưng phải phán xét cặp policies double-blind; bài viết báo cáo mà ranking crowd-sourced này theo dõi hiệu suất generalist-policy chính xác hơn than conventional, đánh giá tập trung.

Bạn sẽ không chạy 600 paired episodes trên một SO-100 trong một workshop. Cái bạn có thể làm là loại bỏ phương sai bạn kiểm soát — một danh sách chán đủ mà nó thường bị bỏ qua.

Rồi là số học, không thể khoan dung ở các số thử mà một workshop có thể đủ khả năng. Dưới xấp xỉ bình thường, 60 phần trăm thành công trên 20 thử mang một standard error gần 11 percentage points — căn bậc hai của 0.6 lần 0.4 trên 20 — và sự khác biệt giữa hai vòng như vậy mang khoảng 15. Một bước nhảy từ 60 đến 70 phần trăm do đó consistent với không có gì xảy ra. Năm mươi thử mang con số per-round đó đến khoảng 7 points, và chi phí một buổi chiều.

Bất đối xứng này là lập luận cho tỷ lệ intervention: tính toán trên hàng ngàn frames thay vì hai mươi binary outcomes, nó di chuyển sớm hơn và mịn hơn. Cảnh báo là các frames bên trong một episode được tương quan nặng — một grasp xấu mang một trăm consecutive intervention frames — vì vậy effective sample size gần hơn đến số lượng takeovers. Treat tỷ lệ như early indicator và tỷ lệ thành công như slow ground truth.

Bẫy 3: chỉ luyện tập trên các sửa chữa làm uốn policy

Các sửa chữa là dữ liệu thú vị, vì vậy本能là luyện tập trên chúng. Đừng. Chúng đến bởi xây dựng từ slice hẹp của state space nơi policy đã thất bại và nói gần như không có gì về đa số của lần chạy mà làm việc. Fine-tune trên cái slice mỗi lần duy nhất và bạn nhận được một policy tốt tại phục hồi từ một tiếp cận fumbled mà đã quên cách tạo một sạch.

Mandlekar và đồng nghiệp xây dựng hệ thống remote intervention của họ xung quanh điều này. Framing của họ: các tác vụ manipulation chứa các bottleneck regions yêu cầu một chuỗi các hành động chính xác — inserting một pod vào một coffee machine là ví dụ của họ — nơi các deviations nhỏ dẫn vào các trạng thái demonstrations không bao giờ bao phủ. Thuật toán của họ luyện tập iteratively trên dữ liệu mới để policy học để traverse những bottlenecks đó, và họ báo cáo mà agents huấn luyện trên intervention data đánh bại agents huấn luyện trên một số tương đương các mẫu từ non-interventional demonstrators.

Tỷ lệ mix là một hyperparameter và xứng đáng được viết xuống. Composing dataset tiếp theo là nơi nó được quyết định: demonstrations gốc cộng với correction set, episode selection explicit per source chứ không phải một rule mà im lặng pulls trong bất kỳ cái nào có sẵn. Ở đây đó là một compose step trong cockpit, và kết quả là một dataset bình thường — xem training documentation. Cái không có công cụ nào làm cho bạn là ghi lại tỷ lệ nào sản xuất đường cong nào.

Bẫy 4: con người không phải là một expert nhất quán

Lý thuyết DAgger giả định một expert. Bạn không phải là một trong những ý nghĩa kỹ thuật: các sửa chữa của bạn không phải là các mẫu từ một fixed conditional distribution trên actions. Các tác giả ACT đặt tên điều này khi liệt kê các chướng ngại đối với fine manipulation — lỗi compound theo thời gian, và con người demonstrations có thể là non-stationary. Hệ thống của họ vẫn đạt được 80 đến 90 phần trăm thành công trên sáu real tasks từ mười phút của demonstrations, vì vậy vấn đề là tractable, không vắng mặt.

Nghiên cứu robomimic đưa ra điểm từ phía dữ liệu. Trên sáu offline algorithms trên năm simulated và ba real-world multi-stage tasks, các bài học của nó bao gồm sensitivity để thiết kế choices, dependence trên demonstration quality, và — cái làm tổn thương nhất ở đây — variability phát sinh từ stopping criteria, bởi vì training và evaluation objectives khác nhau. Checkpoint với mất mát thấp nhất không phải reliably cái có highest success rate.

Có một phiên bản phần cứng của điều này: chế độ đầu vào hình thành sửa chữa. Một leader-follower setup sản xuất continuous, human-paced trajectories. Keyboard nudges được kẹp hard bởi server — hai độ trên các joints cánh tay, bốn trên gripper — vì vậy cùng intent đến như một staircase của các bước nhỏ. Sliders gửi absolute targets và server di chuyển ở hầu hết sáu độ đối với chúng mỗi cuộc gọi. Ba chế độ, ba action distributions; trộn tất cả ba vào một correction set và rồi tự hỏi tại sao tiếp cận biến twitchy là self-inflicted. teleoperation documentation bao gồm cái nào chế độ gửi.

Cân bằng interventions: IWR và những gì đến sau

Nếu các sửa chữa là thiểu số quý báu, fix có nguyên tắc là trọng số chứ không phải exclusivity. Intervention Weighted Regression là implementation tham chiếu: dữ liệu được phân vùng vào intervention và non-intervention mẫu, và hai phân vùng được mẫu ở tỷ lệ bằng nhau trong luyện tập. Một correction set là năm phần trăm của các frames sau đó đóng góp nửa gradient, mà không nominal behaviour biến mất từ phân phối.

Tỷ lệ bằng nhau là một điểm bắt đầu, không phải một luật. Sirius khái quát hóa nó bằng cách replace binary partition với một continuous weight từ approximated human trust; Sirius-Fleet di chuyển quyết định upstream, sử dụng một visual world model và anomaly predictors để quyết định khi một con người được yêu cầu ở tất cả. Common thread: intervention flag là một training signal, không chỉ một bookkeeping column.

Bốn metrics đáng giá ghi log bên cạnh tỷ lệ

• Takeovers mỗi lần chạy. Hai mươi sửa chữa ngắn và một dài cho tỷ lệ tương tự và mô tả các policies khác nhau — một jittery, một với một blind spot duy nhất.
• Mean intervention length. Rising length với một falling count có nghĩa các thất bại còn lại là các cái khó, đó là những gì tiến bộ muộn trông như.
• Time to first intervention. Một policy mà được xa hơn trước khi cần trợ giúp là cải thiện khi tỷ lệ tổng thể là phẳng.
• Nơi interventions cluster. Bin flag bởi normalised episode progress; một stable peak trên các vòng chỉ đến một bottleneck.

Một round protocol bạn thực sự có thể chạy

Một measured round có sáu bước và sản xuất một dòng trong log. Bốn đầu tiên là vòng lặp; hai cuối cùng làm nó một phép đo.

1. 1
   Freeze the evaluation protocol before round zero

   Write down start pose, object placement, cameras, trial count, timeout and success criterion. Photograph the table. If the document has to change, the series restarts.

2. 2
   Measure the baseline

   Run the protocol with no interventions and record the successes; then run one instrumented session with takeover enabled and record the rate. Those two numbers are round zero.

3. 3
   Collect corrections in one consistent style

   One input mode per round, one operator if you can manage it. Take over on a criterion you can state out loud - 'gripper more than two centimetres off at approach' - and hold it for the round.

4. 4
   Triage every episode the same day

   Correction, evaluation or discard. Ambiguous episodes get discarded, not saved on the theory that more data helps - a correction in which you yourself fumbled is worse than no episode.

5. 5
   Compose the mixture explicitly

   Original demonstrations plus corrections, episode selection per source. Record base count, correction count and any weighting - this is the field you will want in three weeks.

6. 6
   Continue from the checkpoint, then re-measure

   Train the composed dataset from the previous checkpoint rather than the base model, run the frozen protocol plus one instrumented session, append the row, and compare against the previous two rounds.

Hai giới hạn thay đổi cách bạn đọc một vòng yếu. Tiếp tục từ một checkpoint khởi tạo các trọng số từ nó — không optimize resume, vì vậy schedule bắt đầu lại và một run ngắn từ một checkpoint hội tụ có thể di chuyển rất ít. Và leader-align motion ở bắt đầu của một takeover có mileage ít nhất trên real hardware của bất kỳ thứ gì trong chuỗi; nếu các sửa chữa tất cả bắt đầu với một transient kỳ lạ, nhìn ở đó trước khi đổ lỗi cho hỗn hợp.

What the numbers cannot tell you

Không có gì trong số này được giải quyết, và một đường cong gọn gàng không nên thuyết phục bạn nếu không. Tỷ lệ intervention đo một hệ thống chung — policy, hardware, operator, phòng — và quy cho không có gì trên riêng của nó. Nó không thể phán xét liệu các sửa chữa có tốt, và nó sẽ rơi vui vẻ trên một tác vụ mà trở nên dễ dàng bởi vì đối tượng trôi dạt hai centimet gần hơn qua ba tuần.

Cái nó làm là turn một vague impression vào một cột bạn có thể tranh luận với. Thay thế không phải là một metric tốt hơn; nó là ba tuần của thu thập các sửa chữa đường cong sẽ có nói bạn, sau vòng ba, để ngừng thu thập. Văn học khảo sát định nghĩa interactive imitation learning như human feedback được cho inter mittently trong robot execution, cho phép một online improvement của hành vi; gia đình rộng, và không sắp xếp của nó hoạt động nếu không một số mỗi vòng. Xem cũng the SO-100 imitation learning guide cho dataset cơ sở bạn trộn chống lại, running a policy cho inference side, và the DAgger loop page cho pipeline triển khai.

Giữ log trong repository, không phải trong một notebook: các vòng là ngày cách nhau, phần cứng được xây dựng lại, và người đọc đường cong trong tháng Mười là bạn với không có bộ nhớ của tháng Tám. documentation FAQ bao gồm các chi tiết hoạt động bị bỏ qua ở đây.