HG-DAgger और Gated Variants: कौन तय करता है कि Robot Policy को कब Take Over करें

एक cloned policy वहां fail करती है जहां उसका training data खत्म हो गया। Fix यह है कि data को policy के own state distribution के तहत collect करना जारी रखना, demonstrator के distribution की बजाय, जो कि DAgger करता है और जो the introduction to dataset aggregation covers करता है from first principles। यह open छोड़ता है original algorithm का awkward part: जबकि learner drives, expert को कहना माना जाता है कि वे क्या किए होते, हर state के लिए, without being in control।

एक simulator में scripted expert के साथ यह free है। एक table पर एक real arm के साथ यह न तो free है न ही safe। HG-DAgger के authors objection को ठीक से state करते हैं: ऐसी sampling schemes "require the expert to provide action labels without being fully in control of the system", जो "can decrease safety और, जब humans को experts के रूप में use करते हैं, तो likely है कि perceived actuator lag के कारण collected labels की quality degrade हो". (Kelly et al., 2019)। दो failures उस sentence में छिपी हैं: policy unsafe state में ड्राइव करती रहती है और उस risk के साथ खरीदे गए labels, एक मानव द्वारा hold करते हुए produce किए गए ones से worse हैं। हर नीचे का variant एक ही सवाल का जवाब देता है — control पर एक gate लगाओ और किसी को decide करने दो कि वह कब खुलता है। वे अलग हैं इसमें कि यह किसी "someone" हो।

Human-gated और robot-gated: split जो matters

Interactive imitation learning का अपना survey है; Celemin और colleagues इसे catalogue करते हैं feedback type, interface, learning model, user experience, application और benchmark के साथ। Split जो आपकी engineering decide करता है वह किसी भी उन axes से simpler है, और recent work इसे directly names करता है: एक method है human-gated जब supervisor decide करता है कि कब intervene करना है, और robot-gated जब agent decide करता है कब help माँगना है (Cai et al., 2025)। सब कुछ और machinery उन दोनों choices में से एक को serve करता है। Trade visible है start से: एक human gate continuous attention cost करता है, और एक robot gate promise करता है वह attention back देने के लिए — लेकिन केवल अगर signal जो gate करता है वह trustworthy है, और वह signal build करना अपनी ही research problem है।

SafeDAgger: एक classifier जो अपनी deviation को predict करता है

Zhang और Cho का SafeDAgger (2016) इन gates में सबसे पहला है। Querying the reference policy expensive part है, तो एक दूसरा, छोटा network — safety policy — predict करता है कि क्या querying वर्थ है। यह "returns a binary label indicating whether the primary policy is likely to deviate from a reference policy without querying it"। Label को define किया जाता है two policies के actions के बीच एक squared L2 deviation को एक threshold tau के साथ, और classifier को fit किया जाता है binary cross-entropy के साथ। Runtime पर यह decide करता है per state कि क्या learner ड्राइव करता रहता है या reference take over करता है। Abstract fewer reference queries report करता है एक car racing simulator में plus एक convergence speed-up जिसे authors attribute करते हैं एक automated curriculum effect को, without giving a figure।

Catch definition में है, results में नहीं। Training the classifier को reference policy के action की जरूरत है हर state पर जो इसे fit करने के लिए use होता है, जो assumes करता है कि reference एक दूसरा program है। अगर आपका reference एक leader arm के साथ एक person है, तो label set महंगा नहीं है और method उस property को lose करता है जिसके लिए वह design किया गया था।

EnsembleDAgger: doubt और discrepancy, दोनों

Menda, Driggs-Campbell और Kochenderfer (2019) gate को एक probabilistic question मानते हैं। EnsembleDAgger "approximates a Gaussian Process using an ensemble of neural networks" और ensemble variance को एक confidence proxy के रूप में read करता है: high variance means एक region training data के विपरीत, जो — assuming करता है कि expert failure states से बचता है — correlate करता है failure के करीब होने के साथ। Rule एक conjunction है। Learner केवल act कर सकता है जब L2 distance अपनी mean action और expert की action के बीच एक threshold (discrepancy) के नीचे रहे और variance अपनी predicted action का एक दूसरे (doubt) के नीचे रहे। अगर कोई भी fail करता है, तो expert control लेता है। Goal है learner का share maximize करना actions का जबकि constraining करते हुए failure की probability को; paper improved safety और learning report करता है other DAgger variants के विरुद्ध एक inverted pendulum और MuJoCo HalfCheetah पर।

LazyDAgger: stop करना switch को chattering से

Hoque और colleagues (2021) एक cost पर attack करते हैं जो earlier papers ने measure नहीं किया: switch itself। हर intervention "interrupts other work the human is doing, incurs latency with each context switch between supervisor और autonomous control, और requires time to perform"। एक gate जो दस बार minute में खुलता और बंद होता है एक से worse है जो एक बार दस seconds के लिए खुलता है, identical autonomous share पर। LazyDAgger SafeDAgger को extend करता है asymmetric thresholds के साथ — harder to enter supervisor control than to stay in it — ताकि system boundary पर oscillate न करे। Simulation में यह "can reduce context switches by an average of 60% over SafeDAgger on 3 continuous control tasks while maintaining state-of-the-art policy performance"; fabric manipulation में एक ABB YuMi के साथ यह "reduces context switches by 60% while achieving a 60% higher success rate than SafeDAgger at execution time"।

ThriftyDAgger: novelty या risk, एक budget के तहत

ThriftyDAgger (Hoque et al., CoRL 2021) supervisor के budget से start करता है policy की बजाय। यह "uses a learned switching policy to solicit interventions only at states that are sufficiently (1) novel, जहां robot policy के पास कोई reference behavior नहीं है imitate करने के लिए, या (2) risky, जहां robot को task completion में कम confidence है", एक नई metric के साथ इस risk को estimate करने के लिए। Budget एक input है, outcome नहीं: आप state करते हैं कितना human time आप spend करेंगे। Execution time पर apply किया गया method "achieves a 100% success rate on both the simulation और physical tasks", और दस participants के साथ एक user study जो एक concentration task के साथ एक three-robot fleet को control करते हैं reports करता है कि यह "increases human और robot performance by 58% और 80% respectively compared to the next best algorithm while reducing supervisor burden"। Fleet setting इस work का natural home है; Fleet-DAgger बाद में interactive fleet learning को formalize करता है multiple robots और supervisors के साथ, proposing करता है Return on Human Effort as the quantity को optimize करने के लिए।

HG-DAgger: human gate को hold करता है

Kelly et al. (2019) दूसरे way जाते हैं। कोई switching policy नहीं है। Learner को roll out किया जाता है "until the expert observes कि novice एक unsafe region में enter कर गया है state space का", जिस point पर expert control लेता है और system को वापस guide करता है। Aggregation rule strict part है: "Expert action labels को केवल collect किया जाता है और dataset में add किया जाता है इन recovery trajectories के दौरान, जिसके दौरान human expert के पास system का uninterrupted control है।" कुछ भी नहीं है label किया जाता है जबकि human एक spectator है।

यह switch पर stop नहीं करता। HG-DAgger भी "learns एक safety threshold एक model-uncertainty-based risk metric के लिए जिसे use किया जा सकता है predict करने के लिए fully trained novice की performance को different regions में state space के": यह logs करता है कितना uncertain learner था उन moments पर जब human ने intervene किया और averages करता है उन records के last quarter को, जहां learner अपने final form को most resemble करता है। यह gate नहीं है जो robot operate करता है लेकिन एक diagnostic जो बताता है कि finished policy कहां hold होने की expect की जाए। Evaluation एक simulated और एक real-world driving task को cover करता है और improved performance report करता है both DAgger के विरुद्ध और behavior cloning के।

एक related line changes करता है क्या counts एक label के रूप में। Spencer और colleagues का Expert Intervention Learning मानते हैं कि "any amount of expert feedback, चाहे intervention से या non-intervention से, provides information एक current state की quality के बारे में, एक action की optimality, या दोनों", formalized as एक constraint पर learner के value function और solved किया जाता है no-regret online learning के साथ। उस reading के तहत, stretches जहां human watched और कुछ नहीं किया weak positive evidence हैं बजाय empty। EIL sizes करता है collision avoidance लगभग एक minute के expert control से।

Variants एक दूसरे के साथ side by side

क्या हर gate buys करता है, और क्या वह charges करता है

"Needs" column को read करो और एक pattern निकल आता है: हर robot-gated signal वहां एक proxy है जिसे manufacture करना होता है, और हर proxy का अपना bill है।

• Discrepancy signals (SafeDAgger, LazyDAgger, आधा EnsembleDAgger का rule) को एक reference policy चाहिए। या तो आपके पास एक scripted expert है, जिसमें interesting problem already solved है, या एक human continuously actions produce करता रहता है ताकि एक distance compute हो सके।
• Doubt signals को calibrated epistemic uncertainty चाहिए। Small control networks का एक ensemble इसे approximate करता है; एक three-billion-parameter vision-language-action model का एक ensemble एक memory और latency problem है पहले।
• Novelty और risk signals को एक learned estimator चाहिए task completion का, fitted करना काफी successful और failed rollouts पर। एक task पर जो आप अभी काम कर रहे हैं, वह data round one में exist नहीं करता।
• Human gate को attention चाहिए और कुछ नहीं — एक मात्र signal available day one पर, किसी policy architecture पर, कोई extra model train करने के बिना।
• कोई भी robot gate human को room से remove नहीं करता। वे reduce करते हैं कितनी बार human को act करना चाहिए, not whether उन्हें present होना चाहिए।

एक quieter difference है जो gate produce करता है। एक robot gate mid-trajectory में firing करता है एक person को एक moving arm देता है एक arbitrary pose पर। एक human gate operator को pick करने देता है moment — reach के बाद, grasp से पहले, swing के halfway में नहीं। Two के recovery segments equally clean नहीं हैं, और वह segments round की entire product हैं।

क्यों human-gated form real hardware पर wins करता है

यह एक engineering argument है, benchmark result नहीं — कोई paper जो हमें मिला run करता है सभी पाँच gates same manipulator पर same policy class के साथ। यह rest करता है चार points पर।

पहला, supervisor वहां है anyway। कोई एक SO-100 arm को running रहने नहीं देता unattended जो objects के साथ जो वह knock over कर सकता है। एक बार जब कोई watching है, तो marginal cost उन्हें एक takeover button देने के लिए near zero है; एक calibrated risk estimator build करना एक project है।

दूसरा, uncertainty जो आप actually measure कर सकते हैं एक modern policy पर अक्सर wrong quantity है। एक diffusion या flow-matching head produces करता है variance across sampled action chunks, और वह variance reflects करता है multimodality जिसे head train करने के लिए represent करना था, not epistemic ignorance एक state के बारे में। EnsembleDAgger का doubt term एक ensemble को use करता है precisely latter को capture करने के लिए। दोनों same number की तरह लगते हैं और नहीं हैं; "the action chunking" और "flow matching" entries cover करते हैं कि वह heads कैसे emit करते हैं actions को पहली जगह में।

तीसरा, failures जो manipulation में matter करते हैं अक्सर semantic हैं rather than statistically unusual। एक policy closing करता है gripper दो centimetres पहले, या reaching with confidence wrong one के दोनों identical cubes के, एक high-variance state में नहीं है — यह confident और wrong है। कोई variance threshold उसे catch नहीं करता; एक person watching उसे immediately catch करता है।

चौथा, label quality — original HG-DAgger point, और वह जो most often skipped होता है। Labels collected जबकि human के पास uninterrupted control था beat करते हैं labels narrated over एक moving system को। अगर goal corrective data है worth aggregating, तो burden of proof automated gate के साथ है।

Gate आधा है method का; data handling बाकी आधा है

एक gate decide करता है कि कौन से frames एक human ने drive किए, not क्या उनके साथ करना है, और वह दूसरा decision वह है जहां rounds most often wasted होते हैं। पहला rule वह है जो D DAgger में stands के लिए: aggregate, replace न करें। Fine-tuning एक checkpoint purely पर कुछ सौ correction frames aggregate करता है आपको एक model देता है जो almost nothing but recoveries देख रहा है और nominal trajectory को भूल गया है।

दूसरा rule है कि intervention frames ordinary frames नहीं हैं। Mandlekar et al. एक remote-teleoperation system build किए 6-DoF manipulation के लिए letting operators policies को monitor करें और failure पर take over करें, फिर iteratively train किए एक algorithm के साथ जो "encourages the policy to learn कि कैसे traverse करें bottlenecks interventions के through"; agents trained उस data पर outperformed करते हैं agents ordinary demonstration samples की equal number पर train किए गए। Sirius idea को deployment में push करता है, "re-weighing training samples with approximated human trust और optimizing policies weighted behavioral cloning के साथ"। दोनों को एक per-frame marker चाहिए कि क्या human-driven था, जो is why the "intervention" flag matters अधिक यह लगता है।

तीसरा rule है कि automatic mixing एक trap है। एक composed dataset जिसके sources आप enumerate नहीं कर सकते एक है जो आप debug नहीं कर सकते जब next round worse होता है। इस platform पर compose step explicit है उस reason के लिए — original dataset plus corrections, episode selection per source, और result एक ordinary है "LeRobot dataset" जो syncs करता है और trains करता है किसी अन्य की तरह; the "dataset documentation" cover करता है format side को।

Setting एक gate एक person actually hold कर सकता है

"The human decides" एक specification नहीं है। दो operators different thresholds के साथ incomparable rounds produce करते हैं, और एक drifting threshold एक trend produce करता है आप नहीं पढ़ सकते। Write the triggers down पहले first run।

1. Name the conditions जो gate को खोलते हैं — approach off by more than एक fixed margin, gripper closing nothing पर, एक joint drifting एक limit की ओर, एक stall more than एक second या दो का — और list unchanged रखें round के लिए।
2. Name जो नहीं खोलता है। Overshoot जो policy अपने आप recover करती है training signal है; take over वहां delete करता है एक recovery जो वह already knows।
3. Take over जल्दी enough एक clean handover के लिए, hand back जैसे ही state recoverable है।
4. Log क्यों आप ने take over किया, per episode। तीन rounds बाद यह एक मात्र record है कि क्या same failure returns करती है।
5. Keep cameras, task text और operator constant rounds के across। Change one और numbers incomparable हो जाते हैं।

Mechanically handover के दो variants हैं। एक leader arm के साथ, leader को reach करना होता है follower का current pose pre torque transfer, या arm jumps करता है; यह alignment move least-tested part है chain का real hardware पर। एक leader arm के बिना takeover है manual first keypress से: follower held है और operator nudges करता है यह joint by joint keyboard से या drags sliders, server-side clamps के साथ हर input छोटा रखते हैं — couple degrees per keypress, handful per slider update, क्योंकि एक large step एक held pose में है कि कैसे आप strip एक servo को। दोनों teleoperation modes की background the walkthrough of a DAgger round on an SO-100 में है; the teleoperation docs और the "leader-follower entry" में है।

Reading कि क्या gate ने कुछ किया

Metric एक human-gated round का है intervention rate: intervention frames divided by frames run का। इसका एक job है — अगर यह fall नहीं करता है rounds के across, round bought nothing, और next one should change कुछ अन्य data की amount से।

यह एक biased metric है और आप should know। यह measures करता है operator threshold को as much as policy competence को, जो is why trigger list stays fixed; एक operator who relaxes over एक session produce करता है एक falling curve nothing के साथ। यह also ignores severity — दस frames एक collision stop करने के लिए और दस एक grasp nudge करने के लिए identical दिखते हैं। Pair करें एक fixed evaluation set के साथ जिससे कोई correction data ever नहीं draw किया गया। "The article on measuring a DAgger loop" काम करता है evaluation design के माध्यम से, including कि कैसे evaluation episodes को training mix से keep out करें।

Open questions worth keeping view में

Benchmarks weak हैं। Spencer और colleagues examined जिन्हें imitation learning approaches को test करने के लिए use किया जाता है और found उन्हें "realizable और simple और thus insufficient capture करने के लिए harder regimes की error compounding seen in real-world decision making problems" — और, surrounding literature के विरुद्ध, found plain behavior cloning did अच्छा उन पर। यह reason है skeptical होने का किसी भी ranking के DAgger variants के लिए resting करने के लिए उन tasks पर, including कुछ numbers table में।

Robot gates large policies पर भी नहीं solve हैं। AIM work replaces करती है uncertainty को एक proxy Q-function के साथ human intervention rule को mimic करता है और reports करता है एक 40% improvement को लेने-over cost में और learning efficiency में ThriftyDAgger के ऊपर — continuous में और discrete control, not एक vision-language-action model पर drive एक manipulator। कि क्या इनमें से कोई gate transfers करता है एक fine-tuned VLA को open है। Survey एक related point बनाता है: field की terminology और structure unified नहीं हैं literature के across, जो methods को hard बनाता है compare करने के लिए। आपकी अपनी arm पर, आपके logs are the evidence आपके पास है।

एक single arm पर एक desk के लिए choice make किया गया है: hold करें gate खुद को, write करें क्या इसे खोलता है, और spend करें effort data handling पर इसके पीछे rather than automating the switch पर। Platform side को describe किया गया है "the DAgger loop page" पर, training options per policy family under "training और pricing"। Background के लिए, शुरुआत करें "imitation learning" और "imitation learning on the SO-100" के साथ; एक first run के लिए, "run your first policy" छोटा path है।