HG-DAgger at ang mga Gated Variant: Sino ang Nagpapasya Kung Kailan Aagawin ang Kontrol mula sa Robot Policy

Nabibigo ang isang cloned policy sa mga puntong naubusan na ang training data nito. Ang solusyon ay ang patuloy na pangongolekta ng data sa ilalim ng sariling state distribution ng policy, sa halip na sa distribution ng demonstrator, na siyang ginagawa ng DAgger at siyang tinatalakay ng panimula sa pag-aggregate ng dataset simula sa mga saligang prinsipyo (first principles). Iniiwan nitong bukas ang di-komportableng bahagi ng orihinal na algorithm: habang nagmamaneho ang learner, inaasahang sasabihin ng expert kung ano sana ang gagawin nila, para sa bawat state, kahit hindi sila ang may hawak ng kontrol.

Libre ito sa isang simulator na may scripted na expert. Sa isang mesa na may totoong braso, hindi ito libre at hindi rin ligtas. Malinaw na sinasabi ng mga awtor ng HG-DAgger ang pagtutol: ang ganitong sampling scheme ay "require the expert to provide action labels without being fully in control of the system", na "can decrease safety and, when using humans as experts, is likely to degrade the quality of the collected labels due to perceived actuator lag" (Kelly et al., 2019). Dalawang kabiguan ang nakatago sa pangungusap na iyon: patuloy na dinadala ng policy ang sarili sa mga state na walang gustong marating, at ang mga label na nabili sa panganib na iyon ay mas masama kaysa sa mga label na ginagawa ng isang tao habang hawak nila ang kontrol. Sinasagot ng bawat variant sa ibaba ang parehong tanong — maglagay ng gate sa kontrol at hayaang may magpasya kung kailan ito bubukas. Ang pagkakaiba nila ay kung sino ang taong iyon.

Human-gated at robot-gated: ang paghahati na mahalaga

May sarili nang survey ang interactive imitation learning; kinakatalogo ito nina Celemin at mga kasamahan ayon sa uri ng feedback, interface, learning model, karanasan ng user, aplikasyon, at benchmark. Ang pagkakaiba na nagpapasya sa iyong engineering ay mas simple kaysa sa alinman sa mga axis na iyon, at direktang pinapangalanan ito ng mga bagong pag-aaral: isang method ay human-gated kapag ang supervisor ang nagpapasya kung kailan mananabak, at robot-gated kapag ang ahente (agent) mismo ang nagpapasya kung kailan hihingi ng tulong (Cai et al., 2025). Ang lahat ng iba pa ay makinarya na naglilingkod sa isa sa dalawang pagpiling ito. Nakikita na ang kapalit mula sa simula pa lang: ang human gate ay nagkakahalaga ng tuluy-tuloy na atensyon, at ang robot gate ay nangangakong ibabalik ang atensyong iyon — pero kung mapagkakatiwalaan lamang ang signal na pinagbabatayan nito, at ang paggawa ng signal na iyon ay sarili nang problema sa pananaliksik.

SafeDAgger: isang classifier na humuhula ng sarili nitong paglihis

Ang SafeDAgger (2016) nina Zhang at Cho ang pinakauna sa mga gate na ito. Ang pag-query sa reference policy ang mamahaling bahagi, kaya may pangalawa, maliit na network — ang safety policy — na humuhula kung sulit ba talaga ang pag-query. "Returns a binary label indicating whether the primary policy is likely to deviate from a reference policy without querying it". Ang label ay tinutukoy laban sa squared L2 deviation sa pagitan ng mga aksyon ng dalawang policy na may threshold na tau, at ang classifier ay sinasanay gamit ang binary cross-entropy. Sa oras ng pagtakbo, nagpapasya ito kada state kung magpapatuloy ba ang learner o kukuha na ng kontrol ang reference. Iniulat ng abstract ang mas kaunting reference query sa isang car racing simulator kasama ang isang pagpapabilis ng convergence na iniuugnay ng mga awtor sa isang automated curriculum effect, ngunit walang ibinigay na eksaktong figure para sa alinman.

Nasa kahulugan mismo ang bitag, hindi sa mga resulta. Ang pagsasanay sa classifier ay nangangailangan ng aksyon ng reference policy sa bawat state na ginamit para dito, na ipinagpapalagay na ang reference ay isa pang programa. Kung ang reference mo ay isang tao na may leader arm, hindi na mura ang set ng label na iyon at nawawala sa method ang katangiang para dito ito idinisenyo.

EnsembleDAgger: pagdududa at pagkakaiba, pareho

Itinuturing nina Menda, Driggs-Campbell, at Kochenderfer (2019) ang gate bilang isang probabilistikong tanong. "Approximates a Gaussian Process using an ensemble of neural networks" ang EnsembleDAgger, at binabasa nito ang ensemble variance bilang isang proxy ng kumpiyansa: ang mataas na variance ay nangangahulugang isang rehiyong hindi katulad ng training data, na — sa pagpapalagay na iniiwasan ng expert ang mga failure state — nauugnay sa pagiging malapit sa kabiguan. Ang tuntunin ay isang conjunction. Maaari lamang kumilos ang learner kapag ang L2 distance sa pagitan ng mean action nito at ng aksyon ng expert ay nananatiling mas mababa sa isang threshold (discrepancy) at ang variance ng hinulaang aksyon nito ay nananatiling mas mababa sa pangalawang threshold (doubt). Kapag nabigo ang alinman, kukuha ng kontrol ang expert. Ang layunin ay i-maximize ang bahagi ng mga aksyon na kontrolado ng learner habang pinipigilan ang posibilidad ng kabiguan; iniulat ng papel ang mas mahusay na kaligtasan at pagkatuto kumpara sa ibang DAgger variant sa isang inverted pendulum at MuJoCo HalfCheetah.

LazyDAgger: pigilan ang switch sa pag-chatter

Sinalakay nina Hoque at mga kasamahan (2021) ang isang gastos na hindi sinukat ng mga naunang papel: ang switch mismo. Bawat interbensyon ay "interrupts other work the human is doing, incurs latency with each context switch between supervisor and autonomous control, and requires time to perform". Ang isang gate na bumubukas at sumasara nang sampung beses kada minuto ay mas masama kaysa sa isang bumubukas nang isang beses lang nang sampung segundo, sa parehong antas ng autonomous share. Pinapalawak ng LazyDAgger ang SafeDAgger gamit ang mga asymmetric threshold — mas mahirap pumasok sa supervisor control kaysa manatili rito — para hindi mag-oscillate ang sistema sa hangganan. Sa simulation, "can reduce context switches by an average of 60% over SafeDAgger on 3 continuous control tasks while maintaining state-of-the-art policy performance"; sa fabric manipulation gamit ang isang ABB YuMi, "reduces context switches by 60% while achieving a 60% higher success rate than SafeDAgger at execution time".

ThriftyDAgger: novelty o risk, sa ilalim ng isang budget

Nagsisimula ang ThriftyDAgger (Hoque et al., CoRL 2021) mula sa budget ng supervisor sa halip na sa policy. "Uses a learned switching policy to solicit interventions only at states that are sufficiently (1) novel, where the robot policy has no reference behavior to imitate, or (2) risky, where the robot has low confidence in task completion", kasama ang isang bagong metric para tantiyahin ang risk na iyon. Ang budget ay isang input, hindi isang outcome: sinasabi mo kung gaano karaming oras ng tao ang gagastusin mo. Kapag inilapat sa oras ng execution, "achieves a 100% success rate on both the simulation and physical tasks" ang method, at isang user study na may sampung kalahok na kumokontrol ng isang three-robot fleet kasabay ng isang gawaing nangangailangan ng konsentrasyon ay nag-uulat na "increases human and robot performance by 58% and 80% respectively compared to the next best algorithm while reducing supervisor burden". Ang fleet setting ang natural na tahanan ng gawaing ito; kalaunan ay pormal na binuo ng Fleet-DAgger ang interactive fleet learning na may maraming robot at supervisor, na nagmumungkahi ng Return on Human Effort bilang dami na dapat i-optimize.

HG-DAgger: ang tao ang humahawak ng gate

Ibang direksyon ang tinahak nina Kelly et al. (2019). Walang switching policy dito. Pinapatakbo ang learner "until the expert observes that the novice has entered an unsafe region of the state space", at sa puntong iyon kukunin ng expert ang kontrol at gagabayan pabalik ang sistema. Ang tuntunin sa pag-aggregate ang mahigpit na bahagi: "Expert action labels are only collected and added to the dataset during these recovery trajectories, during which the human expert has uninterrupted control of the system." Walang nala-label habang ang tao ay tagamasid lamang.

Hindi ito humihinto sa switch. Natututo rin ang HG-DAgger ng "a safety threshold for a model-uncertainty-based risk metric that can be used to predict the performance of the fully trained novice in different regions of the state space": itinatala nito kung gaano kadudang-dudang ang learner sa mga sandaling nanabak ang tao, at kinukuha ang average ng huling ikaapat na bahagi ng mga talaang iyon, kung saan pinakakahawig ng learner ang huli nitong anyo. Hindi ito isang gate na pinapatakbo ng robot kundi isang diagnostic na nagsasabi kung saan inaasahang gaganda ang tapos nang policy. Sinasaklaw ng ebalwasyon ang isang simulated at isang real-world na driving task, at iniulat nito ang mas magandang performance kaysa sa parehong DAgger at behavior cloning.

May isang kaugnay na linya ng pananaliksik na nagbabago kung ano ang binibilang bilang label. Ayon sa Expert Intervention Learning nina Spencer at mga kasamahan, "any amount of expert feedback, whether by intervention or non-intervention, provides information about the quality of the current state, the optimality of the action, or both", na pormal na ginawang isang hadlang (constraint) sa value function ng learner at nilulutas gamit ang no-regret online learning. Sa ganitong pagbasa, ang mga saglit na pinagmasdan ng tao at walang ginawa ay mahinang positibong ebidensya sa halip na wala. Natututo ang EIL ng collision avoidance mula sa humigit-kumulang isang minuto ng kontrol ng expert.

Ang mga variant, magkatabi

Ano ang binibili ng bawat gate, at ano ang sinisingil nito

Kung babasahin pababa ang column na "kailangan", may lumalabas na pattern: bawat robot-gated na signal doon ay isang proxy na kailangang gawin, at bawat proxy ay may sarili nitong singil.

• Ang mga discrepancy signal (SafeDAgger, LazyDAgger, kalahati ng tuntunin ng EnsembleDAgger) ay nangangailangan ng reference policy. Alinman mayroon kang scripted na expert, kung saan nalutas na ang interesanteng problema, o patuloy na gumagawa ng mga aksyon ang isang tao sa likod upang makalkula ang distansya.
• Ang mga doubt signal ay nangangailangan ng kalibradong epistemic uncertainty. Malapit dito ang tantiya ng isang ensemble ng maliliit na control network; ngunit ang isang ensemble ng isang three-billion-parameter na vision-language-action model ay una sa lahat isang problema sa memory at latency.
• Ang mga novelty at risk signal ay nangangailangan ng isang learned na estimator ng pagkakatapos ng gawain, na sinanay sa sapat na bilang ng matagumpay at nabigong rollout. Sa isang gawaing kasalukuyan mo pang pinapagana, wala pang ganitong data sa unang round.
• Ang human gate ay nangangailangan lamang ng atensyon at wala nang iba — ang tanging signal na available mula pa sa unang araw, sa anumang policy architecture, nang walang karagdagang modelong sasanayin.
• Walang robot gate ang tumatanggal sa tao sa silid. Binabawasan lamang nila kung gaano kadalas kailangang kumilos ang tao, hindi kung kailangan pa ba silang naroroon.

May mas tahimik na pagkakaiba sa kung ano ang nililikha ng gate. Ang isang robot gate na nag-a-activate sa gitna ng trajectory ay ibinibigay sa isang tao ang isang gumagalaw na braso sa isang di-tiyak na pose. Ang isang human gate ay hinahayaan ang operator na piliin ang sandali — pagkatapos ng abot, bago ang paghawak (grasp), hindi sa kalagitnaan ng isang galaw. Hindi pantay-pantay kalinis ang mga recovery segment mula sa dalawa, at ang mga segment na iyon mismo ang buong produkto ng round.

Bakit nananalo ang human-gated na anyo sa totoong hardware

Isa itong argumentong pang-engineering, hindi isang resulta ng benchmark — walang papel na nahanap namin na pinapatakbo ang lahat ng limang gate sa parehong manipulator gamit ang parehong uri ng policy. Nakabatay ito sa apat na punto.

Una, naroroon na naman ang supervisor. Walang nag-iiwan ng isang SO-100 arm na tumatakbo nang walang bantay sa tabi ng mga bagay na maaari nitong matumba. Kapag may nagmamasid na, halos zero na lang ang dagdag na gastos ng pagbibigay sa kanila ng takeover button; ang paggawa ng kalibradong risk estimator ay isang buong proyekto.

Pangalawa, ang uncertainty na aktwal mong kayang sukatin sa isang makabagong policy ay kadalasang mali ang tinutukoy na dami. Ang isang diffusion o flow-matching head ay gumagawa ng variance sa mga sampled action chunk, at ang variance na iyon ay sumasalamin sa multimodality na sinanay ipahayag ng head, hindi sa epistemic na kamangmangan tungkol sa state. Ginagamit ng doubt term ng EnsembleDAgger ang isang ensemble mismo para makuha ang huli. Magkamukha ang dalawang ito ngunit hindi sila pareho; sinasaklaw ng mga entry ng action chunking at flow matching kung paano talaga inilalabas ng mga head na iyon ang mga aksyon.

Pangatlo, ang mga kabiguang mahalaga sa manipulation ay kadalasang semantiko sa halip na estadistikal na kakaiba. Ang isang policy na nagsasara ng gripper dalawang sentimetro nang maaga, o umaabot nang may kumpiyansa sa maling isa sa dalawang magkatulad na kubo, ay wala sa isang high-variance na state — kumpiyansa ito ngunit mali. Walang variance threshold na makakahuli niyan; agad itong nahuhuli ng isang taong nagmamasid.

Pang-apat, kalidad ng label — ang orihinal na punto ng HG-DAgger, at ang pinakakadalasang nalalaktawan. Ang mga label na nakolekta habang walang puwang na kontrol ang tao ay mas mahusay kaysa sa mga label na inilarawan sa ibabaw ng isang gumagalaw na sistema. Kung ang layunin ay corrective na data na sulit i-aggregate, nasa automated na gate ang pasanin ng patunay.

Kalahati ng method ang gate; ang paghawak ng data ang kabilang kalahati

Ang isang gate ang nagpapasya kung aling mga frame ang minaneho ng isang tao, hindi kung ano ang gagawin sa mga ito, at ang pangalawang desisyong iyon ang pinakakaraniwang pinagsasayangan ng mga round. Ang unang tuntunin ay ang isinasaad ng titik D sa DAgger: mag-aggregate, huwag magpalit. Ang pag-fine-tune ng isang checkpoint nang purong sa ilang daang correction frame lamang ay nagbibigay sa iyo ng isang modelong halos wala nang nakita kundi mga recovery at nakalimutan na ang nominal na trajectory.

Ang pangalawang tuntunin ay ang mga intervention frame ay hindi ordinaryong frame. Nagtayo sina Mandlekar et al. ng isang remote-teleoperation na sistema para sa 6-DoF na manipulation na nagpapahintulot sa mga operator na bantayan ang mga policy at kumuha ng kontrol kapag nabigo, pagkatapos ay sinanay nang paulit-ulit gamit ang isang algorithm na "encourages the policy to learn how to traverse bottlenecks through the interventions"; mas mahusay ang mga ahenteng sinanay sa data na iyon kaysa sa mga ahenteng sinanay sa parehong bilang ng ordinaryong demonstration sample. Itinutulak ito ng Sirius papunta sa deployment, "re-weighing training samples with approximated human trust and optimizing the policies with weighted behavioral cloning". Pareho silang nangangailangan ng per-frame na marka kung ano ang minaneho ng tao, kaya mas mahalaga kaysa sa itsura nito ang intervention flag.

Ang pangatlong tuntunin ay bitag ang awtomatikong paghahalo. Ang isang binuong dataset na hindi mo kayang ienumerate ang mga pinagmulan ay isang hindi mo kayang i-debug kapag lumala ang susunod na round. Sa platform na ito, tahasan ang hakbang ng pag-compose dahil dito — orihinal na dataset kasama ang mga correction, pagpili ng episode kada pinagmulan, at ang resulta ay isang ordinaryong LeRobot dataset na nag-sync at nagsasanay tulad ng iba; sinasaklaw ng dokumentasyon ng dataset ang bahagi ng format.

Paglalagay ng isang gate na kayang hawakan ng isang tao

Hindi isang espesipikasyon ang "ang tao ang magpapasya". Ang dalawang operator na may magkaibang threshold ay gumagawa ng mga round na hindi maihahambing, at ang isang lumilihis na threshold ay gumagawa ng isang trend na hindi mo mababasa. Isulat ang mga trigger bago ang unang run.

1. Pangalanan ang mga kundisyong nagbubukas sa gate — ang paglapit na lampas sa isang nakatakdang margin, ang gripper na nagsasara sa wala, ang isang joint na lumilihis papunta sa isang limitasyon, isang paghinto (stall) nang higit sa isa o dalawang segundo — at panatilihing hindi nagbabago ang listahan para sa buong round.
2. Pangalanan din kung ano ang hindi dapat magbukas nito. Ang overshoot na naaayos mismo ng policy ay training signal; ang pagsabak doon ay binubura ang isang recovery na alam na nito.
3. Sumabak nang maaga para sa isang malinis na paglipat ng kontrol, at ibalik ito sa lalong madaling maisauli ang state.
4. Itala kung bakit ka sumabak, kada episode. Tatlong round pagkalipas, ito na lamang ang tanging talaan kung babalik ba ang parehong kabiguan.
5. Panatilihing pareho ang mga camera, teksto ng gawain, at operator sa buong mga round. Baguhin ang isa at hindi na maihahambing ang mga numero.

Sa mekanikal na paraan, may dalawang variant ang paglipat ng kontrol. Gamit ang isang leader arm, kailangang marating muna ng leader ang kasalukuyang pose ng follower bago ilipat ang torque, kundi tatalon ang braso; ang galaw na ito ng pagkakahanay ang bahaging pinakakaunting nasubukan sa kadena sa totoong hardware. Kung walang leader arm, manwal ang takeover mula sa unang pindot ng key: hawak ang follower at itinutulak ito ng operator joint by joint gamit ang keyboard o hinihila ang mga slider, na may mga server-side na clamp na nagpapanatiling maliit sa bawat input — ilang degree lang kada pindot, kaunti lang kada update ng slider, dahil ang malaking hakbang papasok sa isang hawak na pose ang paraan kung paano masisira ang isang servo. Ang hakbang-hakbang na bersyon kasama ang mga key binding ay nasa walkthrough ng isang DAgger round sa isang SO-100; background sa dalawang mode ng teleoperation ay nasa dokumentasyon ng teleoperation at ang entry ng leader-follower.

Pagbasa kung may naitulong ba ang gate

Ang metric ng isang human-gated na round ay ang intervention rate: mga intervention frame hinati sa mga frame ng run. Isa lang ang trabaho nito — kung hindi ito bumaba sa magkakasunod na round, walang naitulong ang round, at dapat may ibang babaguhin ang susunod na round bukod sa dami ng data.

Isa itong biased na metric at dapat mong malaman kung paano. Sinusukat nito kasing dami ang threshold ng operator gaya ng kakayahan ng policy, kaya nananatiling fixed ang listahan ng trigger; ang isang operator na lumuluwag sa kalagitnaan ng session ay gumagawa ng isang bumabang curve na walang laman. Binabalewala rin nito ang severity — sampung frame para pigilan ang isang banggaan at sampung frame para itama nang bahagya ang isang grasp ay magkamukha. Ipares ito sa isang fixed na evaluation set na hindi kailanman kinunan ng correction data. Ang artikulo tungkol sa pagsukat ng isang DAgger loop ay tumatalakay sa disenyo ng ebalwasyon, kasama kung paano panatilihing wala ang mga evaluation episode sa training mix.

Mga bukas na tanong na dapat panatilihing nasa isip

Mahina ang mga benchmark. Sinuri nina Spencer at mga kasamahan ang mga ginamit para subukan ang mga imitation learning approach at natagpuan silang "realizable and simple and thus insufficient for capturing the harder regimes of error compounding seen in real-world decision making problems" — at, laban sa nakapaligid na literatura, nalaman nilang mahusay ang plain behavior cloning sa mga ito. Iyan ang dahilan para maging maalinlangan sa anumang ranggo ng mga DAgger variant na nakabatay sa mga gawaing iyon, kasama na ang ilang numero sa talahanayan sa itaas.

Hindi rin nalutas ang mga robot gate sa malalaking policy. Pinapalitan ng gawaing AIM ang uncertainty ng isang proxy Q-function na gumagaya sa tuntunin ng human intervention at iniulat ang isang 40% na pagbuti sa gastos ng take-over at kahusayan sa pagkatuto kaysa sa ThriftyDAgger — sa continuous at discrete na kontrol, hindi sa isang vision-language-action model na nagmamaneho ng isang manipulator. Bukas pa kung ililipat ba ang alinman sa mga gate na ito sa isang fine-tuned na VLA. May kaugnay na punto ang survey: hindi pare-pareho ang terminolohiya at istruktura ng larangan sa buong literatura, kaya nahihirapang ihambing ang mga method. Sa sarili mong braso, ang mga log mo ang ebidensyang meron ka.

Para sa isang solong braso sa isang mesa, tapos na ang desisyon: hawakan mo mismo ang gate, isulat kung ano ang nagbubukas nito, at ilaan ang pagsisikap sa paghawak ng data sa likod nito sa halip na sa pag-automate ng switch. Inilalarawan ang bahagi ng platform sa pahina ng DAgger loop, mga opsyon sa training kada pamilya ng policy nasa ilalim ng training at presyo. Para sa background, magsimula sa imitation learning at imitation learning sa SO-100; para sa unang run, patakbuhin ang iyong unang policy ang siyang mas maikling landas.