HG-DAgger en die Gepoorte Variante: Wie Besluit Wanneer om 'n Robotbeleid Oor te Neem

'n Gekloonde beleid faal waar sy opleidingsdata opgeraak het. Die oplossing is om steeds data te versamel onder die beleid se eie toestandsverspreiding in plaas van dié van die demonstreerder, wat is wat DAgger doen en wat die inleiding tot datastelaggregasie van eerste beginsels af dek. Dit laat die ongemaklike deel van die oorspronklike algoritme oop: terwyl die leerder ry, moet die kundige sê wat hulle sou gedoen het, vir elke toestand, sonder om in beheer te wees.

In 'n simulator met 'n geskripte kundige is dit gratis. Op 'n tafel met 'n werklike arm daarop is dit nie gratis of veilig nie. Die HG-DAgger-outeurs stel die beswaar presies: sulke steekproefskemas "require the expert to provide action labels without being fully in control of the system", wat "can decrease safety and, when using humans as experts, is likely to degrade the quality of the collected labels due to perceived actuator lag" (Kelly et al., 2019). Twee mislukkings skuil in daardie sin: die beleid hou aan om na toestande te ry waarin niemand dit wil hê nie, en die merkers wat met daardie risiko gekoop is, is swakker as dié wat 'n mens produseer terwyl hulle die kontroles vashou. Elke variant hieronder beantwoord dieselfde vraag — sit 'n poort op beheer en laat iemand besluit wanneer dit oopmaak. Hulle verskil in wie daardie iemand is.

Mens-gepoort en robot-gepoort: die skeiding wat saak maak

Interaktiewe nabootsingsleer het sy eie oorsig; Celemin en kollegas katalogiseer dit volgens terugvoertipe, koppelvlak, leermodel, gebruikerservaring, toepassing en maatstaf. Die onderskeid wat jou ingenieurswerk bepaal, is eenvoudiger as enige van daardie asse, en onlangse werk noem dit direk: 'n metode is mens-gepoort wanneer die toesighouer besluit wanneer om in te gryp, en robot-gepoort wanneer die agent besluit wanneer om hulp te vra (Cai et al., 2025). Alles anders is masjinerie wat een van daardie twee keuses dien. Die kompromie is van die begin af sigbaar: 'n mens-poort kos deurlopende aandag, en 'n robot-poort belowe om daardie aandag terug te gee — maar slegs as die sein waarop dit poort, betroubaar is, en om daardie sein te bou is sy eie navorsingsprobleem.

SafeDAgger: 'n klassifiseerder wat sy eie afwyking voorspel

Zhang en Cho se SafeDAgger (2016) is die vroegste van hierdie poorte. Om die verwysingsbeleid te bevraagteken is die duur deel, dus voorspel 'n tweede, klein netwerk — die veiligheidsbeleid — of bevraagtekening enigsins die moeite werd is. Dit "returns a binary label indicating whether the primary policy is likely to deviate from a reference policy without querying it". Die merker word gedefinieer teen 'n gekwadreerde L2-afwyking tussen die twee beleide se aksies met 'n drempel tau, en die klassifiseerder word met binêre kruisentropie gepas. Tydens uitvoering besluit dit per toestand of die leerder aanhou ry of die verwysing oorneem. Die opsomming rapporteer minder verwysingsbevragings in 'n motorwedrensimulator plus 'n konvergensie-versnelling wat die outeurs toeskryf aan 'n outomatiese kurrikulum-effek, sonder om 'n syfer vir enigeen te gee.

Die slaggat is in die definisie, nie in die resultate nie. Om die klassifiseerder op te lei vereis die verwysingsbeleid se aksie op elke toestand wat gebruik word om dit te pas, wat aanneem dat die verwysing 'n ander program is. As jou verwysing 'n persoon met 'n leier-arm is, is daardie merkerstel nie goedkoop nie, en die metode verloor die eienskap waarvoor dit ontwerp is.

EnsembleDAgger: twyfel en teenstrydigheid, albei

Menda, Driggs-Campbell en Kochenderfer (2019) hanteer die poort as 'n waarskynlikheidsvraag. EnsembleDAgger "approximates a Gaussian Process using an ensemble of neural networks" en lees die ensemble-variansie as 'n vertroue-proxy: hoë variansie beteken 'n streek anders as die opleidingsdata, wat — met die aanname dat die kundige mislukkingstoestande vermy — korreleer met nabyheid aan mislukking. Die reël is 'n konjunksie. Die leerder mag slegs optree wanneer die L2-afstand tussen sy gemiddelde aksie en die kundige se aksie onder een drempel bly (teenstrydigheid) en die variansie van sy voorspelde aksie onder 'n tweede drempel bly (twyfel). As enigeen misluk, neem die kundige beheer oor. Die doel is om die leerder se aandeel van aksies te maksimeer terwyl die waarskynlikheid van mislukking beperk word; die artikel rapporteer verbeterde veiligheid en leer teenoor ander DAgger-variante op 'n omgekeerde slinger en MuJoCo HalfCheetah.

LazyDAgger: keer die skakelaar om te klapper

Hoque en kollegas (2021) het 'n koste aangepak wat die vroeëre artikels nie gemeet het nie: die skakelaar self. Elke intervensie "interrupts other work the human is doing, incurs latency with each context switch between supervisor and autonomous control, and requires time to perform". 'n Poort wat tien keer per minuut oop- en toemaak is erger as een wat een keer vir tien sekondes oopmaak, by identiese outonome aandeel. LazyDAgger brei SafeDAgger uit met asimmetriese drempels — moeiliker om toesighouerbeheer te betree as om daarin te bly — sodat die stelsel nie by die grens oscilleer nie. In simulasie "can reduce context switches by an average of 60% over SafeDAgger on 3 continuous control tasks while maintaining state-of-the-art policy performance"; in stofbewerking met 'n ABB YuMi "reduces context switches by 60% while achieving a 60% higher success rate than SafeDAgger at execution time".

ThriftyDAgger: nuutheid of risiko, onder 'n begroting

ThriftyDAgger (Hoque et al., CoRL 2021) begin by die toesighouer se begroting eerder as die beleid. Dit "uses a learned switching policy to solicit interventions only at states that are sufficiently (1) novel, where the robot policy has no reference behavior to imitate, or (2) risky, where the robot has low confidence in task completion", met 'n nuwe maatstaf om daardie risiko te skat. Die begroting is 'n toevoer, nie 'n uitkoms nie: jy stel hoeveel mensetyd jy gaan spandeer. Toegepas tydens uitvoering behaal die metode "a 100% success rate on both the simulation and physical tasks", en 'n gebruikerstudie met tien deelnemers wat 'n vloot van drie robotte langs 'n konsentrasietaak beheer, rapporteer dat dit "increases human and robot performance by 58% and 80% respectively compared to the next best algorithm while reducing supervisor burden". Die vlootopset is die natuurlike tuiste vir hierdie werk; Fleet-DAgger het later interaktiewe vlootleer met meervoudige robotte en toesighouers geformaliseer, en Return on Human Effort as die hoeveelheid om te optimeer voorgestel.

HG-DAgger: die mens hou die poort vas

Kelly et al. (2019) gaan die ander pad. Daar is geen skakelbeleid nie. Die leerder word uitgerol "until the expert observes that the novice has entered an unsafe region of the state space", waarop die kundige beheer oorneem en die stelsel terugvoer. Die aggregasiereël is die streng deel: "Expert action labels are only collected and added to the dataset during these recovery trajectories, during which the human expert has uninterrupted control of the system." Niks word gemerk terwyl die mens 'n toeskouer is nie.

Dit stop nie by die skakelaar nie. HG-DAgger "learns a safety threshold for a model-uncertainty-based risk metric that can be used to predict the performance of the fully trained novice in different regions of the state space": dit boekstaaf hoe onseker die leerder was op die oomblikke toe die mens ingegryp het, en middel die laaste kwart van daardie rekords, waar die leerder die meeste op sy finale vorm lyk. Dit is nie 'n poort wat die robot bedien nie, maar 'n diagnose wat jou vertel waar die voltooide beleid verwag word om te hou. Die evaluering dek 'n gesimuleerde en 'n werklike-wêreld ry-taak en rapporteer verbeterde prestasie bo beide DAgger en behavior cloning.

Een verwante lyn verander wat as 'n merker tel. Spencer en kollegas se Expert Intervention Learning hou vol dat "any amount of expert feedback, whether by intervention or non-intervention, provides information about the quality of the current state, the optimality of the action, or both", geformaliseer as 'n beperking op die leerder se waardefunksie en opgelos met no-regret aanlynleer. Onder daardie lesing is die tydperke waar die mens gekyk het en niks gedoen het nie, swak positiewe bewyse eerder as leeg. EIL leer botsingvermyding vanaf ongeveer een minuut van kundige beheer.

Die variante langs mekaar

Wat elke poort koop, en wat dit kos

Lees die "benodig"-kolom af en 'n patroon val uit: elke robot-gepoorte sein daar is 'n proxy wat vervaardig moet word, en elke proxy het sy eie rekening.

• Teenstrydigheidseine (SafeDAgger, LazyDAgger, die helfte van EnsembleDAgger se reël) benodig 'n verwysingsbeleid. Óf jy het 'n geskripte kundige, in welke geval die interessante probleem reeds opgelos is, óf 'n mens hou aan om aksies op die agtergrond te produseer sodat 'n afstand bereken kan word.
• Twyfelseine benodig gekalibreerde epistemiese onsekerheid. 'n Ensemble van klein beheernetwerke benader dit; 'n ensemble van 'n drie-miljard-parameter visie-taal-aksie-model is eers 'n geheue- en latensieprobleem.
• Nuutheid- en risikoseine benodig 'n geleerde beramer van taakvoltooiing, gepas op genoeg suksesvolle en mislukte uitrolle. Op 'n taak wat jy nog aan die werk kry, bestaan daardie data nog nie in rondte een nie.
• Die mens-poort benodig aandag en niks anders nie — die enigste sein wat op dag een beskikbaar is, op enige beleidsargitektuur, sonder enige ekstra model om op te lei.
• Geen robot-poort verwyder die mens uit die vertrek nie. Hulle verminder hoe dikwels die mens moet optree, nie of hulle teenwoordig moet wees nie.

Daar is 'n stiller verskil in wat die poort produseer. 'n Robot-poort wat middel-trajek afgaan, gee 'n persoon 'n bewegende arm in 'n arbitrêre houding oor. 'n Mens-poort laat die operateur die oomblik kies — na die reik, voor die gryp, nie halfpad deur 'n swaai nie. Die herstelsegmente van die twee is nie ewe skoon nie, en daardie segmente is die hele produk van die rondte.

Waarom die mens-gepoorte vorm op werklike hardeware wen

Dit is 'n ingenieursargument, nie 'n maatstafresultaat nie — geen artikel wat ons gevind het laat al vyf poorte op dieselfde manipuleerder met dieselfde beleidsklas loop nie. Dit rus op vier punte.

Eerstens is die toesighouer in elk geval daar. Niemand laat 'n SO-100-arm sonder toesig langs voorwerpe loop wat dit kan omstamp nie. Sodra iemand kyk, is die marginale koste om hulle 'n oorname-knoppie te gee byna nul; om 'n gekalibreerde risikoberamer te bou, is 'n projek.

Tweedens is die onsekerheid wat jy werklik op 'n moderne beleid kan meet dikwels die verkeerde grootheid. 'n Diffusie- of vloei-passing-kop produseer variansie oor gemonsterde aksie-brokke, en daardie variansie weerspieël die multimodaliteit wat die kop opgelei is om voor te stel, nie epistemiese onkunde oor die toestand nie. EnsembleDAgger se twyfelterm gebruik 'n ensemble presies om laasgenoemde vas te vang. Die twee lyk soos dieselfde getal en is nie; die action chunking en flow matching inskrywings dek hoe daardie koppe aksies in die eerste plek uitstuur.

Derdens is die mislukkings wat saak maak in manipulasie dikwels semanties eerder as statisties ongewoon. 'n Beleid wat die gryper twee sentimeter te vroeg toemaak, of vol vertroue na die verkeerde een van twee identiese blokkies reik, is nie in 'n hoë-variansie-toestand nie — dit is vol vertroue, maar verkeerd. Geen variansiedrempel vang dit nie; 'n persoon wat kyk, vang dit onmiddellik.

Vierdens, merkerkwaliteit — die oorspronklike HG-DAgger-punt, en die een wat die meeste oorgeslaan word. Merkers wat versamel is terwyl die mens ononderbroke beheer gehad het, klop merkers wat oor 'n bewegende stelsel vertel is. As die doel korrektiewe data is wat die moeite werd is om te aggregeer, lê die bewyslas by die outomatiese poort.

Die poort is die helfte van die metode; datahantering is die ander helfte

'n Poort besluit watter raampies 'n mens bestuur het, nie wat om daarmee te doen nie, en daardie tweede besluit is waar rondtes die meeste vermors word. Die eerste reël is die een waarvoor die D in DAgger staan: aggregeer, moenie vervang nie. Om 'n kontrolepunt suiwer op 'n paar honderd korreksieraampies fyn af te stel, gee jou 'n model wat byna niks anders as herstelwerk gesien het nie en die nominale trajek vergeet het.

Die tweede reël is dat intervensieraampies nie gewone raampies is nie. Mandlekar et al. het 'n afstandsteleoperasiestelsel vir 6-DoF-manipulasie gebou wat operateurs toelaat om beleide te monitor en by mislukking oor te neem, en toe iteratief opgelei met 'n algoritme wat "encourages the policy to learn how to traverse bottlenecks through the interventions"; agente wat op daardie data opgelei is, het beter gevaar as agente wat op 'n gelyke aantal gewone demonstrasiemonsters opgelei is. Sirius stoot die idee in ontplooiing in, "re-weighing training samples with approximated human trust and optimizing the policies with weighted behavioral cloning". Albei benodig 'n per-raam-merker van wat mens-bestuur was, en dis waarom die intervensie-merker meer saak maak as wat dit lyk.

Die derde reël is dat outomatiese menging 'n strik is. 'n Saamgestelde datastel waarvan jy die bronne nie kan opnoem nie, is een wat jy nie kan ontfout wanneer die volgende rondte erger word nie. Op hierdie platform is die samestellingstap om daardie rede eksplisiet — oorspronklike datastel plus korreksies, episode-seleksie per bron, en die resultaat is 'n gewone LeRobot-datastel wat sinkroniseer en oplei soos enige ander; die datastel-dokumentasie dek die formaatkant.

Stel 'n poort op wat 'n mens werklik kan vashou

"Die mens besluit" is nie 'n spesifikasie nie. Twee operateurs met verskillende drempels lewer onvergelykbare rondtes, en 'n dwalende drempel lewer 'n tendens wat jy nie kan lees nie. Skryf die snellers neer voor die eerste loop.

1. Noem die toestande wat die poort oopmaak — nadering wat met meer as 'n vaste marge verkeerd is, gryper wat op niks toemaak nie, 'n gewrig wat na 'n grens dwaal, 'n hapering van meer as 'n sekonde of twee — en hou die lys onveranderd vir die rondte.
2. Noem wat dit nie oopmaak nie. Oorskiet waarvan die beleid uit eie stukke herstel, is opleidingsein; om daar oor te neem, verwyder 'n herstel wat dit reeds ken.
3. Neem vroeg genoeg oor vir 'n skoon oordrag, gee terug sodra die toestand herstelbaar is.
4. Boekstaaf waarom jy oorgeneem het, per episode. Drie rondtes later is dit die enigste rekord van of dieselfde mislukking terugkeer.
5. Hou kameras, taakteks en operateur konstant oor rondtes heen. Verander een en die syfers hou op om vergelykbaar te wees.

Meganies het die oordrag twee variante. Met 'n leier-arm moet die leier die volger se huidige houding bereik voordat wringkrag oorgedra word, anders spring die arm; hierdie belyningsbeweging is die minste geteste deel van die ketting op werklike hardeware. Sonder 'n leier-arm is die oorname met die hand vanaf die eerste sleuteldruk: die volger word vasgehou en die operateur stoot dit gewrig-vir-gewrig vanaf die sleutelbord of trek skuiwers, met bedienerkant-knypers wat elke toevoer klein hou — 'n paar grade per sleuteldruk, 'n handjievol per skuiwer-opdatering, want 'n groot stap in 'n vasgehoue houding is hoe jy 'n servo strip. Die stap-vir-stap-weergawe met die sleutelbindings is in die deurloop van 'n DAgger-rondte op 'n SO-100; agtergrond oor albei teleoperasiemodusse is in die teleoperasie-dokumentasie en die leier-volger-inskrywing.

Lees of die poort iets gedoen het

Die maatstaf van 'n mens-gepoorte rondte is die intervensiekoers: intervensieraampies gedeel deur raampies van die loop. Dit het een taak — as dit nie oor rondtes heen daal nie, het die rondte niks gekoop nie, en die volgende een moet iets anders as die hoeveelheid data verander.

Dit is 'n bevooroordeelde maatstaf en jy behoort te weet hoe. Dit meet die operateur se drempel net soveel as die beleid se bekwaamheid, en dis waarom die snellerlys vas bly; 'n operateur wat oor 'n sessie versag, lewer 'n dalende kurwe met niks daaragter nie. Dit ignoreer ook erns — tien raampies om 'n botsing te stop en tien om 'n gryp reg te stoot lyk identies. Koppel dit aan 'n vaste evalueringstel waaruit nooit korreksiedata getrek is nie. Die artikel oor die meet van 'n DAgger-lus werk die evalueringsontwerp deur, insluitend hoe om evalueringsepisodes buite die opleidingsmengsel te hou.

Oop vrae wat die moeite werd is om in gedagte te hou

Die maatstawwe is swak. Spencer en kollegas het dié wat gebruik word om nabootsingsleer-benaderings te toets, ondersoek en gevind dat hulle "realizable and simple and thus insufficient for capturing the harder regimes of error compounding seen in real-world decision making problems" — en, teenoor die omliggende literatuur, gevind dat gewone behavior cloning goed daarop gevaar het. Dit is rede om skepties te wees oor enige rangordening van DAgger-variante wat op daardie take rus, insluitend sommige syfers in die tabel hierbo.

Robot-poorte op groot beleide is ook nie opgelos nie. Die AIM-werk vervang onsekerheid met 'n proxy-Q-funksie wat die menslike intervensiereël naboots, en rapporteer 'n 40%-verbetering in oornamekoste en leer-doeltreffendheid bo ThriftyDAgger — in deurlopende en diskrete beheer, nie op 'n visie-taal-aksie-model wat 'n manipuleerder bestuur nie. Of enige van hierdie poorte oordra na 'n fyn-afgestelde VLA, is oop. Die oorsig maak 'n verwante punt: die veld se terminologie en struktuur is nie eenvormig oor die literatuur heen nie, wat metodes moeilik maak om te vergelyk. Op jou eie arm is jou logs die bewyse wat jy het.

Vir 'n enkele arm op 'n lessenaar is die keuse gemaak: hou self die poort vas, skryf neer wat dit oopmaak, en spandeer die moeite aan die datahantering daaragter eerder as aan die outomatisering van die skakelaar. Die platformkant word beskryf op die DAgger-lus-bladsy, opleidingsopsies per beleidsfamilie onder opleiding en pryse. Vir agtergrond, begin met nabootsingsleer en nabootsingsleer op die SO-100; vir 'n eerste loop, loop jou eerste beleid is die korter pad.