HG-DAgger e as Variantes Gated: Quem Decide Quando Assumir o Controle de uma Robot Policy

Uma policy clonada falha onde seus dados de treinamento terminaram. O reparo é continuar coletando dados sob a própria distribuição de estado da policy em vez da do demonstrador, que é o que DAgger faz e o que a introdução à agregação de dataset cobre do zero. Deixa aberta a parte desconfortável do algoritmo original: enquanto o aprendiz dirige, o especialista supostamente deveria dizer o que teria feito, para cada estado, sem estar no controle.

Em um simulador com um especialista com script que é livre. Em uma mesa com um braço real não é nem livre nem seguro. Os autores de HG-DAgger afirmam a objeção com precisão: tais esquemas de amostragem "exigem que o especialista forneça rótulos de ação sem estar totalmente no controle do sistema", o que "pode diminuir a segurança e, ao usar humanos como especialistas, é provável que degrada a qualidade dos rótulos coletados devido ao lag de atuador percebido" (Kelly et al., 2019). Dois fracassos se escondem nessa frase: a policy continua acionando para estados que ninguém quer que entre, e os rótulos comprados com esse risco são piores do que os que um humano produz enquanto segura os controles. Cada variante abaixo responde a mesma pergunta — coloque um portão no controle e deixe alguém decidir quando ele abre. Elas diferem em quem é esse alguém.

Human-gated e robot-gated: a divisão que importa

Interactive imitation learning tem sua própria survey; Celemin e colegas o catalogam ao longo de tipo de feedback, interface, modelo de aprendizado, experiência do usuário, aplicação e benchmark. A distinção que decide sua engenharia é mais simples do que qualquer desses eixos, e trabalho recente a nomeia diretamente: um método é human-gated quando o supervisor decide quando intervir, e robot-gated quando o agente decide quando pedir ajuda (Cai et al., 2025). Tudo mais é maquinaria servindo uma das duas escolhas. O tradeoff é visível desde o início: um portão humano custa atenção contínua, e um portão de robô promete devolver essa atenção — mas apenas se o sinal que ele controla é confiável, e construir esse sinal é seu próprio problema de pesquisa.

SafeDAgger: um classificador que prevê seu próprio desvio

SafeDAgger de Zhang e Cho (2016) é a mais antiga dessas portas. Consultar a policy de referência é a parte cara, então uma segunda rede pequena — a policy de segurança — prevê se a consulta vale a pena. Ela "retorna um rótulo binário indicando se a policy primária é provável desviar de uma policy de referência sem consultá-la". O rótulo é definido contra um desvio L2 ao quadrado entre as ações das duas policies com um limiar tau, e o classificador é ajustado com entropia cruzada binária. No tempo de execução ele decide por estado se o aprendiz continua dirigindo ou a referência assume. O resumo relata menos consultas de referência em um simulador de corrida de carros mais convergência de velocidade que os autores atribuem a um efeito de currículo automatizado, sem dar uma figura para nenhum deles.

A pegadinha está na definição, não nos resultados. Treinar o classificador requer a ação da policy de referência em cada estado usado para ajustá-lo, o que assume que a referência é outro programa. Se sua referência é uma pessoa com um braço líder, esse conjunto de rótulos não é barato e o método perde a propriedade para a qual foi projetado.

EnsembleDAgger: dúvida e discrepância, ambas

Menda, Driggs-Campbell e Kochenderfer (2019) tratam o portão como uma questão probabilística. EnsembleDAgger "aproxima um Processo Gaussiano usando um ensemble de redes neurais" e lê a variância do ensemble como proxy de confiança: variância alta significa uma região diferente dos dados de treinamento, que — assumindo que o especialista evita estados de falha — correlaciona com proximidade à falha. A regra é uma conjunção. O aprendiz pode agir apenas quando a distância L2 entre sua ação média e a ação do especialista fica abaixo de um limiar (discrepância) e a variância de sua ação prevista fica abaixo de um segundo (dúvida). Se qualquer um falhar, o especialista assume o controle. O objetivo é maximizar a participação do aprendiz em ações enquanto restringe a probabilidade de falha; o artigo relata segurança aprimorada e aprendizado contra outras variantes de DAgger em um pêndulo invertido e MuJoCo HalfCheetah.

LazyDAgger: parar o comutador de chiar

Hoque e colegas (2021) atacaram um custo que os artigos anteriores não mediram: o comutador em si. Cada intervenção "interrompe outro trabalho que o humano está fazendo, incorre em latência com cada troca de contexto entre supervisor e controle autônomo, e requer tempo para executar". Um portão que abre e fecha dez vezes por minuto é pior do que um abrindo uma vez por dez segundos, em participação autônoma idêntica. LazyDAgger estende SafeDAgger com limiares assimétricos — mais difícil entrar no controle de supervisor do que permanecer nele — para o sistema não oscilar no limite. Em simulação "pode reduzir trocas de contexto em uma média de 60% sobre SafeDAgger em 3 tarefas de controle contínuo mantendo desempenho de policy estado-da-arte"; em manipulação de tecido com um ABB YuMi "reduz trocas de contexto em 60% enquanto alcança uma taxa de sucesso 60% mais alta do que SafeDAgger no tempo de execução".

ThriftyDAgger: novidade ou risco, sob um orçamento

ThriftyDAgger (Hoque et al., CoRL 2021) começa do orçamento do supervisor em vez da policy. Ele "usa uma política de comutação aprendida para solicitar intervenções apenas em estados que são suficientemente (1) novos, onde a policy de robô não tem comportamento de referência para imitar, ou (2) arriscados, onde o robô tem baixa confiança na conclusão da tarefa", com uma nova métrica para estimar esse risco. O orçamento é uma entrada, não um resultado: você declara quanto tempo humano gastará. Aplicado ao tempo de execução o método "alcança uma taxa de sucesso de 100% nas tarefas de simulação e físicas", e um estudo de usuário com dez participantes controlando uma frota de três robôs ao lado de uma tarefa de concentração relata que "aumenta o desempenho humano e de robô em 58% e 80% respectivamente em comparação com o próximo melhor algoritmo enquanto reduz carga de supervisor". A configuração de frota é o lar natural para este trabalho; Fleet-DAgger mais tarde formalizou aprendizado interativo de frota com múltiplos robôs e supervisores, propondo Return on Human Effort como a quantidade a otimizar.

HG-DAgger: o humano segura o portão

Kelly et al. (2019) vão o outro caminho. Não há política de comutação. O aprendiz é executado "até que o especialista observe que o novato entrou em uma região insegura do espaço de estado", ponto em que o especialista assume o controle e guia o sistema de volta. A regra de agregação é a parte rígida: "Rótulos de ação de especialista são coletados e adicionados ao dataset apenas durante essas trajetórias de recuperação, durante as quais o especialista humano tem controle ininterrupto do sistema." Nada é rotulado enquanto o humano é um espectador.

Não para no comutador. HG-DAgger também "aprende um limiar de segurança para uma métrica de risco baseada em incerteza do modelo que pode ser usada para prever o desempenho do novato totalmente treinado em diferentes regiões do espaço de estado": ele registra o quão incerto o aprendiz estava nos momentos em que o humano interveio e faz a média do último quarto desses registros, onde o aprendiz mais se assemelha à sua forma final. Isso não é um portão que o robô opera mas um diagnóstico dizendo onde se espera que a política finalizada mantenha. A avaliação cobre uma tarefa de direção simulada e do mundo real e relata desempenho aprimorado tanto sobre DAgger quanto behavior cloning.

Uma linha relacionada muda o que conta como rótulo. Expert Intervention Learning de Spencer e colegas mantém que "qualquer quantidade de feedback de especialista, seja por intervenção ou não-intervenção, fornece informação sobre a qualidade do estado atual, a otimalidade da ação, ou ambas", formalizado como uma restrição na função de valor do aprendiz e resolvido com aprendizado online sem-arrependimento. Sob essa leitura, os trechos onde o humano observou e não fez nada são evidência positiva fraca em vez de vazia. EIL aprende prevenção de colisão de cerca de um minuto de controle de especialista.

As variantes lado a lado

O que cada portão compra, e o que cobra

Leia a coluna "needs" e um padrão sai: cada sinal robot-gated lá é um proxy que tem que ser fabricado, e cada proxy tem sua própria conta.

• Sinais de discrepância (SafeDAgger, LazyDAgger, metade da regra de EnsembleDAgger) precisam de uma policy de referência. Ou você tem um especialista com script, nesse caso o problema interessante já está resolvido, ou um humano continua produzindo ações em background para que uma distância possa ser computada.
• Sinais de dúvida precisam de incerteza epistêmica calibrada. Um ensemble de redes pequenas de controle a aproxima; um ensemble de um modelo vision-language-action de três bilhões de parâmetros é um problema de memória e latência primeiro.
• Sinais de novidade e risco precisam de um estimador aprendido de conclusão de tarefa, ajustado em rollouts bem-sucedidos e falhados suficientes. Em uma tarefa que você ainda está fazendo funcionar, esses dados não existem na rodada um.
• O portão humano precisa de atenção e nada mais — o único sinal disponível no dia um, em qualquer arquitetura de policy, sem modelo extra para treinar.
• Nenhum portão de robô remove o humano da sala. Eles reduzem com que frequência o humano deve agir, não se ele deve estar presente.

Há uma diferença mais silenciosa no que o portão produz. Um portão de robô disparando no meio da trajetória entrega uma pessoa um braço em movimento em uma pose arbitrária. Um portão humano deixa o operador escolher o momento — depois do alcance, antes da preensão, não no meio de um balanço. Os segmentos de recuperação dos dois não são igualmente limpos, e esses segmentos são o produto inteiro da rodada.

Por que a forma human-gated vence no hardware real

Este é um argumento de engenharia, não um resultado de benchmark — nenhum artigo que encontramos executa todas as cinco portas no mesmo manipulador com a mesma classe de policy. Repousa em quatro pontos.

Primeiro, o supervisor está lá de qualquer forma. Ninguém deixa um braço SO-100 rodando sem supervisão ao lado de objetos que pode derrubar. Uma vez que alguém está observando, o custo marginal de dar-lhes um botão de takeover é próximo de zero; construir um estimador de risco calibrado é um projeto.

Segundo, a incerteza que você pode realmente medir em uma policy moderna é frequentemente a quantidade errada. Uma cabeça de diffusion ou flow-matching produz variância entre chunks de ação amostrados, e essa variância reflete a multimodalidade que a cabeça foi treinada para representar, não ignorância epistêmica sobre o estado. O termo de dúvida de EnsembleDAgger usa um ensemble precisamente para capturar o último. Os dois parecem o mesmo número e não são; os action chunking e flow matching entradas cobrem como essas cabeças emitem ações em primeiro lugar.

Terceiro, as falhas que importam em manipulação são frequentemente semânticas em vez de estatisticamente incomuns. Uma policy fechando o gripper dois centímetros cedo, ou alcançando com confiança o errado de dois cubos idênticos, não está em um estado de alta variância — está confiante e errada. Nenhum limiar de variância pega isso; uma pessoa observando pega imediatamente.

Quarto, qualidade de rótulo — o ponto original de HG-DAgger, e o mais frequentemente pulado. Rótulos coletados enquanto o humano tem controle ininterrupto vencem rótulos narrados sobre um sistema em movimento. Se o objetivo é dados corretivos que vale a pena agregar, o ônus da prova fica com o portão automatizado.

O portão é metade do método; manuseio de dados é a outra metade

Um portão decide quais frames um humano conduziu, não o que fazer com eles, e essa segunda decisão é onde rodadas são mais frequentemente desperdiçadas. A primeira regra é a que o D em DAgger significa: agregue, não substitua. Fine-tuning de um checkpoint puramente em alguns centos de frames de correção te dá um modelo que viu quase nada mas recuperações e esqueceu a trajetória nominal.

A segunda regra é que frames de intervenção não são frames ordinários. Mandlekar et al. construíram um sistema de teleoperation remota para manipulação 6-DoF deixando operadores monitorar policies e tomar conta em falha, então treinarem iterativamente com um algoritmo que "encoraja a policy a aprender como atravessar gargalos através das intervenções"; agentes treinados nesses dados superaram agentes treinados em um número igual de amostras de demonstração ordinária. Sirius puxa a ideia para deploy, "repe-sando amostras de treinamento com confiança humana aproximada e otimizando as policies com comportamento ponderado cloning". Ambos precisam de um marcador por-frame do que foi conduzido por humano, que é por que o intervention flag importa mais do que parece.

A terceira regra é que mistura automática é uma armadilha. Um dataset composto cujas fontes você não pode enumerar é um que você não pode debugar quando a próxima rodada fica pior. Nesta plataforma o passo de composição é explícito por essa razão — dataset original mais correções, seleção de episode por fonte, e o resultado é um dataset ordinário LeRobot que sincroniza e treina como qualquer outro; a documentação de dataset cobre o lado do formato.

Definir um portão que uma pessoa pode realmente segurar

"O humano decide" não é uma especificação. Dois operadores com limiares diferentes produzem rodadas incomparáveis, e um limiar à deriva produz uma tendência que você não consegue ler. Escreva os gatilhos antes da primeira rodada.

1. Nomeie as condições que abrem o portão — abordagem fora por mais de uma margem fixa, gripper fechando em nada, uma articulação à deriva em direção a um limite, uma parada de mais de um segundo ou dois — e mantenha a lista inalterada para a rodada.
2. Nomeie o que não abre. Ultrapassagem que a policy se recupera de si mesma é sinal de treinamento; tomar conta lá deleta uma recuperação que já conhece.
3. Tomar conta cedo o suficiente para uma transferência limpa, devolva assim que o estado é recuperável.
4. Registre por que você tomou conta, por episode. Três rodadas depois é o único registro de se a mesma falha retorna.
5. Mantenha câmeras, texto de tarefa e operador constantes nas rodadas. Mude um e os números param de ser comparáveis.

Mecanicamente a transferência tem duas variantes. Com um braço líder, o líder tem que alcançar a pose atual do seguidor antes da transferência de torque, ou o braço salta; este movimento de alinhamento é a parte menos testada da corrente no hardware real. Sem um braço líder o takeover é manual do primeiro keypress: o seguidor é mantido e o operador o nudges articulação por articulação do teclado ou arrasta sliders, com clamps no lado do servidor mantendo cada entrada pequena — alguns graus por keypress, alguns por atualização do slider, porque um grande passo em uma pose mantida é como você tira um servo. A versão passo-a-passo com as ligações de chave está em o passo-a-passo de uma rodada de DAgger em um SO-100; background em ambos os modos de teleoperation está em a documentação de teleoperation e o entrada de líder-seguidor.

Lendo se o portão fez algo

A métrica de uma rodada human-gated é a taxa de intervenção: frames de intervenção divididos por frames da execução. Tem um trabalho — se não cair nas rodadas, a rodada não comprou nada, e a próxima deve mudar algo além da quantidade de dados.

É uma métrica tendenciosa e você deveria saber como. Ela mede o limiar do operador tanto quanto a competência da policy, que é por que a lista de gatilho fica fixa; um operador que relaxa ao longo de uma sessão produz uma curva que cai com nada atrás dela. Ela também ignora severidade — dez frames para parar uma colisão e dez para nudge uma preensão parecem idênticos. Emparelhe com um conjunto de avaliação fixo do qual dados de correção nunca foram extraídos. O artigo sobre medir um loop de DAgger funciona através do design de avaliação, incluindo como manter episodes de avaliação fora do mix de treinamento.

Questões abertas que vale a pena manter à vista

Os benchmarks são fracos. Spencer e colegas examinaram aqueles usados para testar abordagens de aprendizado de imitação e descobriram-nos "realizáveis e simples e portanto insuficientes para capturar os regimes mais duros de composição de erro vistos em problemas de tomada de decisão do mundo real" — e, contra a literatura circundante, descobriram que plain behavior cloning fez bem neles. Isso é razão para ser cético de qualquer ranking de variantes de DAgger repousando nessas tarefas, incluindo alguns números na tabela acima.

Portões de robô em policies grandes não são resolvidos também. O trabalho de AIM substitui incerteza por uma Q-função proxy mimicando a regra de intervenção humana e relata uma melhoria de 40% em custo de take-over e eficiência de aprendizado sobre ThriftyDAgger — em controle contínuo e discreto, não em um modelo vision-language-action dirigindo um manipulador. Se qualquer uma dessas portas transfere para um VLA fine-tuned é aberto. A survey faz um ponto relacionado: a terminologia e estrutura do campo não são unificadas na literatura, que torna métodos duros de comparar. Em seu próprio braço, seus logs são a evidência que você tem.

Para um braço único em uma mesa a escolha é feita: segure o portão você mesmo, escreva o que abre, e gaste o esforço no manuseio de dados atrás dele em vez de em automatizar o comutador. O lado da plataforma é descrito em a página do loop de DAgger, opções de treinamento por família de policy sob treinamento e preço. Para background, comece com aprendizado de imitação e aprendizado de imitação no SO-100; para uma primeira execução, execute seu primeira policy é o caminho mais curto.