Medindo um DAgger Loop: Taxa de Intervenção, Protocolo de Avaliação e os Obstáculos no Meio

Um DAgger round parece produtivo enquanto você está nele. Você dirige a policy, assume o controle quando ela fracassa no agarramento, salva as correções, retreina e a próxima execução parece — você juraria — um pouco mais suave. Duas rodadas depois você não consegue dizer se algo mudou, porque "um pouco mais suave" não é uma quantidade.

O loop precisa de um número por rodada, e em um loop gated-por-humano esse número é quase de graça: a fração da execução durante a qual você tinha controle em vez da policy. Este artigo a define de forma que duas pessoas calculem o mesmo valor, registra-a, lê a curva resultante e nomeia as quatro maneiras como ela o engana quando está sozinha. Para a teoria que este texto assume, veja o explicador de DAgger e a variante gated-por-humano; a contrapartida prática é executar um DAgger loop em um SO-100.

Por que uma rodada precisa de um número

DAgger existe por causa de um problema de distribuição, e problemas de distribuição são invisíveis a olho nu. Ross e Bagnell mostraram que aprendizado por imitação em um conjunto de demonstração fixa leva a erros compostos e um limite de arrependimento crescendo quadraticamente no horizonte de tempo: uma vez que o aprendiz deixa os estados que o demonstrador visitou, nada nos dados diz como voltar. DAgger corrige isso iterando — execute a policy, rotule os estados que ela visita, agregue, retreine — que Ross, Gordon e Bagnell enquadram como uma redução ao aprendizado online sem-arrependimento.

Esse enquadramento tem uma consequência que as pessoas pulam. A garantia diz respeito à sequência de policies sobre iterações, não qualquer execução única. Não diz nada sobre se sua rodada três ajudou. A única forma de saber é medir cada iteração. Kelly e colegas introduziram HG-DAgger porque DAgger clássico pede ao especialista rótulos de ações enquanto o aprendiz ainda está no controle, que o artigo argumenta pode diminuir a segurança e, com especialistas humanos, é provável que degrade a qualidade dos rótulos através de lag perceptual do atuador. HG-DAgger também aprende um limiar de segurança para uma métrica de risco baseada em incerteza de modelo e reporta desempenho melhorado sobre DAgger e clonagem comportamental em uma tarefa de condução. Não publica contagens de intervenção; você as produz você mesmo.

Definindo a taxa de forma que duas pessoas obtenham o mesmo número

A definição é uma linha: quadros de intervenção divididos por quadros da execução. Tudo o que é difícil se esconde no que conta como um quadro e o que conta como uma execução.

Quadros, não episódios

Contar episódios com pelo menos uma intervenção é inútil: dez episódios com um toque cada e dez nos quais você dirigiu oitenta por cento ambos dão "10/10". A contagem de quadros os separa, e é a granularidade que a gravação já tem — no formato do conjunto de dados LeRobot cada timestep é uma linha, então o sinalizador de intervenção é uma coluna booleana próxima a estado e ação. Aqui é escrito por quadro no momento em que a tomada de controle começa e limpo quando o controle retorna.

O denominador inclui as correções

Dois denominadores são defensáveis — total de quadros da execução ou quadros que a policy dirigiu autonomamente — e eles divergem mal em altos níveis de intervenção. Assume o controle por 400 de 1000 quadros e o primeiro dá 40 por cento, o segundo 67 por cento. Comparar uma rodada medida da primeira forma contra a próxima medida da segunda forma é como uma melhoria real desaparece. Pegue o total de quadros e nunca revisitar a escolha no meio da série.

Decida uma vez o que acontece aos quadros de transferência

Sempre há uma costura. Quando o controle passa, alguns quadros pertencem a nenhum dos lados: o braço é mantido, o líder está se alinhando, a gravação está congelada. Neste pipeline esses quadros de transferência permanecem no stream bruto e nunca entram no curatorial episódio — eles não são comportamento de policy nem uma correção vale a pena treinar. Conte a costura da mesma forma cada rodada: a 30 Hz, seis tomadas de controle com uma costura de dois segundos cada é 360 quadros, o suficiente para mover um ponto percentual.

Registrando-a de forma que o número sobreviva à sessão

Uma métrica no painel de status de um processo em execução é uma leitura: ela desaparece no reinício e não pode ser traçada. Uma linha somente apêndice por execução cobre toda a série — incluindo qual checkpoint você dirigiu, já que isso muda a cada rodada e confundi-los invalida o que segue.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Dois campos carregam o peso. train_mix é o que você alimentou o próximo trabalho de treinamento; sem isso nada pode ser atribuído. eval_protocol nomeia o teste fixo que você executou depois, e é o campo mais frequentemente deixado vazio. No cockpit ay-robots o status de tomada de controle reporta a contagem de quadro de intervenção para a sessão em execução, então o registro é transcrição em vez de instrumentação; a documentação do conjunto de dados cobre onde as colunas por-quadro pousam.

Lendo a curva: três rodadas, um veredicto

Três rodadas é o mínimo para uma leitura, porque dois pontos são sempre uma linha. A tabela abaixo é um modelo de contabilidade com números de placeholder, não medidas de qualquer execução. Você está procurando por uma diminuição monótona combinada com um aumento em sucesso em um teste fixo.

As rodadas um e dois estão fazendo trabalho. A rodada três não é: 11,3 contra 11,1 por cento está dentro da variação rodada-para-rodada de qualquer coisa medida em um braço físico, e uma quarta rodada das mesmas correções gasta uma tarde por nada. O segmento plano diz mude algo estrutural.

• As falhas restantes não são corrigíveis por teleoperação — objeto fora de alcance, geometria do agarrador, uma junta em seu limite. Nenhum dado de correção corrige uma parede cinemática.
• As correções são muito poucas contra o conjunto de dados base para mover o gradiente, e nada as pondera.
• As correções se contradizem, então a policy faz média de duas estratégias e pousa entre elas.
• A falha é anterior: uma câmera se moveu, a iluminação mudou, a visão do pulso não corresponde mais ao treinamento.
• A tarefa está no teto desta classe de policy neste hardware, e o próximo passo é mais dados base.

Os dois últimos não são falhas do loop. Na Sirius-Fleet uma necessidade decrescente do humano é o resultado projetado: conforme a autonomia do robô melhora, seus preditores de anomalia adaptam seus critérios de previsão, levando a menos pedidos de intervenção humana e reduzindo gradualmente a carga de trabalho humana ao longo do tempo. Lá o critério se adapta de propósito. Em um loop manual o seu também se adapta, silenciosamente — então uma taxa que se achata porque a tarefa está em seu teto parece exatamente como uma que se achatou porque o operador parou de notar. O que é o próximo problema.

Armadilha 1: uma taxa decrescente não é uma taxa de sucesso crescente

A taxa de intervenção mede exatamente uma coisa: quanto da execução você decidiu possuir. Essa decisão é sua, tomada em tempo real, e ela se move. Na rodada zero você assume o controle no primeiro ângulo de aproximação ruim; pela rodada três você observou a policy se recuperar de uma dúzia deles e você a deixa tentar. Seu limiar se moveu; a policy pode não ter. A taxa cai de qualquer forma.

Confiança humana é pelo menos uma quantidade modelada na literatura em vez de uma constante assumida. Sirius re-pondera amostras de treinamento com confiança humana aproximada e otimiza a policy com clonagem comportamental ponderada, reportando um aumento de 8 por cento em simulação e 27 por cento em hardware real sobre o estado da arte em taxa de sucesso de policy, em duas vezes a velocidade de convergência. Isso trata confiança como um peso nos dados. Não corrige o limiar em sua cabeça entre rodada zero e rodada três.

Você não pode remover a deriva, então emparelhe a taxa com algo que seu limiar não pode alcançar: um conjunto fixo de testes no qual você não intervém de forma alguma, marcado contra um critério escrito antes da rodada. Uma taxa que cai enquanto a taxa de sucesso emparelhada fica parada é a assinatura da habituação — vale a pena pegar, porque de dentro do loop parece progresso.

Armadilha 2: sem um protocolo fixo, você mede a sala

Avaliação de robô real é cara e difícil de repetir. Os autores do SIMPLER motivam avaliação simulada com a observação de que avaliação real do mundo de tais policies não é escalável e enfrenta desafios de reprodutibilidade provável de piorar conforme policies ampliam seu espectro de tarefa. RoboArena a ataca do outro lado, com mais de 600 episódios de avaliação de robô real em pares entre sete policies generalistas, executados por avaliadores em sete instituições acadêmicas na plataforma DROID. Seus avaliadores escolhem suas próprias tarefas e ambientes mas devem julgar pares de policies em duplo-cego; o artigo reporta que esse ranking de multidão rastreia desempenho de policy generalista mais precisamente do que avaliação convencional e centralizada.

Você não executará 600 episódios de par em um SO-100 em um workshop. O que você pode fazer é remover a variância que você controla — uma lista entediante o suficiente que geralmente fica pulada.

Então a aritmética, implacável na contagem de testes que um workshop pode afirdar. Sob a aproximação normal, sucesso de 60 por cento em 20 testes carrega um erro padrão próximo de 11 pontos percentuais — a raiz quadrada de 0,6 vezes 0,4 em 20 — e a diferença entre duas rodadas assim carrega cerca de 15. Um salto de 60 a 70 por cento é portanto consistente com nada tendo acontecido. Cinquenta testes trazem a figura por-rodada para aproximadamente 7 pontos, e custam uma tarde.

Essa assimetria é o argumento para a taxa de intervenção: computada em milhares de quadros em vez de vinte resultados binários, ela se move mais cedo e mais suavemente. A ressalva é que quadros dentro de um episódio são muito correlacionados — um agarramento ruim produz cem quadros de intervenção consecutivos — então o tamanho efetivo da amostra é mais próximo ao número de tomadas de controle. Trate a taxa como o indicador antecipado e a taxa de sucesso como verdade do solo lenta.

Armadilha 3: treinar apenas em correções dobra a policy

As correções são os dados interessantes, então o instinto é treinar neles. Não faça. Elas vêm por construção da fatia estreita do espaço de estados onde a policy já estava falhando e dizem quase nada sobre a maioria da execução que funcionou. Ajuste fino apenas nessa fatia e você obtém uma policy boa em se recuperar de uma aproximação fracassada que esqueceu como fazer uma limpa.

Mandlekar e colegas construíram seu sistema de intervenção remota em torno disso. Seu enquadramento: tarefas de manipulação contêm regiões gargalo que requerem uma sequência de ações precisas — inserir uma cápsula em uma máquina de café é seu exemplo — onde pequenos desvios levam a estados que as demonstrações nunca cobriram. Seu algoritmo treina iterativamente nos novos dados para que a policy aprenda a atravessar esses gargalos, e eles reportam que agentes treinados em dados de intervenção batem agentes treinados em um número equivalente de amostras de demonstradores não-intervencionais.

A razão de mistura é um hiperparâmetro e merece ser anotada. Compor o próximo conjunto de dados é onde é decidido: demonstrações originais mais o conjunto de correções, seleção de episódio explícita por fonte em vez de uma regra que silenciosamente puxa em o que quer que esteja disponível. Aqui isso é um passo de composição no cockpit, e o resultado é um conjunto de dados ordinário — veja a documentação de treinamento. O que nenhuma ferramenta faz por você é registrar qual razão produziu qual curva.

Armadilha 4: o humano não é um especialista consistente

A teoria de DAgger assume um especialista. Você não é um no sentido técnico: suas correções não são amostras de uma distribuição condicional fixa sobre ações. Os autores de ACT nomeiam isto ao listar os obstáculos para manipulação fina — erros se compõem ao longo do tempo e demonstrações humanas podem ser não-estacionárias. Seu sistema ainda atinge 80 a 90 por cento de sucesso em seis tarefas reais de dez minutos de demonstrações, então o problema é tratável, não ausente.

O estudo robomimic torna o ponto do lado dos dados. Em seis algoritmos offline em cinco tarefas multistágio simuladas e três reais, suas lições incluem sensibilidade a escolhas de design, dependência de qualidade de demonstração e — a que mais dói aqui — variabilidade surgindo de critérios de parada, porque objetivos de treinamento e avaliação diferem. O checkpoint com a perda mais baixa não é de forma confiável aquele com a taxa de sucesso mais alta.

Há uma versão de hardware disso: o modo de entrada forma a correção. Uma configuração de líder-seguidor produz trajetórias contínuas com ritmo humano. Empurrões de teclado são fixados duramente pelo servidor — dois graus em articulações do braço por chamada, quatro no agarrador — então a mesma intenção chega como uma escada de pequenos passos. Sliders enviam destinos absolutos e o servidor se move no máximo seis graus em relação a eles por chamada. Três modos, três distribuições de ação; misturar todos os três em um conjunto de correção e depois se perguntar por que a aproximação ficou nervosa é auto-infligido. A documentação de teleoperação cobre o que cada modo envia.

Ponderando as intervenções: IWR e o que veio depois

Se as correções são a minoria valiosa, o conserto principiado é peso em vez de exclusividade. Intervenção Weighted Regression é a implementação de referência: os dados são particionados em amostras de intervenção e não-intervenção, e as duas partições são amostradas em proporção igual durante o treinamento. Um conjunto de correção que é cinco por cento dos quadros então contribui metade do gradiente, sem o comportamento nominal desaparecendo da distribuição.

Proporção igual é um ponto de partida, não uma lei. Sirius generaliza substituindo a partição binária com um peso contínuo de confiança humana aproximada; Sirius-Fleet move a decisão anterior, usando um modelo de mundo visual e preditores de anomalia para decidir quando um humano é pedido de forma alguma. O fio comum: o sinalizador de intervenção é um sinal de treinamento, não apenas uma coluna de contabilidade.

Quatro métricas vale a pena registrar ao lado da taxa

• Tomadas de controle por execução. Vinte correções curtas e uma longa dão taxas similares e descrevem policies diferentes — uma nervosa, uma com um ponto cego único.
• Comprimento médio de intervenção. Comprimento crescente com uma contagem decrescente significa as falhas restantes são as difíceis, que é como o progresso tardio se parece.
• Tempo para primeira intervenção. Uma policy que chega mais longe antes de precisar de ajuda está melhorando mesmo quando a taxa total é plana.
• Onde intervenções se agrupam. Caixa o sinalizador por progresso de episódio normalizado; um pico estável entre rodadas aponta para um gargalo.

Um protocolo de rodada que você pode realmente executar

Uma rodada medida tem seis passos e produz uma linha no log. Os primeiros quatro são o loop; os dois últimos a tornam uma medição.

1. 1
   Congele o protocolo de avaliação antes da rodada zero

   Escreva pose inicial, colocação de objeto, câmeras, contagem de testes, timeout e critério de sucesso. Fotografe a mesa. Se o documento tem que mudar, a série recomeça.

2. 2
   Meça a baseline

   Execute o protocolo sem intervenções e registre os sucessos; então execute uma sessão instrumentada com tomada de controle habilitada e registre a taxa. Esses dois números são rodada zero.

3. 3
   Colete correções em um estilo consistente

   Um modo de entrada por rodada, um operador se você conseguir. Assume o controle em um critério que você consegue enunciar — 'agarrador mais de dois centímetros de distância na aproximação' — e segure-o para a rodada.

4. 4
   Triagem cada episódio o mesmo dia

   Correção, avaliação ou descartar. Episódios ambíguos são descartados, não salvos na teoria de que mais dados ajudam — uma correção na qual você mesmo se desastrou é pior do que nenhum episódio.

5. 5
   Componha a mistura explicitamente

   Demonstrações originais mais correções, seleção de episódio por fonte. Registre contagem de base, contagem de correção e qualquer ponderação — este é o campo que você vai querer em três semanas.

6. 6
   Continue a partir do checkpoint, então re-meça

   Treine o conjunto de dados composto a partir do checkpoint anterior em vez do modelo base, execute o protocolo congelado mais uma sessão instrumentada, anexe a linha e compare contra as duas rodadas anteriores.

Dois limites mudam como você lê uma rodada fraca. Continuar a partir de um checkpoint inicializa os pesos a partir dele — não um retome do otimizador, então o cronograma começa fresco e uma corrida curta a partir de um checkpoint convergido pode se mover muito pouco. E o movimento de alinhamento de líder no início de uma tomada de controle tem a menor quilometragem em hardware real de qualquer coisa na corrente; se correções todas começam com um transitório estranho, procure lá antes de culpar a mistura.

O que os números não conseguem contar

Nenhum disso é resolvido, e uma curva organizada não deve persuadi-lo de outra forma. A taxa de intervenção mede um sistema conjunto — policy, hardware, operador, sala — e não atribui nada por si só. Não consegue julgar se as correções eram boas, e caiu alegremente em uma tarefa que ficou mais fácil porque o objeto se deslocou dois centímetros mais perto em três semanas.

O que faz é transformar uma impressão vaga em uma coluna com a qual você pode argumentar. A alternativa não é uma métrica melhor; são três semanas de coletar correções que a curva teria dito a você, depois da rodada três, de parar de coletar. A literatura de pesquisa define aprendizado de imitação interativo como feedback humano dado intermitentemente durante a execução do robô, permitindo melhoria online do comportamento; a família é ampla, e nenhuma disposição disso funciona sem um número por rodada. Veja também o guia de aprendizado de imitação SO-100 para o conjunto de dados base que você mistura contra, executar uma policy para o lado da inferência, e a página do loop DAgger para o pipeline implementado.

Mantenha o log no repositório, não em um notebook: rodadas são dias de distância, hardware é reconstruído, e a pessoa lendo a curva em outubro é você sem memória de agosto. A FAQ de documentação cobre os detalhes operacionais deixados de fora aqui.