HG-DAgger et les variantes à barrière : qui décide quand reprendre une policy robot

Une policy clonée échoue où ses données d'entraînement se sont arrêtées. La correction est de continuer à collecter des données sous la distribution d'états propre à la policy plutôt que celle du démonstrateur, ce que DAgger fait et ce que l'introduction à l'agrégation de datasets couvre à partir des principes fondamentaux. Cela laisse de côté la partie maladroite de l'algorithme original : pendant que l'apprenant conduit, l'expert est censé dire ce qu'il aurait fait, pour chaque état, sans être en contrôle.

Dans un simulateur avec un expert scriptés, c'est gratuit. Sur une table avec un vrai bras, c'est ni gratuit ni sûr. Les auteurs de HG-DAgger énoncent l'objection précisément : de tels schémas d'échantillonnage « nécessitent que l'expert fournisse des étiquettes d'actions sans être totalement en contrôle du système », ce qui « peut réduire la sécurité et, lorsqu'on utilise des humains comme experts, est susceptible de dégrader la qualité des étiquettes collectées en raison du délai d'actionneur perçu » (Kelly et al., 2019). Deux défaillances se cachent dans cette phrase : la policy continue de conduire vers des états que personne ne veut qu'elle soit, et les étiquettes achetées avec ce risque sont pires que celles qu'un humain produit en tenant les commandes. Chaque variante ci-dessous répond à la même question — mettre une barrière sur le contrôle et laisser quelqu'un décider quand elle s'ouvre. Elles diffèrent par qui est ce quelqu'un.

Humain-gated et robot-gated : la scission qui compte

L'apprentissage par imitation interactif a son propre survey ; Celemin et ses collègues le cataloguent selon le type de feedback, l'interface, le modèle d'apprentissage, l'expérience utilisateur, l'application et le benchmark. La distinction qui décide votre ingénierie est plus simple que n'importe quel de ces axes, et les travaux récents la nomment directement : une méthode est human-gated quand le superviseur décide quand intervenir, et robot-gated quand l'agent décide quand demander de l'aide (Cai et al., 2025). Tout le reste est de la machinerie servant l'un de ces deux choix. Le compromis est visible dès le départ : une barrière humaine coûte une attention continue, et une barrière robot promet de rendre cette attention — mais seulement si le signal qu'elle gate est fiable, et construire ce signal est son propre problème de recherche.

SafeDAgger : un classifieur qui prédit sa propre déviation

SafeDAgger de Zhang et Cho (2016) est la plus ancienne de ces barrières. Interroger la policy de référence est la partie chère, donc un deuxième petit réseau — la policy de sécurité — prédit si interroger vaut la peine du tout. Il « retourne une étiquette binaire indiquant si la policy primaire est susceptible de dévier d'une policy de référence sans l'interroger ». L'étiquette est définie par rapport à une déviation L2 au carré entre les actions des deux policies avec un seuil tau, et le classifieur est adapté avec l'entropie croisée binaire. Au moment de l'exécution, il décide par état si l'apprenant continue de conduire ou si la référence prend le relais. Le résumé rapporte moins de requêtes de référence dans un simulateur de course automobile plus une accélération de la vitesse de convergence que les auteurs attribuent à un effet de curriculum automatisé, sans donner de chiffre pour l'un ou l'autre.

Le hic est dans la définition, pas dans les résultats. L'entraînement du classifieur nécessite l'action de la policy de référence sur chaque état utilisé pour l'adapter, ce qui suppose que la référence est un autre programme. Si votre référence est une personne avec un bras leader, cet ensemble d'étiquettes n'est pas bon marché et la méthode perd la propriété qu'elle a été conçue pour.

EnsembleDAgger : doute et discordance, tous les deux

Menda, Driggs-Campbell et Kochenderfer (2019) traitent la barrière comme une question probabiliste. EnsembleDAgger « approxime un Processus Gaussien en utilisant un ensemble de réseaux de neurones » et lit la variance d'ensemble comme un proxy de confiance : une variance élevée signifie une région différente des données d'entraînement, ce qui — en supposant que l'expert évite les états d'échec — corrèle avec la proximité de l'échec. La règle est une conjonction. L'apprenant ne peut agir que lorsque la distance L2 entre son action moyenne et l'action d'expert reste en dessous d'un seuil (discordance) et la variance de son action prédite reste en dessous d'une seconde (doute). Si l'une échoue, l'expert prend le contrôle. L'objectif est de maximiser la part d'actions de l'apprenant tout en contraignant la probabilité d'échec ; l'article rapporte une sécurité améliorée et l'apprentissage par rapport à d'autres variantes de DAgger sur un pendule inversé et MuJoCo HalfCheetah.

LazyDAgger : arrêter le commutateur de bavarder

Hoque et ses collègues (2021) ont attaqué un coût que les papiers précédents n'ont pas mesuré : le commutateur lui-même. Chaque intervention « interrompt d'autres travaux que l'humain fait, entraîne une latence avec chaque changement de contexte entre le superviseur et le contrôle autonome, et nécessite du temps pour être exécutée ». Une barrière qui s'ouvre et se ferme dix fois par minute est pire qu'une s'ouvrant une fois pendant dix secondes, à partage autonome identique. LazyDAgger étend SafeDAgger avec des seuils asymétriques — plus difficile d'entrer dans le contrôle du superviseur que de rester dedans — pour que le système ne s'oscillate pas à la limite. En simulation, cela « peut réduire les changements de contexte en moyenne de 60 % par rapport à SafeDAgger sur 3 tâches de contrôle continu tout en maintenant les performances de policy de pointe » ; en manipulation textile avec un ABB YuMi, cela « réduit les changements de contexte de 60 % tout en réalisant un taux de réussite 60 % supérieur à SafeDAgger au moment de l'exécution ».

ThriftyDAgger : nouveauté ou risque, sous un budget

ThriftyDAgger (Hoque et al., CoRL 2021) part du budget du superviseur plutôt que de la policy. Il « utilise une policy de commutation apprise pour solliciter les interventions uniquement aux états qui sont suffisamment (1) nouveaux, où la policy robot n'a pas de comportement de référence à imiter, ou (2) risqué, où le robot a faible confiance en l'accomplissement de la tâche », avec une nouvelle métrique pour estimer ce risque. Le budget est une entrée, pas une sortie : vous indiquez le temps humain que vous dépenserez. Appliquée au moment de l'exécution, la méthode « réalise un taux de réussite de 100 % sur les tâches de simulation et physiques », et une étude utilisateur avec dix participants contrôlant une flotte de trois robots aux côtés d'une tâche de concentration rapporte qu'elle « augmente la performance humaine et robot de 58 % et 80 % respectivement par rapport au meilleur algorithme suivant tout en réduisant la charge du superviseur ». Le cadre de flotte est la maison naturelle de ce travail ; Fleet-DAgger a formalisé ultérieurement l'apprentissage interactif de flotte avec plusieurs robots et superviseurs, proposant Return on Human Effort comme la quantité à optimiser.

HG-DAgger : l'humain tient la barrière

Kelly et al. (2019) vont dans l'autre sens. Il n'y a pas de politique de commutation. L'apprenant est déployé « jusqu'à ce que l'expert observe que le novice soit entré dans une région dangereuse de l'espace d'état », à quel point l'expert prend le contrôle et guide le système en arrière. La règle d'agrégation est la partie stricte : « Les étiquettes d'action d'expert ne sont collectées et ajoutées au dataset que pendant ces trajectoires de récupération, pendant lesquelles l'expert humain a un contrôle ininterrompu du système. » Rien n'est étiqueté pendant que l'humain est un spectateur.

Cela ne s'arrête pas au commutateur. HG-DAgger « apprend également un seuil de sécurité pour une métrique de risque basée sur l'incertitude du modèle qui peut être utilisée pour prédire la performance du novice entièrement entraîné dans différentes régions de l'espace d'état » : il enregistre l'incertitude de l'apprenant aux moments où l'humain a intervenu et fait la moyenne du dernier quart de ces enregistrements, où l'apprenant ressemble le plus à sa forme finale. Ce n'est pas une barrière que le robot opère mais un diagnostic vous disant où la policy terminée devrait tenir. L'évaluation couvre une tâche de conduite simulée et du monde réel et rapporte une performance améliorée par rapport à DAgger et au behavior cloning.

Une ligne liée change ce qui compte comme une étiquette. Expert Intervention Learning de Spencer et ses collègues soutient que « tout montant de feedback d'expert, que ce soit par intervention ou non-intervention, fournit de l'information sur la qualité de l'état actuel, l'optimalité de l'action, ou les deux », formalisé comme une contrainte sur la fonction de valeur de l'apprenant et résolu avec l'apprentissage en ligne sans regret. Sous cette lecture, les étirements où l'humain regardait et ne faisait rien sont des preuves positives faibles plutôt que vides. EIL apprend l'évitement de collision d'environ une minute de contrôle d'expert.

Les variantes côte à côte

Ce que chaque barrière achète, et ce qu'elle coûte

Lisez la colonne « besoins » et un motif en émerge : chaque signal robot-gated est un proxy qui doit être fabriqué, et chaque proxy a sa propre facture.

• Les signaux de discordance (SafeDAgger, LazyDAgger, la moitié de la règle d'EnsembleDAgger) ont besoin d'une policy de référence. Soit vous en avez une scriptée, auquel cas le problème intéressant est déjà résolu, soit un humain continue à produire les actions en arrière-plan pour qu'une distance puisse être calculée.
• Les signaux de doute ont besoin d'une incertitude épistémique calibrée. Un ensemble de petits réseaux de contrôle l'approxime ; un ensemble d'un modèle vision-language-action de trois milliards de paramètres est d'abord un problème de mémoire et de latence.
• Les signaux de nouveauté et de risque ont besoin d'un estimateur appris de complétude de tâche, adapté sur suffisamment de rollouts réussis et échoués. Sur une tâche que vous commencez à faire fonctionner, ces données n'existent pas à la ronde un.
• La barrière humaine a besoin d'attention et rien d'autre — le seul signal disponible le jour un, sur n'importe quelle architecture de policy, sans modèle supplémentaire à entraîner.
• Aucune barrière robot n'enlève l'humain de la pièce. Elles réduisent la fréquence à laquelle l'humain doit agir, pas s'il doit être présent.

Il y a une différence plus tranquille dans ce que la barrière produit. Un tir de barrière robot mid-trajectory remet une personne un bras en mouvement à une pose arbitraire. Une barrière humaine laisse l'opérateur choisir le moment — après la portée, avant la saisie, pas à mi-chemin d'un swing. Les segments de récupération des deux ne sont pas également propres, et ces segments sont le produit entier de la ronde.

Pourquoi la forme human-gated gagne sur du matériel réel

C'est un argument d'ingénierie, pas un résultat de benchmark — aucun papier trouvé n'exécute les cinq barrières sur le même manipulateur avec la même classe de policy. Il repose sur quatre points.

Premièrement, le superviseur est là de toute façon. Personne ne laisse un bras SO-100 tournant sans surveillance à côté d'objets qu'il peut renverser. Une fois que quelqu'un regarde, le coût marginal de lui donner un bouton de reprise est proche de zéro ; construire un estimateur de risque calibré est un projet.

Deuxièmement, l'incertitude que vous pouvez réellement mesurer sur une policy moderne est souvent la mauvaise quantité. Une tête de diffusion ou de flow-matching produit une variance entre les chunks d'action échantillonnés, et cette variance reflète la multimodalité sur laquelle la tête a été entraînée, pas l'ignorance épistémique sur l'état. EnsembleDAgger utilise un ensemble précisément pour capturer ce dernier. Les deux ressemblent au même nombre et ne le sont pas ; les action chunking et flow matching mêmes couvrent comment ces têtes émettent les actions en premier lieu.

Troisièmement, les défaillances qui comptent en manipulation sont souvent sémantiques plutôt que statistiquement inhabituelles. Une policy fermant la pince deux centimètres trop tôt, ou atteignant confiante le mauvais des deux cubes identiques, n'est pas dans un état à variance élevée — elle est confiante et fausse. Aucun seuil de variance n'attrape cela ; une personne regardant l'attrape immédiatement.

Quatrièmement, la qualité des étiquettes — le point HG-DAgger original, et celui le plus souvent ignoré. Les étiquettes collectées pendant que l'humain a un contrôle ininterrompu battent les étiquettes narrées sur un système en mouvement. Si l'objectif est des données correctives qui valent l'agrégation, la charge de la preuve repose sur la barrière automatisée.

La barrière est la moitié de la méthode ; la gestion des données est l'autre moitié

Une barrière décide quels frames un humain a conduits, pas quoi en faire, et cette deuxième décision est où les rondes sont le plus souvent gaspillées. La première règle est celle que le D dans DAgger signifie : agréger, ne pas remplacer. Fine-tuner un checkpoint purement sur quelques centaines de frames de correction vous donne un modèle qui n'a vu presque rien que des récupérations et a oublié la trajectoire nominale.

La deuxième règle est que les frames d'intervention ne sont pas les frames ordinaires. Mandlekar et al. ont construit un système de téléopération à distance pour la manipulation 6-DoF permettant aux opérateurs de surveiller les policies et de prendre le relais en cas d'échec, puis entraîné itérativement avec un algorithme qui « encourage la policy à apprendre à traverser les goulots d'étranglement via les interventions » ; les agents entraînés sur ces données ont surpassé les agents entraînés sur un nombre égal de samples de démonstration ordinaires. Sirius pousse l'idée dans le déploiement, « ré-pesant les samples d'entraînement avec la confiance humaine approximée et optimisant les policies avec behavioral cloning pondéré ». Les deux ont besoin d'un marqueur par frame de ce qui était conduit par humain, c'est pourquoi le drapeau intervention compte plus qu'il ne le paraît.

La troisième règle est que le mélange automatique est un piège. Un dataset composé dont vous ne pouvez pas énumérer les sources est celui que vous ne pouvez pas déboguer quand la prochaine ronde s'aggrave. Sur cette plateforme, l'étape de composition est explicite pour cette raison — dataset original plus corrections, sélection d'épisode par source, et le résultat est un dataset ordinaire LeRobot qui synchro et entraîne comme n'importe quel autre ; la documentation dataset couvre le côté format.

Définir une barrière qu'une personne peut réellement tenir

« L'humain décide » n'est pas une spécification. Deux opérateurs avec des seuils différents produisent des rondes incomparables, et un seuil qui dérive produit une tendance que vous ne pouvez pas lire. Écrivez les déclencheurs avant la première exécution.

1. Nommez les conditions qui ouvrent la barrière — approche décalée de plus qu'une marge fixe, pince fermant sur rien, une articulation dérivant vers une limite, une stagnation de plus qu'une seconde ou deux — et gardez la liste inchangée pour la ronde.
2. Nommez ce qui ne l'ouvre pas. Dépasser ce que la policy se récupère d'elle-même est un signal d'entraînement ; reprendre là efface une récupération qu'elle connaît déjà.
3. Reprenez assez tôt pour un transfert de contrôle net, remettre dès que l'état est récupérable.
4. Enregistrez pourquoi vous avez repris, par épisode. Trois rondes plus tard, c'est le seul enregistrement de si le même échec revient.
5. Gardez les caméras, le texte de la tâche et l'opérateur constants entre les rondes. Changez l'une et les chiffres cessent d'être comparables.

Mécaniquement, le transfert a deux variantes. Avec un bras leader, le leader doit atteindre la pose actuelle du follower avant que le couple ne soit transféré, ou le bras saute ; ce mouvement d'alignement est la partie la moins testée de la chaîne sur du matériel réel. Sans bras leader, la reprise est manuelle dès la première pression de touche : le follower est tenu et l'opérateur le pousse articulation par articulation depuis le clavier ou tire les curseurs, avec des pinces côté serveur gardant chaque entrée petite — un couple de degrés par pression de touche, une poignée par mise à jour de curseur, car un grand pas dans une pose tenue est comment vous décapitez un servo. La version étape par étape avec les liaisons de clavier est dans la procédure d'une ronde DAgger sur un SO-100; arrière-plan sur les deux modes de téléopération est dans la documentation de téléopération et l'entrée leader-follower.

Lire si la barrière a fait quelque chose

La métrique d'une ronde human-gated est le taux d'intervention : frames d'intervention divisé par frames de l'exécution. Elle a un travail — si elle ne tombe pas à travers les rondes, la ronde n'a rien acheté, et la suivante devrait changer quelque chose d'autre que la quantité de données.

C'est une métrique biaisée et vous devriez le savoir comment. Elle mesure le seuil de l'opérateur autant que la compétence de la policy, c'est pourquoi la liste de déclencheurs reste fixe ; un opérateur qui se détend au cours d'une session produit une courbe chute avec rien derrière. Elle ignore aussi la sévérité — dix frames pour arrêter une collision et dix pour nudger une saisie ressemblent identiques. Associez-le à un ensemble d'évaluation fixe dont aucune donnée de correction n'a jamais été tirée. L'article sur la mesure d'une boucle DAgger fonctionne à travers la conception d'évaluation, y compris comment garder les épisodes d'évaluation hors du mélange d'entraînement.

Questions ouvertes dignes d'attention

Les benchmarks sont faibles. Spencer et ses collègues ont examiné ceux utilisés pour tester les approches d'apprentissage par imitation et les ont trouvés « réalisables et simples et donc insuffisants pour capturer les régimes plus difficiles de la composition des erreurs vus dans les problèmes réels de prise de décision » — et, contre la littérature environnante, ont trouvé que le behavior cloning pur s'en tirait bien sur eux. C'est une raison d'être sceptique de tout classement des variantes de DAgger reposant sur ces tâches, y compris certains chiffres du tableau ci-dessus.

Les barrières robot sur les grandes policies ne sont pas non plus résolues. Le travail AIM remplace l'incertitude par une fonction Q-proxy contrefaisant la règle d'intervention humaine et rapporte une amélioration de 40 % du coût de reprise et de l'efficacité d'apprentissage par rapport à ThriftyDAgger — dans le contrôle continu et discret, pas sur un modèle vision-language-action conduisant un manipulateur. Qu'aucune de ces barrières se transfère à une VLA fine-tuned est ouvert. Le survey fait un point connexe : la terminologie et la structure du domaine ne sont pas unifiées à travers la littérature, ce qui rend les méthodes difficiles à comparer. Sur votre bras propre, vos journaux sont la preuve que vous avez.

Pour un bras seul sur un bureau, le choix est fait : tenez la barrière vous-même, écrivez ce qui l'ouvre, et dépensez l'effort sur la gestion des données derrière plutôt que sur l'automatisation du commutateur. Le côté plateforme est décrit sur la page de la boucle DAgger, les options d'entraînement par famille de policy sous formation et tarification. Pour l'arrière-plan, commencez par apprentissage par imitation et apprentissage par imitation sur le SO-100; pour une première exécution, exécutez votre première policy est le chemin plus court.