Blog

Un compte rendu pas à pas d'une ronde DAgger à contrôle humain sur un bras SO-100 : exécuter la policy et l'enregistrer, reprendre le contrôle quand elle se trompe, classer l'exécution comme une correction, composer un dataset mixte, et continuer l'entraînement à partir d'un checkpoint. Comprend le chemin de reprise contrôlée au clavier et curseur pour les personnes sans bras leader, et les quatre erreurs qui rendent une ronde inutile.

Le taux d'intervention — images d'intervention divisées par les images de la course — est le signal de progrès le moins cher et honnête qu'une boucle DAgger contrôlée par humain puisse avoir. Cet article le définit de sorte que deux personnes calculent la même valeur, montre comment l'enregistrer, et parcourt les quatre façons dont il vous induit en erreur : l'habituation de l'opérateur, une configuration d'évaluation qui dérive, l'entraînement uniquement sur les corrections, et un humain qui corrige différemment le mardi que le lundi.

DAgger pur demande à un humain d'étiqueter des états pendant que le robot est encore en train de conduire. Sur du matériel réel, c'est dangereux et produit de mauvaises étiquettes. Les variantes à barrière remplacent l'étiquetage aveugle par une barrière que quelqu'un doit maintenir : l'humain dans HG-DAgger, un classifieur de sécurité dans SafeDAgger, le désaccord d'un ensemble dans EnsembleDAgger, une estimation budgétisée de la nouveauté et du risque dans ThriftyDAgger. Cet article les compare par qui contrôle la barrière, quel signal l'ouvre, et le coût de chacun — et pourquoi la forme à barrière humaine est celle qui survit au contact avec un vrai bras.

Le Behavior Cloning ajuste une policy sur la distribution d'états de l'expert et se déploie ensuite sur la sienne. L'écart entre ces deux distributions est la raison pour laquelle une policy qui paraît fine en validation sort de la table à l'étape 300. Ceci est le chapitre théorique de notre série DAgger : d'où vient le terme d'erreur quadratique, ce que l'agrégation de données change, ce que la preuve sans regret assume, et quelle part de la facture l'expert humain doit encore payer.

DROID, BridgeData V2 et Open X-Embodiment se convertissent en actions d'effecteur final 7D sur des bras à 6 et 7 degrés de liberté. Un SO-100 prend 6 positions articulaires. Ce qui est transférable, ce qui ne l'est pas, et que faire à la place.

La simulation peut multiplier une poignée de démonstrations en milliers. Voici ce que les chiffres publiés disent réellement, où l'écart sim-to-real se fait sentir, et ce qui doit encore être enregistré.

TinyVLA et SmolVLA proposent un VLA fonctionnel de moins d'un milliard de paramètres. Chiffres réels des deux articles, les valeurs par défaut de lerobot, la latence mesurée et le coût d'une exécution sur une carte de 24 Go.

Votre machine robotique n'a pas de GPU. Placez le serveur de politiques GR00T sur un GPU cloud loué, diffusez des blocs d'actions vers le bras, et découvrez le coût exact du réseau.

Entraînez un Action Chunking Transformer à partir de zéro sur un SO-100 avec lerobot : la configuration act, chunk_size et n_action_steps, le programme d'entraînement de 100000 étapes, 20 ms d'inférence.

GR00T N1.7, Pi0.5, SmolVLA, ACT ou GR00T N1.5 ? Un tableau de décision adapté aux situations réelles, avec les chiffres de benchmark publiés, la latence, le coût par exécution et les licences derrière chaque choix.

Les prix réels des GPU sur le marché spot, la durée d'exécution de chacune des cinq politiques, le coût du bras et des démonstrations, et les quatre endroits où l'argent disparaît discrètement.

Enregistrez un jeu de données LeRobot utilisable avec un SO-100 : calibration, téléopération leader-follower, les vrais drapeaux et valeurs par défaut de lerobot-record, configuration de la caméra, nombre d'épisodes, et les défauts qui gâchent une exécution.

SmolVLA est un VLA de 450 millions de paramètres qui s'affine sur une seule carte de 24 Go. Les vraies commandes lerobot 0.6.1, les valeurs par défaut réelles, les pièges qui coûtent une journée et le coût d'une exécution.

Affinez Pi0.5, le VLA de correspondance de flux de Physical Intelligence, sur vos propres données de robot. Commandes réelles pour openpi et lerobot pi05, pièges du format de jeu de données, limites de VRAM et de latence.

Un guide testé pour l'affinement de NVIDIA GR00T N1.7 sur un jeu de données LeRobot SO-100 : les vrais drapeaux, modality.json, l'exigence v2.1, le coût d'une exécution et les pièges.

Découvrez des stratégies d'experts pour collecter des données d'entraînement VLA de haute qualité afin d'améliorer les tâches de manipulation robotique. Apprenez-en plus sur les méthodes de téléopération, l'augmentation des données, les benchmarks et les approches évolutives pour optimiser les modèles d'IA en robotique.

Découvrez tout ce que vous devez savoir sur le bras robotique SO-100, de la configuration initiale et des techniques de téléopération à l'entraînement IA avancé utilisant des modèles VLA. Ce guide complet est idéal pour les chercheurs en robotique, les ingénieurs en IA et les opérateurs cherchant à optimiser leurs flux de travail et à réaliser un déploiement robotique évolutif.

Découvrez comment RoboTurk révolutionne l’apprentissage robotique en faisant appel à la collaboration pour obtenir des données de haute qualité par le biais de la téléopération à distance, ce qui permet de créer des ensembles de données évolutifs pour les modèles d’IA en robotique. Explorez son impact sur l’apprentissage par imitation, les modèles VLA et le retour sur investissement pour les entreprises de robotique.

Découvrez comment la technique de correspondance de flux de Pi-Zero, combinée à l'initialisation VLM, transforme les politiques de robot généralistes pour le contrôle habile. Découvrez ses avantages par rapport aux méthodes traditionnelles, son efficacité dans les données d'entraînement de l'IA pour la robotique et ses implications pour le déploiement évolutif de robots dans les industries.

Découvrez comment Isaac Lab de NVIDIA révolutionne l’apprentissage robotique multimodal grâce à des simulations accélérées par GPU, permettant une formation plus rapide de l’IA, un déploiement évolutif et un retour sur investissement optimisé pour les chercheurs et les entreprises en robotique.

Découvrez comment Isaac Gym révolutionne l’apprentissage robotique grâce à la simulation physique native GPU, permettant des milliers d’environnements parallèles pour l’apprentissage rapide par renforcement, la formation de modèles VLA et la téléopération efficace des robots IA. Explorez les benchmarks, l’intégration avec PyTorch et les applications du monde réel qui comblent le fossé entre la simulation et la réalité.

Découvrez comment BridgeData V2 fournit des données robotiques à faible coût à grande échelle, améliorant les méthodes d’apprentissage par imitation et l’apprentissage par renforcement hors ligne. Découvrez les principaux critères de référence, les modèles VLA en robotique et les flux de travail efficaces de téléopération robotique pour la collecte de données d’entraînement en IA.

Découvrez comment le modèle vision-langage-action RT-2 de Google révolutionne le contrôle robotique en transférant les connaissances du Web aux actions physiques. Découvrez son architecture, ses méthodes de formation, ses capacités émergentes et ses implications pour les entreprises et les opérateurs de robotique, y compris l’intégration à la téléopération pour une formation efficace en IA.

Découvrez comment le modèle Vision-Langage-Action (VLA) RT-2 de Google transforme l'apprentissage des robots en intégrant des données visuelles, le langage naturel et des actions en temps réel. Cette technologie d'IA innovante améliore la collecte de données pour les téléopérateurs et augmente l'efficacité dans les applications robotiques. Explorez son impact potentiel sur l'avenir des robots pilotés par l'IA sur AY-Robots.

Découvrez comment le modèle RT-2 de Google DeepMind révolutionne la robotique IA en soulignant le rôle crucial des données d'entraînement de haute qualité par rapport aux algorithmes avancés. Cet article analyse les expériences qui démontrent pourquoi une collecte de données efficace est essentielle pour les performances des robots dans le monde réel. Apprenez comment des plateformes comme AY-Robots peuvent combler les lacunes en matière de données d'entraînement pour les innovations futures.