Travailler avec les jeux de données
Chaque session de téléopération sur AY-Robots produit des données de démonstration structurées au format LeRobot, le format d'échange de facto pour les données de manipulation. Cette page explique ce que contient un jeu de données, comment inspecter et curer les épisodes dans le dashboard, comment fonctionne la fusion, et où se situe la marketplace.
Dernière mise à jour 2026-08-09
Le format de jeu de données LeRobot
AY-Robots stocke toutes les données de démonstration au format de jeu de données LeRobot, maintenu par Hugging Face. L'avantage pratique est la portabilité : un jeu de données enregistré ici se charge directement dans du code d'entraînement basé sur LeRobot, et des jeux de données enregistrés ailleurs dans le même format peuvent être envoyés et utilisés sur la plateforme sans conversion.
Un jeu de données est une collection d'épisodes. Un épisode est une tentative complète d'une tâche, depuis un état de départ défini jusqu'au moment où vous avez arrêté l'enregistrement. Sur le disque, un épisode est réparti sur trois types de fichiers : un fichier Parquet avec les flux numériques, un fichier vidéo par caméra, et des métadonnées qui relient le tout.
| Chemin | Contenu |
|---|---|
| data/.../episode_XXXXXX.parquet | Un fichier Parquet par épisode : horodatages image par image, état d'observation et actions |
| videos/... | Un MP4 par caméra et par épisode, aligné image par image avec les données Parquet |
| meta/info.json | Métadonnées au niveau du jeu de données : type de robot, fps, schéma des features, et nombre d'épisodes et d'images |
| meta/episodes.jsonl | Une ligne par épisode avec son index, sa longueur et la tâche à laquelle il appartient |
| meta/tasks.jsonl | Les chaînes de tâche en langage naturel que les épisodes référencent par index |
Le schéma des features dans info.json est ce que le code d'entraînement lit pour comprendre vos données : quelles clés d'observation existent, leurs formes, et la fréquence d'enregistrement. Deux jeux de données ne sont compatibles que si leurs schémas concordent, ce qui est exactement ce que vérifie la validation de fusion.
Les valeurs articulaires sont des pourcentages, pas des degrés
Toutes les valeurs articulaires des jeux de données AY-Robots sont normalisées à la manière de LeRobot : chaque valeur va de -100 à 100 et représente un pourcentage de la plage calibrée de cette articulation, pas un angle en degrés. Une valeur de 0 correspond au centre de la plage calibrée, -100 et 100 en sont les limites.
Les points zéro des servomoteurs diffèrent d'un bras physique à l'autre, donc des angles bruts provenant de deux unités SO-100 décrivent des poses différentes. Normaliser par rapport à la plage calibrée rend les enregistrements comparables entre bras et correspond à ce qu'attendent les pipelines d'entraînement LeRobot. Si vous avez besoin d'angles pour vos propres outils, effectuez la conversion à l'aide de vos données de calibration ; la plateforme ne stocke pas de degrés.
Jeux de données cloud dans le dashboard
Dashboard > Datasets liste vos jeux de données cloud avec le nombre d'épisodes, la taille des fichiers et l'état de la collecte. Les jeux de données sont créés automatiquement quand une session de téléopération enregistre des données, et vous pouvez aussi en créer un explicitement et le remplir en envoyant des enregistrements depuis le client de bureau.
- Créer : de nouveaux jeux de données apparaissent automatiquement à partir des sessions, ou créez-en un vide et envoyez-y des données.
- Renommer : changez le nom affiché à tout moment ; le changement ne touche pas aux données elles-mêmes.
- Supprimer : supprime le jeu de données ainsi que tous ses épisodes et fichiers. La suppression est définitive, téléchargez donc une archive au préalable si vous pourriez avoir besoin des données à nouveau.
L'explorateur d'épisodes
Ouvrir un jeu de données vous amène à l'explorateur d'épisodes. Chaque épisode dispose d'un lecteur vidéo pour ses flux caméra et de graphiques articulaires synchronisés qui tracent les valeurs articulaires normalisées tout au long de l'épisode. Déplacer le curseur dans la vidéo déplace celui des graphiques avec lui, ce qui permet de repérer rapidement les problèmes : une approche saccadée apparaît sous forme de pics dans les graphiques, une prise ratée est visible dans le canal de la pince avant même que vous regardiez la vidéo.
Labels d'épisode : Success, Recovery, Failure
Chaque épisode peut porter l'un de trois labels. Success marque une démonstration propre de la tâche. Recovery marque un épisode où quelque chose s'est mal passé en cours de tentative et que vous avez corrigé ; ces épisodes sont précieux car ils apprennent à une politique comment se rattraper. Failure marque les épisodes qui n'ont pas atteint l'objectif et qui doivent généralement rester hors de l'entraînement. Labelliser en relisant coûte bien moins cher que de déboguer une politique qui a silencieusement appris de mauvaises démonstrations.
Fusionner des jeux de données
La fusion combine plusieurs enregistrements en un seul jeu de données plus grand, par exemple une semaine de sessions sur la même tâche ou des enregistrements provenant de deux bras calibrés. La fusion prend en entrée plusieurs archives tar.gz, chacune contenant un jeu de données LeRobot, et produit un seul jeu de données avec des épisodes réindexés.
- 1Préparer les archives
Chaque entrée doit être un jeu de données LeRobot complet, empaqueté sous forme d'archive tar.gz, y compris son répertoire meta. Les archives partielles sans info.json ne peuvent pas être validées et sont rejetées.
- 2Envoyer plusieurs archives
Dans Dashboard > Datasets, démarrez une fusion et sélectionnez en une seule étape toutes les archives tar.gz que vous voulez combiner.
- 3Validation
La plateforme vérifie que fps, le schéma des features et robot_type correspondent sur toutes les entrées. Si l'un des trois diffère, la fusion est rejetée en indiquant l'incohérence, car un jeu de données combiné avec des flux incohérents corromprait silencieusement l'entraînement.
- 4Vérifier le résultat
Le jeu de données fusionné apparaît dans votre liste avec le nombre d'épisodes combiné. Ouvrez l'explorateur d'épisodes et vérifiez ponctuellement quelques épisodes de chaque source avant de vous en servir pour l'entraînement.
Les trois règles de compatibilité sont volontairement strictes. Une incohérence de fréquence d'images change la signification de chaque pas de temps, une incohérence de schéma casse purement et simplement les chargeurs de données, et mélanger des types de robots produit un jeu de données sur lequel aucune politique ne peut agir. Si vous devez combiner des données provenant de différents bras du même modèle, c'est possible : robot_type désigne le modèle, pas l'unité physique.
La marketplace des jeux de données
La marketplace vous permet d'acheter des jeux de données enregistrés par d'autres et de vendre les vôtres. Les jeux de données achetés arrivent dans votre dashboard avec la même structure LeRobot que vos propres enregistrements, ils fonctionnent donc avec l'explorateur d'épisodes, la fusion et l'entraînement sans étape supplémentaire.
Si vous vendez, préparez soigneusement votre jeu de données avant de le publier. Relisez les épisodes, labellisez-les honnêtement, et assurez-vous que les chaînes de tâche décrivent ce qui se passe réellement dans les enregistrements. Un acheteur qui évalue votre jeu de données voit le même explorateur d'épisodes que vous, et des jeux de données aux labels propres et aux démonstrations cohérentes valent plus cher que des exports bruts de tout ce que vous avez jamais enregistré.
Questions fréquentes
Quelle est la taille d'un épisode typique ?▾
Environ 5 à 15 Mo pour un épisode de 10 à 20 secondes avec deux caméras à 30 fps, selon la complexité de la scène. Un jeu de données sérieux comptant quelques centaines d'épisodes atteint quelques gigaoctets.
Puis-je télécharger mes jeux de données ?▾
Oui. Les jeux de données peuvent être téléchargés sous forme d'archives depuis le dashboard. Comme la structure est le LeRobot standard, le téléchargement fonctionne directement avec les outils LeRobot et votre propre code d'entraînement.
Puis-je fusionner des jeux de données de différents types de robots ?▾
Non. La fusion exige que fps, le schéma des features et robot_type correspondent sur toutes les entrées. Des données provenant de deux bras physiques différents du même modèle peuvent être fusionnées, à condition que les deux bras aient été calibrés.
Les graphiques articulaires affichent-ils des degrés ?▾
Non. Toutes les valeurs articulaires sont normalisées à la manière de LeRobot dans la plage -100 à 100, exprimées comme un pourcentage de la plage calibrée de chaque articulation. C'est aussi exactement ce qui est stocké dans les fichiers Parquet.
Que se passe-t-il quand je supprime un jeu de données ?▾
Le jeu de données ainsi que tous ses épisodes, vidéos et métadonnées sont supprimés définitivement. Il n'y a pas d'annulation possible, téléchargez donc une archive au préalable si vous n'êtes pas sûr.
Entraînez ACT, Diffusion Policy, SmolVLA et des fine-tunes de GR00T sur vos jeux de données de téléopération, puis exécutez la politique sur votre bras.
Installez le client de bureau AY-Robots sur macOS, Windows ou Linux, enregistrez des épisodes SO-100 avec le parcours guidé et utilisez la CLI et le MCP.