Trabajar con conjuntos de datos

El formato de conjunto de datos LeRobot

AY-Robots almacena todos los datos de demostración en el formato de conjunto de datos LeRobot mantenido por Hugging Face. El beneficio práctico es la portabilidad: un conjunto de datos grabado aquí se carga directamente en código de entrenamiento basado en LeRobot, y los conjuntos de datos grabados en otro lugar con el mismo formato pueden subirse y usarse en la plataforma sin conversión.

Un conjunto de datos es una colección de episodios. Un episodio es un intento completo de una tarea, desde un estado inicial definido hasta el punto en el que usted detuvo la grabación. En disco, un episodio se reparte en tres tipos de archivos: un archivo Parquet con los flujos numéricos, un archivo de video por cámara y metadatos que enlazan todo entre sí.

El esquema de características en info.json es lo que el código de entrenamiento lee para entender sus datos: qué claves de observación existen, sus formas y la tasa de grabación. Dos conjuntos de datos solo son compatibles si sus esquemas coinciden, que es exactamente lo que comprueba la validación de la fusión.

Los valores articulares son porcentajes, no grados

Todos los valores articulares en los conjuntos de datos de AY-Robots están normalizados según LeRobot: cada valor va de -100 a 100 y representa un porcentaje del rango calibrado de esa articulación, no un ángulo en grados. Una lectura de 0 es el centro del rango calibrado, -100 y 100 son sus límites.

Conjuntos de datos en la nube en el panel

Dashboard > Datasets lista sus conjuntos de datos en la nube con recuentos de episodios, tamaños de archivo y estado de recopilación. Los conjuntos de datos se crean automáticamente cuando una sesión de teleoperación graba datos, y también puede crear uno explícitamente y llenarlo subiendo grabaciones desde el cliente de escritorio.

• Crear: los conjuntos de datos nuevos aparecen automáticamente a partir de sesiones, o cree uno vacío y suba datos a él.
• Renombrar: cambie el nombre visible en cualquier momento; el cambio no toca los datos en sí.
• Eliminar: elimina el conjunto de datos y todos sus episodios y archivos. La eliminación es permanente, así que descargue un archivo primero si podría necesitar los datos más adelante.

El explorador de episodios

Abrir un conjunto de datos le lleva al explorador de episodios. Cada episodio tiene un reproductor de video para sus transmisiones de cámara y gráficas articulares sincronizadas que trazan los valores articulares normalizados a lo largo del episodio. Desplazarse por el video mueve el cursor de la gráfica con él, lo que facilita detectar problemas rápidamente: una aproximación brusca aparece como picos en las gráficas, un agarre fallido es visible en el canal de la pinza incluso antes de ver el video.

Etiquetas de episodio: Success, Recovery, Failure

Cada episodio puede llevar una de tres etiquetas. Success marca una demostración limpia de la tarea. Recovery marca un episodio en el que algo salió mal a mitad del intento y usted lo corrigió; estos son valiosos porque enseñan a una política cómo volver al buen camino. Failure marca episodios que no alcanzaron el objetivo y por lo general deberían quedar fuera del entrenamiento. Etiquetar mientras revisa es mucho más barato que depurar una política que aprendió en silencio de malas demostraciones.

Fusionar conjuntos de datos

La fusión combina varias grabaciones en un conjunto de datos más grande, por ejemplo una semana de sesiones sobre la misma tarea o grabaciones de dos brazos calibrados. La fusión toma varios archivos tar.gz, cada uno con un conjunto de datos LeRobot, y produce un único conjunto de datos con episodios reindexados.

1. 1
   Preparar los archivos

   Cada entrada debe ser un conjunto de datos LeRobot completo empaquetado como archivo tar.gz, incluido su directorio meta. Los archivos parciales sin info.json no pueden validarse y se rechazan.

2. 2
   Subir varios archivos

   En Dashboard > Datasets, inicie una fusión y seleccione todos los archivos tar.gz que quiere combinar en un solo paso.

3. 3
   Validación

   La plataforma comprueba que fps, el esquema de características y robot_type coinciden en todas las entradas. Si alguno de los tres difiere, la fusión se rechaza indicando la discrepancia, porque un conjunto de datos combinado con flujos inconsistentes corrompería el entrenamiento en silencio.

4. 4
   Revisar el resultado

   El conjunto de datos fusionado aparece en su lista con el recuento combinado de episodios. Abra el explorador de episodios y revise al azar unos cuantos episodios de cada fuente antes de entrenar con él.

Las tres reglas de compatibilidad son estrictas a propósito. Las discrepancias de frecuencia de fotogramas cambian el significado de cada paso de tiempo, las discrepancias de esquema rompen los cargadores directamente, y mezclar tipos de robot produce un conjunto de datos sobre el que ninguna política individual puede actuar. Si necesita combinar datos de brazos distintos del mismo modelo, no hay problema: robot_type se refiere al modelo, no a la unidad física.

El mercado de conjuntos de datos

El mercado le permite comprar conjuntos de datos grabados por otros y vender los suyos propios. Los conjuntos de datos comprados llegan a su panel con la misma estructura LeRobot que sus propias grabaciones, así que funcionan con el explorador de episodios, la fusión y el entrenamiento sin pasos adicionales.

Si vende, cure antes de publicar. Revise los episodios, etiquételos con honestidad y asegúrese de que las cadenas de tarea describan lo que realmente ocurre en las grabaciones. Un comprador que evalúa su conjunto de datos ve el mismo explorador de episodios que usted, y los conjuntos de datos con etiquetas limpias y demostraciones consistentes valen más que volcados sin curar de todo lo que alguna vez grabó.

Preguntas frecuentes