Ejecutar un bucle DAgger en un SO-100 con una política VLA

Tu política se ejecuta. Llega al cubo, cierra el gripper un centímetro demasiado pronto y sigue adelante como si lo tuviera. Nada produce un error, y ninguna cantidad de análisis de la pérdida de entrenamiento lo explica. La solución no es otros 20 000 pasos de gradiente en las mismas demostraciones. Es poner tu mano de vuelta en el brazo exactamente donde sale mal, registrar lo que hiciste en su lugar y entrenar el siguiente punto de control con los datos antiguos más esa corrección. Eso es una ronda DAgger, y así es como se ejecuta en un SO-100 con una política de visión-lenguaje-acción.

La teoría está en otro lado: por qué funciona la agregación de conjuntos de datos y qué cambia la supervisión humana al respecto. Este es el manual de operación, y asume un punto de control entrenado, un conjunto de cámaras que funciona y un brazo que se mueve. Los seis pasos siguientes son el bucle tal como se implementa en la página DAgger de esta plataforma, pero la secuencia es la misma con tus propios scripts.

Por qué la segunda ronda no es solo más datos

El aprendizaje por comportamiento entrena en los estados que visitó un humano. En el tiempo de prueba, la política visita los estados que causa, y pequeños errores de acción se acumulan en estados que ninguna demostración cubrió. Ross, Gordon y Bagnell formalizaron ese fallo para AISTATS 2011 y lo respondieron con un algoritmo iterativo que entrena una política determinista estacionaria y, bajo su reducción, tiene que funcionar bien bajo la distribución de estados que induce: ejecutar la política actual, hacer que el experto etiquete los estados que realmente alcanzó, agregar eso al conjunto de datos, reentrenar, repetir. Kelly et al. hicieron práctica la consulta con HG-DAgger, donde el humano decide cuándo tomar control en lugar de etiquetar estados sin sostener los controles; reportan rendimiento mejorado tanto sobre DAgger como sobre aprendizaje por comportamiento en una tarea de conducción autónoma simulada y real. La supervisión humana es lo que hace el bucle tolerable en un brazo de escritorio - solo mueves las manos cuando algo sale mal.

Dos consecuencias importan más en la práctica que la teoría. Las correcciones no son demostraciones ordinarias: se concentran en las regiones de cuello de botella que describe Mandlekar et al., donde una pequeña desviación empuja la política a estados que las demostraciones nunca cubrieron. Y un conjunto de datos hecho solo de esas partes difíciles es un conjunto de datos mal formado - Belkhale, Cui y Sadigh argumentan desde el lado de los datos que la diversidad de estados no siempre es beneficiosa, y que la divergencia de acciones y la diversidad de transiciones juntas deciden la calidad del conjunto de datos. El conjunto de datos mixto no es un compromiso, es el punto.

Congela estos antes de la ronda uno

Una ronda DAgger compara una política consigo misma a través del tiempo. Cualquier cosa que cambies entre rondas que no sea el conjunto de datos hace esa comparación sin sentido.

• Posiciones y montajes de cámaras, incluida la cámara de muñeca. Afloja una abrazadera y cambiaste la distribución de observación, no la política.
• Exposición y balance de blancos, si tu pila de captura te permite fijarlos. El cambio automático de exposición entre rondas es una desviación de dominio lenta e invisible.
• Calibración del brazo y posiciones cero del servo. Si debes recalibrar, trata todo lo grabado antes de ello como un conjunto de datos separado.
• El texto de la tarea. Cada VLA aquí se condiciona a él; reformularlo a mitad del bucle es una tarea diferente.
• Iluminación, superficie de la mesa, conjunto de objetos. Un nuevo objeto es un nuevo experimento, no la siguiente ronda.
• La velocidad de fotogramas de grabación. Comparar tasas de intervención en dos rásteres de muestreo produce diferencias que provienen del rástel.

La ronda, de extremo a extremo

1. 1
   Ejecutar inferencia y grabarla

   Inicia la ejecución contra el punto de control que quieres mejorar, luego inicia la grabación en la raíz de inferencia. Grabado de esa manera hereda el texto de tarea de la propia ejecución, que es lo que la política fue entrenada, en lugar de la etiqueta de teleoporación predeterminada. Sin la grabación puedes ver el fallo pero no entrenar con él.

   bash

   # two calls, not one: the run, then its recording
   POST /inference/start      # model_id, and hf_repo_id = the checkpoint to drive
   POST /recording/start      # root=inference
   # root=inference also makes the recording inherit the run's task text

2. 2
   Tomar control cuando sale mal

   Presiona Tomar control y elige el modo de entrada: brazo líder, teclado o controles deslizantes. El corredor se pausa, corriges, devuelves. Los fotogramas grabados mientras conducías están marcados como intervenciones automáticamente.

   bash

   POST /inference/takeover/start   # input = leader | keyboard | sliders
   POST /inference/takeover/nudge   # keyboard, relative delta per call
   POST /inference/takeover/set     # sliders, absolute target
   POST /inference/takeover/stop    # back to the policy

3. 3
   Hacer triaje de los episodios

   Decide por episodio: registrar como corrección, mantener como evaluación o descartar. Una ejecución que la política completó sin ayuda es datos de evaluación.

4. 4
   Sincronizar el conjunto de datos de corrección

   Las correcciones se recopilan en un conjunto de datos local por política y van al almacenamiento en la nube a través de la sincronización automática. Nada se mezcla que no hayas puesto allí.

5. 5
   Componer el conjunto de datos mixto

   Combina el conjunto de datos original con el conjunto de datos de correcciones, eligiendo episodios explícitamente por fuente. El resultado es un conjunto de datos ordinario desde ese punto en adelante.

   bash

   POST /training/datasets/compose
     sources  = [ original_dataset, korrekturen_<policy> ]
     episodes = explicit selection per source

6. 6
   Continuar entrenamiento desde el punto de control

   Entrena la mezcla desde el punto de control anterior en lugar del modelo base. Anota qué punto de control y qué mezcla; sin ese par la ronda no es reproducible.

   bash

   # field on the training job
   base_checkpoint = s3://ay-robots/checkpoints/<run>/<checkpoint>
   # the platform passes it to the training pod as BASE_CKPT_S3

Paso 2 en detalle: las dos formas de tomar control

Con un brazo líder

En modo liderazgo-seguidor el takeover es un handover entre dos brazos que no están en la misma posición. Presionar Tomar control pausa el corredor e impulsa el líder hacia la posición actual del seguidor, así nada salta cuando se transfiere el torque. Si esa alineación se agota, alineas el líder a mano y solo liberas cuando los dos estén dentro de cinco grados. A partir de entonces teleoperas normalmente y la columna de acción registra lo que comandaste.

Sé honesto sobre esta ruta: la alineación y el handover de torque son la parte menos probada del bucle en hardware real. Prueba el handover en una posición lenta e inofensiva antes de confiar en él en una ejecución que te importe. Un brazo líder produce las correcciones más suave de los tres modos, y también tiene lo más que puede salir mal mecánicamente.

Sin un brazo líder: teclado y controles deslizantes

La mayoría de las personas leyendo esto poseen un brazo. Eso es suficiente. Elige entrada de teclado o controles deslizantes en el momento en que presionas Tomar control, y el takeover es inmediato y manual - no hay un segundo brazo para alinear, así que no hay paso de alineación. El seguidor sostiene su posición y espera entrada.

Los límites se aplican en el lado del servidor, no en la interfaz, porque un delta mal escrito en un brazo de servo de bus es una colisión. Las correcciones de teclado salen paso a paso y algo gruesas; las correcciones de controles deslizantes son más suave, porque el servidor camina hacia el destino mientras la interfaz sigue transmitiendo. De cualquier manera la columna de acción recibe el vector de posición completo comandado y el marcado de intervención es idéntico a la ruta de liderazgo, así que las correcciones de teclado aterrizan en el mismo conjunto de datos sin una diferencia de formato.

Q / A   joint 1      R / F   joint 4
W / S   joint 2      T / G   joint 5
E / D   joint 3      Z / X   gripper

Cuándo presionar el botón

Temprano en lugar de tarde. Una corrección que comienza después de que el gripper se haya cerrado en nada enseña recuperación de un fallo en el que la política no debería haber entrado, y los datos de recuperación valen mucho menos que los datos de prevención. Interrumpe en el primer momento en que estés seguro de que la trayectoria es incorrecta, corrige a través de la parte difícil, devuelve tan pronto como el estado es uno que la política manejó antes. ThriftyDAgger automatiza esa decisión al permitir intervenciones en novedad y riesgo estimado bajo un presupuesto humano fijo, pero en un brazo único con un humano ya viendo, la puerta humana es más barata y mejor calibrada que cualquier cosa que sintonices.

Paso 3 en detalle: el triaje decide la calidad

Después de la ejecución tienes una grabación con algunos fotogramas marcados como intervenciones. Existen tres destinos, y el incorrecto envenena silenciosamente la siguiente ronda.

• Registrar como corrección cuando la intervención fue una verdadera solución: la política se dirigía a algún lugar incorrecto y tu entrada mostró la cosa correcta desde un estado que la propia política produjo.
• Mantener como evaluación para ejecuciones autónomas limpias y para ejecuciones que asumiste por precaución. Los episodios de evaluación son cómo mides el siguiente punto de control, y nunca deben ser entrenados.
• Descartar ejecuciones arruinadas por algo no relacionado - un fotograma de cámara caído, un servo estancado, un objeto que derribaste. Una corrección desordenada es peor que ninguna corrección.

Paso 5 en detalle: composición de la mezcla

La composición toma el conjunto de datos original más el conjunto de datos de correcciones y produce un nuevo conjunto de datos ordinario LeRobot que entrena como cualquier otro. La propiedad importante es que la selección de episodios es explícita por fuente - nada se mezcla automáticamente. Eso suena menor hasta la primera vez que una política se comporta extrañamente y tienes que reconstruir lo que fue entrenado en.

La pregunta abierta es la razón, y nadie tiene un número que se transfiera. Lo que la literatura sí acuerda es que las correcciones deben contar más que su participación de fotogramas. Mandlekar et al. reentrena iterativamente en los datos que su sistema de intervención recopila, así que la política aprende a atravesar los cuellos de botella, y reportan que los agentes entrenados de esa manera superan a agentes entrenados en un número equivalente de muestras de demostradores no intervencionales. Sirius va más allá y re-pondera muestras de entrenamiento por confianza humana aproximada, reportando una ganancia del 8 por ciento en simulación y del 27 por ciento en hardware real en tasa de éxito de política contra los métodos que compara, a dos veces la velocidad de convergencia. Ninguno de los puntos de entrada de entrenamiento aquí expone un botón de ponderación de muestras, así que el sustituto crudo es mantener cada episodio de corrección mientras subestreas las demostraciones originales - y escribir lo que hiciste.

Paso 6 en detalle: qué significa realmente continuar desde un punto de control

Entrenar la mezcla desde el modelo base funciona pero descarta la ronda anterior y cuesta una ejecución completa. Continuar desde el anterior punto de control es más rápido y generalmente mejor. También es más limitado que lo que sugiere la frase.

La latencia se compone dentro de un bucle DAgger de una manera en que no lo hace durante una demostración: a aproximadamente 485 ms por paso de acción asumes control porque el brazo vaciló, no porque estuviera mal, y los datos de corrección de vacilación no son útiles. Si estás iterando sobre datos en lugar de perseguir una tasa de éxito final, itera en un modelo rápido. Shukor et al. describen SmolVLA como diseñado para entrenar en una sola GPU e implementar en GPUs de consumo o CPUs, con una pila de inferencia asincrónica que desacopla la predicción de acción de la ejecución para permitir tasas de control más altas - la propiedad que mantiene un bucle de takeover responsivo.

Los formatos de conjunto de datos no son intercambiables. GR00T toma LeRobot v2.0 o v2.1, y el repositorio Isaac-GR00T describe su entrada como un sabor del formato LeRobot v2 con un archivo de descripción de modalidad agregado; los entrenadores más nuevos aquí esperan v3.0. Una mezcla compuesta en la versión incorrecta falla en el tiempo de carga en lugar de producir una política mala - el modo de fallo mejor, todavía una ranura de cola desaprovechada. El documentación de conjunto de datos lista qué formato cada entrenador toma.

Cuatro formas de desperdiciar una ronda

1. Entrenar solo con las correcciones

El fallo más común y el atajo más tentador. Un conjunto de datos solo de correcciones es casi enteramente la mitad difícil de la tarea, con enfoque y retirada desaparecidas; la política mejora en la parte difícil y olvida cómo llegar allí. La agregación no es un detalle de implementación del método, es el mecanismo: los datos antiguos son lo que mantiene el resto del comportamiento en su lugar mientras las correcciones mueven una parte de él.

2. Mover una cámara entre rondas

Una cámara que se desplaza dos centímetros entre rondas produce una política peor que la que iniciaste, y un diagnóstico que cuesta un día. Cada VLA aquí se condiciona en imágenes; el estado articular solo no desambigua dónde está el objeto. Fotografía la configuración antes de la primera ronda y comprueba esa fotografía antes de cada una posterior.

3. Dejar artefactos de handover en el entrenamiento

Cubierto arriba, y en la lista porque es invisible. El síntoma es una política que se detiene durante una fracción de segundo exactamente donde el operador de la ronda anterior asumió el control. Se ve como vacilación; es imitación.

4. Llamar a un inicio en caliente un resumen

Si crees que el estado del optimizador se trasladó, el pico de pérdida inicial se lee como un error y vas cazando datos corruptos. Si sabes que el optimizador comenzó fresco, el pico es esperado y miras lo que viene después. Números iguales, conclusiones opuestas.

Medir la ronda

La métrica para un bucle supervisado por humanos es la tasa de intervención: fotogramas grabados mientras estabas en control, divididos por fotogramas totales de la ejecución. Está en el estado de takeover, y es el único número que responde la pregunta que la ronda hizo. La pérdida de entrenamiento cae independientemente de si la política mejoró; la tasa de éxito es binaria y ruidosa en los tamaños de muestra que produce un brazo de escritorio. La tasa de intervención es continua, medida en los estados que la propia política causó, y cae a medida que la política te necesita menos.

Compárala solo en ejecuciones grabadas bajo condiciones idénticas. El argumento completo, y cómo construir un conjunto de evaluación que sobreviva más de dos rondas, está en el artículo sobre medición de un bucle DAgger. La ronda uno es realísticamente una prueba de viabilidad: estás comprobando que el takeover funciona en tu hardware, que las correcciones aterrizan con sus marcas, y que la ejecución continuada cargó el punto de control que nombraste. Las rondas dos y tres son donde la tasa debe comenzar a cambiar. Si no ha cambiado en la ronda cuatro, el problema está aguas arriba de DAgger.

Si aún no tienes un punto de control

El bucle no tiene punto de entrada sin uno. Graba un primer conjunto de datos, entrena una primera política, ejecútala - grabación, entrenamiento y ejecutar la política cubren ese camino. El cliente de grabación está en la página de descargas, niveles de GPU y tarifas por hora en la página de precios, y lo que se parece a un episodio usable en la guía de recopilación de datos SO-100. Obtén las demostraciones correctas antes de las correcciones: DAgger es un mecanismo de reparación, y funciona mucho mejor en algo que casi fue correcto ya.

Nada de esto es un problema resuelto y nada de ello es un clic. El aprendizaje de imitación interactivo es un área de investigación activa precisamente porque sus preguntas - cuándo intervenir, cómo ponderar lo que hizo el humano, cuánto datos antiguos mantener - no tienen respuestas establecidas; la encuesta por Celemin et al. mapea qué aún está abierto. Lo que el bucle sí tiene es convergencia medible cuando se ejecuta cuidadosamente, en hardware que cuesta unos pocos cientos de euros. Congela la configuración, intervén temprano, haz triaje honestamente, compone deliberadamente, y registra la tasa de intervención cada vez.