Blog

Relato paso a paso de una ronda DAgger supervisada por humanos en un brazo SO-100: ejecutar la política y grabarla, tomar control cuando algo sale mal, registrar la ejecución como corrección, componer un conjunto de datos mixto y continuar el entrenamiento desde un punto de control. Incluye la ruta de takeover por teclado y controles deslizantes para quienes no tienen un brazo líder, y los cuatro errores que hacen que una ronda sea inútil.

La tasa de intervención (fotogramas de intervención divididos por fotogramas de la ejecución) es la señal de progreso más barata y honesta que tiene un bucle DAgger controlado por humanos. Este artículo la define para que dos personas calculen el mismo valor, muestra cómo registrarla, y analiza las cuatro formas en que te engaña: habituación del operador, una configuración de evaluación que se desplaza, entrenamiento solo en correcciones, y un humano que corrige diferente el martes que el lunes.

DAgger puro pide a un humano que etiquete estados mientras el robot todavía está conduciendo. En hardware real eso no es seguro y produce etiquetas de mala calidad. Las variantes con gate reemplazan el etiquetado ciego con una compuerta que alguien debe mantener: el humano en HG-DAgger, un clasificador de seguridad en SafeDAgger, el desacuerdo de un ensamble en EnsembleDAgger, una estimación de novedad y riesgo presupuestada en ThriftyDAgger. Este artículo las compara por quién controla la compuerta, qué señal la abre, y cuánto cuesta cada una — y por qué la forma con gate humano es la que sobrevive el contacto con un brazo real.

El aprendizaje por imitación ajusta una policy a la distribución de estados del experto y luego se despliega por sí sola. La brecha entre esas dos distribuciones es por qué una policy que parece correcta en validación se sale de la mesa en el paso 300. Este es el capítulo de teoría de nuestra serie DAgger: de dónde viene el término de error cuadrático, qué cambia la agregación de conjuntos de datos, qué asume la prueba de no-arrepentimiento, y qué parte del coste aún tiene que pagar el experto humano.

DROID, BridgeData V2 y Open X-Embodiment se convierten en acciones de efector final 7-D en brazos de 6 y 7 GDL. Un SO-100 toma 6 posiciones de articulación. Qué se transfiere, qué no, qué hacer en su lugar.

La simulación puede multiplicar un puñado de demostraciones en miles. Aquí está lo que realmente dicen los números publicados, dónde muerde la brecha sim-a-real, y qué aún debe ser grabado.

TinyVLA y SmolVLA sitúan un VLA funcional por debajo de 1 B parámetros. Números reales de ambos artículos, los valores predeterminados de lerobot, la latencia medida y el coste de una ejecución en una tarjeta de 24 GB.

Tu máquina robótica no tiene GPU. Coloca el servidor de políticas GR00T en una GPU en la nube alquilada, transmite fragmentos de acciones al brazo y descubre exactamente lo que te cuesta la red.

Entrena un Action Chunking Transformer desde cero en un SO-100 con lerobot: la configuración act, chunk_size y n_action_steps, el cronograma de 100000 pasos, inferencia de 20 ms.

¿GR00T N1.7, Pi0.5, SmolVLA, ACT o GR00T N1.5? Una tabla de decisión adaptada a situaciones reales, con los números de referencia publicados, latencia, coste por ejecución y licencias detrás de cada elección.

Precios reales de GPU en el mercado spot, cuánto tiempo se ejecuta cada una de las cinco políticas, el costo del brazo y las demostraciones, y los cuatro lugares donde el dinero desaparece silenciosamente.

Graba un conjunto de datos LeRobot utilizable con un SO-100: calibración, teleoperación líder-seguidor, los indicadores y valores predeterminados reales de lerobot-record, configuración de la cámara, recuentos de episodios y los defectos que arruinan una ejecución.

SmolVLA es un VLA de 450 millones de parámetros que se ajusta en una sola tarjeta de 24 GB. Comandos reales de lerobot 0.6.1, los valores predeterminados reales, las trampas que cuestan un día y lo que cuesta una ejecución.

Ajusta finamente Pi0.5, el VLA de coincidencia de flujo de Physical Intelligence, con tus propios datos de robot. Comandos reales para openpi y lerobot pi05, trampas de formato de conjunto de datos, límites de VRAM y latencia.

Una guía probada para el ajuste fino de NVIDIA GR00T N1.7 en un conjunto de datos LeRobot SO-100: flags reales, modality.json, el requisito de la v2.1, cuánto cuesta una ejecución y las trampas.

Descubra estrategias expertas para recopilar datos de entrenamiento VLA de alta calidad para mejorar las tareas de manipulación robótica. Aprenda sobre métodos de teleoperación, aumento de datos, puntos de referencia y enfoques escalables para optimizar los modelos de IA para la robótica.

Descubra cómo RoboTurk revoluciona el aprendizaje robótico mediante el crowdsourcing de datos de alta calidad a través de la teleoperación remota, lo que permite conjuntos de datos escalables para modelos de IA en robótica. Explore su impacto en el aprendizaje por imitación, los modelos VLA y el ROI para las empresas de robótica.

Descubra cómo Isaac Lab de NVIDIA revoluciona el aprendizaje robótico multimodal a través de simulaciones aceleradas por GPU, permitiendo un entrenamiento de IA más rápido, un despliegue escalable y un ROI optimizado para investigadores y empresas de robótica.

Descubra cómo Isaac Gym revoluciona el aprendizaje de robots con simulación física nativa de GPU, permitiendo miles de entornos paralelos para un aprendizaje por refuerzo rápido, entrenamiento de modelos VLA y teleoperación eficiente de robots con IA. Explore evaluaciones comparativas, integración con PyTorch y aplicaciones del mundo real que cierran la brecha entre simulación y realidad.

Explore cómo BC-Z revoluciona el aprendizaje por imitación robótica al permitir la generalización de tareas zero-shot mediante datos de demostración escalados. Descubra las leyes de escala, los modelos VLA, las mejores prácticas de teleoperación y los beneficios de ROI para empresas de robótica e ingenieros de IA.

Descubre cómo el Dataset DROID, un conjunto de datos de manipulación robótica a gran escala, está transformando el entrenamiento de IA para robots con más de 76.000 demostraciones en entornos del mundo real. Conoce su impacto en modelos VLA, benchmarks y métodos escalables de recolección de datos para empresas de robótica.

Explore cómo BridgeData V2 proporciona datos robóticos de bajo costo a escala, mejorando los métodos de aprendizaje por imitación y el aprendizaje por refuerzo offline. Descubra benchmarks clave, modelos VLA en robótica y flujos de trabajo eficientes de teleoperación robótica para la recopilación de datos de entrenamiento de IA.

Descubra cómo Open X-Embodiment, un conjunto de datos colaborativo que abarca más de 20 encarnaciones robóticas, está transformando el aprendizaje de los robots. Conozca los modelos RT-X, la generalización entre encarnaciones y las estrategias prácticas para que las empresas de robótica aumenten el ROI mediante la recopilación eficiente de datos y la teleoperación.

Descubra cómo la técnica de flow-matching de Pi-Zero, combinada con la inicialización VLM, está transformando las políticas robóticas generalistas para el control diestro. Conozca sus ventajas sobre los métodos tradicionales, la eficiencia en los datos de entrenamiento de IA para robótica y las implicaciones para el despliegue robótico escalable en las industrias.

Descubra cómo el modelo de visión-lenguaje-acción RT-2 de Google revoluciona el control de robots al transferir el conocimiento de la web a acciones físicas. Conozca su arquitectura, métodos de entrenamiento, capacidades emergentes e implicaciones para las empresas y operadores de robótica, incluida la integración con la teleoperación para un entrenamiento de IA eficiente.

Explore cómo los modelos de Visión-Lenguaje-Acción (VLA) están revolucionando el aprendizaje robótico al integrar visión, lenguaje y acción para una robótica más inteligente y eficiente. Descubra arquitecturas, métodos de entrenamiento, evaluaciones comparativas y el ROI para el despliegue en esta guía completa.

Descubre cómo el modelo RT-2 de Visión-Lenguaje-Acción (VLA) de Google está redefiniendo el aprendizaje de robots al integrar datos visuales, lenguaje natural y acciones en tiempo real. Esta tecnología innovadora de IA mejora la recopilación de datos para teleoperadores y aumenta la eficiencia en aplicaciones de robótica. Explora su impacto potencial en el futuro de los robots impulsados por IA en AY-Robots.

Descubre cómo el modelo RT-2 de Google DeepMind revoluciona la robótica de IA al enfatizar el papel crítico de los datos de entrenamiento de alta calidad sobre algoritmos avanzados. Este artículo desglosa los experimentos que demuestran por qué la recopilación efectiva de datos es esencial para el rendimiento de robots en el mundo real. Aprende cómo plataformas como AY-Robots pueden ayudar a cerrar la brecha en los datos de entrenamiento para innovaciones futuras.