Cómo entrenar SmolVLA en una GPU de 24 GB (lerobot 0.6.1)

La mayoría de las personas que quieren un modelo de acción de lenguaje visual en un brazo real se detienen en la línea de hardware. GR00T N1.7 y Pi0.5 tienen alrededor de tres mil millones de parámetros cada uno y requieren una A100 de 80 GB o una H100. Si lo que posees es un PC gaming con una RTX 4090, ese es el final del camino. SmolVLA es la excepción: 450 M parámetros, dentro de LeRobot, construido para ajustarse en una tarjeta de consumo y servir desde una CPU.

Primero la ruta manual: instala lerobot, descarga el lerobot/smolvla_base checkpoint, ejecuta el comando real, lee la ejecución mientras sucede. Luego la ruta de la plataforma, y dónde no ayuda.

Qué es SmolVLA, en números que puedes verificar

SmolVLA es una coincidencia de flujo política acoplada a un pequeño modelo de lenguaje visual. La arquitectura principal es SmolVLM2-500M-Video-Instruct; el artículo conserva solo las primeras 16 capas de su modelo de lenguaje, limita cada fotograma de cámara a 64 tokens visuales con una mezcla de píxeles en lugar de mosaicos de imagen, e intercala la atención cruzada con una capa de autoatención cada segundo bloque. El costo de inferencia fue una restricción de diseño, no una consideración posterior.

Los puntos de referencia son la razón por la que la gente se molesta con un modelo de 450 M. En LIBERO, promedia un 87.3 por ciento frente al 76.5 de OpenVLA con 7 B y el 86.0 de un Pi0 preentrenado en robótica con 3.3 B; en Meta-World, 57.3 frente al 47.9. En hardware real SO-100, el entrenamiento multitarea da un 75 por ciento en recogida y colocación, 90 en apilamiento, 70 en clasificación, promediando 78.3, donde ACT entrenado por tarea promedió 48.3. Las mismas filas se encuentran junto a cada VLA publicado en la entrada de SmolVLA en la arena y la comparación de ACT con SmolVLA.

¿Por qué una tarjeta de 24 GB es la elección correcta para la primera ejecución?

LeRobot incluye una guía de dimensionamiento de cómputo, la página más útil en el repositorio para esto. Agrupa las políticas por tamaño de backbone y proporciona un sobre de VRAM por grupo, medido con un tamaño de lote de 8 y AdamW, el valor predeterminado de lerobot. El estado del optimizador por sí solo añade del 30 al 100 por ciento sobre un pase de forward y backward simple, por lo que estas no son cifras solo de pesos.

Diez a dieciséis gigabytes con un lote de 8 es el argumento: una tarjeta de 24 GB encaja con eso más el dataloader. AY-Robots pone SmolVLA en la RTX 4090 o cualquier tarjeta de 24 GB, mínimo 30 episodios, LeRobot v3.0 de datos, 245 ms por paso de acción. Alquilado, eso es de 2 a 5 horas a 0.30 a 0.60 USD la hora, aproximadamente 1 a 3 USD por una ejecución de ajuste fino, frente a 4 a 12 USD en el nivel de 80 GB que GR00T y Pi0.5 necesitan (precios). Una ejecución fallida de SmolVLA es un café; una ejecución fallida de GR00T, un almuerzo.

Paso 0: el conjunto de datos decide la ejecución, no las banderas

Nada de lo siguiente importa si la grabación es mala. La página de LeRobot SmolVLA es directa: el conjunto de datos de referencia fue de 50 episodios en 5 posiciones de cubo, 10 por posición, y la misma tarea con 25 episodios tuvo un rendimiento deficiente. La repetición por variación generaliza, el recuento bruto de episodios no. ¿Nunca has grabado uno? Empieza en graba tu primer conjunto de datos con el cliente de escritorio, que escribe el formato LeRobot a partir de una sesión de teleoperación, o toma uno prestado del directorio de conjuntos de datos.

• Al menos 30 episodios en AY-Robots, unos 50 para la receta de referencia de LeRobot.
• Cada variación que esperas en el despliegue, repetida varias veces.
• Una cadena de tarea, escrita idénticamente en el momento de la grabación y del despliegue. El modelo está condicionado a ese texto.
• Cámaras fijas. Una cámara movida entre la grabación y el despliegue es la razón más común por la que una curva de pérdida limpia resulta en un brazo inmóvil.
• Una variación reservada en la que nunca entrenaste, para que tengas algo honesto contra lo que probar.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Más sobre esto en cómo recopilar datos de entrenamiento VLA de alta calidad. La versión corta: de 30 a 50 episodios limpios de una tarea con variación deliberada superan a 200 episodios descuidados de tres, por un margen que ningún hiperparámetro puede cerrar.

Instalar lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

La instalación base de lerobot es ligera y restringe las dependencias pesadas a través de extras: smolvla añade transformers, num2words y accelerate, training la pila de conjuntos de datos y wandb, core_scripts las dependencias de hardware y visualización. En Linux, la ruta de instalación también decide su wheel de CUDA: el valor predeterminado de PyPI es un wheel cu130 con un requisito mínimo de controlador de 580.65, por lo que en un controlador más antiguo, instale torch desde el índice cu128 primero, y luego lerobot.

La ejecución del entrenamiento, comando por comando

1. 1
   Autenticarse en el Hub

   El punto de control base proviene del Hub, y probablemente su conjunto de datos también.

   bash

   hf auth login

2. 2
   Leer las opciones una vez

   Cada campo de la configuración de la política y del pipeline es un flag. Revíselo antes de profundizar en el código fuente.

   bash

   lerobot-train --help

3. 3
   Iniciar el ajuste fino

   El ejemplo de la documentación ejecuta un batch de 64 en una única A100; el anclaje de la guía de cómputo para una A100 de 40 GB es un batch de 16, y 8 es el equivalente para 24 GB. No hay un flag de scheduler aquí a propósito, vea a continuación.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Leer la línea de registro, no solo la pérdida

   Cada --log_freq pasos, lerobot imprime loss, grdn, lr, updt_s, data_s, smp/s y, en CUDA, mem_gb. mem_gb indica si el batch cabe, lr si el schedule está decayendo, y data_s acercándose a updt_s significa que el dataloader es el cuello de botella, no la GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Recopilar puntos de control que pueda comparar

   save_freq por defecto es 20000, por lo que una ejecución de 20000 pasos deja un único punto de control y nada con qué compararlo. Establezca 2000. Para subir al Hub se necesita --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Reanudar si la máquina falla

   Apunte --config_path al train_config.json junto al punto de control. lerobot se niega a iniciar en un output_dir existente a menos que esté reanudando, por lo que no puede sobrescribir una ejecución por accidente.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Los flags que realmente cambian el resultado

Los valores predeterminados que heredas si no tocas nada

Una política configuración en lerobot lleva su propio optimizador y preajuste de programador, y a menos que establezcas use_policy_training_preset=false esos preajustes prevalecen. La mitad de las preguntas que la gente hace sobre el entrenamiento de SmolVLA son respondidas por un valor predeterminado que no sabían que existía.

Las dos líneas que sorprenden a la gente son freeze_vision_encoder y train_expert_only, ambas verdaderas. De forma predeterminada, se entrenan aproximadamente 100 M de parámetros, no 450 M, por lo que cabe en 24 GB. La ejecución de referencia de LeRobot en un clúster H100 de cuatro GPU cambia ambas a falso; en una tarjeta de 24 GB, eso convierte una ejecución funcional en .

Cuánto tarda la ejecución y cuántos pasos son suficientes

LeRobot publica anclajes de tiempo real para cinco épocas sobre un conjunto de datos de aproximadamente 50 episodios, unas 45000 fotogramas a 30 fps. Cifras de orden de magnitud, dicen los documentos, pero son la diferencia entre esperar una hora y un día.

Ejecutando la política ajustada de nuevo en el brazo

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Los 245 ms por paso de acción son fáciles de malinterpretar: la política emite chunk_size = 50 acciones por pasada hacia adelante y ejecuta n_action_steps = 50 de ellas, por lo que la frecuencia con la que se paga ese costo la establecen esos parámetros, no la frecuencia con la que los servos reciben una orden. Eso es lo que la fragmentación de acciones ofrece, y por qué un modelo de 245 ms puede controlar un brazo de 30 Hz. Lo que queda es la latencia de inferencia al final del fragmento.

Esa tercera fila es lo que la mayoría de los informes omiten. La inferencia asíncrona es aproximadamente un 30 por ciento más rápida y duplica aproximadamente el rendimiento en una ventana fija, y el artículo considera que las tasas de éxito son comparables, lo cual en promedio lo son. Debajo de esto, la clasificación cayó del 70 al 50 por ciento, mientras que la acción de recoger y colocar ganó 5. lerobot 0.6.1 lleva la otra palanca en el mismo binario: --inference.type=rtc cambia el despliegue a fragmentación en tiempo real, lo que el propio bloque de uso del script recomienda para los VLAs lentos, Pi0, Pi0.5 y SmolVLA.

Dos rutas al mismo punto de control

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Cuando SmolVLA es la elección equivocada

La prueba de si SmolVLA fue la ejecución inicial correcta no es si funcionó, sino si el fallo te dijo algo. Alcanza el 60 o 70 por ciento y un modelo más grande es una inversión razonable: los datos llevan señal. Alcanza el 10 por ciento y un modelo de 3 B probablemente también alcance el 10 por ciento, lo que acabas de aprender por tres dólares en lugar de doce.

Vale la pena leer antes de gastar más: Pi0.5 contra SmolVLA para mayor capacidad con la misma idea, y GR00T N1.7 contra SmolVLA para la ruta de NVIDIA, ambos en el nivel de 80 GB a 4 a 12 USD por ejecución. Por otro lado, ACT es la línea base más económica: 80 M parámetros, 20 ms por paso de acción, sin condicionamiento de lenguaje. Las cinco se encuentran en la página de políticas; la arena tiene 85 modelos y 332 resultados de referencia.

La lista de verificación antes de escalar cualquier cosa

1. ¿Alcanzó el lr su límite inferior de 2.5e-6? Por debajo de 30000 pasos, lerobot reescala la decadencia y lo indica al inicio; por encima de eso, configure --policy.scheduler_decay_steps usted mismo.
2. Más de un punto de control, y episodios reservados con --dataset.eval_split para que la pérdida de evaluación signifique algo.
3. ¿Se mueve la política en absoluto? Una pérdida decreciente con un brazo inmóvil tiene causas específicas: la pérdida disminuye, la política no hace nada.
4. ¿Sobrevive a un cambio de escena? Si no: la política solo funciona en una configuración.
5. ¿Anotó la semilla? lerobot usa 1000 por defecto, por lo que dos ejecuciones sin modificar siguen siendo comparables.
6. Solo entonces: más episodios, más variación o un modelo más grande. En ese orden.

Para entender por qué existen estos modelos y qué hacen con la entrada de lenguaje, es el contexto; cubre el montaje desde la hasta la primera ejecución de . Para el punto de control final, ; si el brazo nunca aparece, .