如何在 24 GB GPU 上训练 SmolVLA (lerobot 0.6.1)

大多数想要在真实机械臂上使用视觉语言动作模型的人都会止步于硬件要求。GR00T N1.7和Pi0.5各自拥有约 30 亿参数，需要 A100 80 GB 或 H100 显卡。如果你只有一台配备 RTX 4090 的游戏 PC，那这条路就走不通了。SmolVLA是个例外：它拥有 4.5 亿参数，内置于 LeRobot 中，旨在单张消费级显卡上进行微调，并从 CPU 提供服务。

首先是手动路线：安装 lerobot，拉取lerobot/smolvla_base检查点，运行实际命令，并在运行时读取。然后是平台路线，以及它无法提供帮助的地方。

SmolVLA 的具体数据

SmolVLA 是一种流匹配策略，集成到一个小型视觉语言模型中。其骨干网络是 SmolVLM2-500M-Video-Instruct；该论文仅保留其语言模型的前 16 层，将每个摄像头帧限制为 64 个视觉 token，采用像素混洗而非图像平铺，并在每隔一个块中将交叉注意力与自注意力层交错。推理成本是设计约束，而非事后考虑。

这些基准测试是人们关注 450 M 模型的原因。在 LIBERO 上，它平均达到 87.3%，而 7 B 的 OpenVLA 为 76.5%，3.3 B 的机器人预训练 Pi0 为 86.0%；在 Meta-World 上，它为 57.3%，而后者为 47.9%。在真实的 SO-100 硬件上，多任务训练在抓取放置任务上达到 75%，堆叠任务上达到 90%，排序任务上达到 70%，平均 78.3%，而ACT按任务训练的平均为 48.3%。同样的行数据出现在SmolVLA 竞技场条目和ACT 与 SmolVLA 比较中，与每个已发布的 VLA 并列。

为什么24 GB显卡是首次运行的正确选择

LeRobot 提供了一份计算规模指南，这是此仓库中最有用的页面。它根据骨干网络大小对策略进行分组，并为每组提供一个VRAM包络，该数据是在批处理大小为8，使用LeRobot默认的AdamW优化器时测量的。仅优化器状态就比单纯的前向和后向传播增加了30%到100%的开销，因此这些并非仅是模型权重的数字。

批处理大小为8时，需要10到16 GB的显存：一张24 GB的显卡足以满足这个需求，并能额外容纳数据加载器。AY-Robots 将 SmolVLA 部署在 RTX 4090 或任何24 GB显卡上，至少需要30个episode，LeRobot v3.0数据，每个动作步骤245毫秒。租用的话，每小时0.30到0.60美元，总计2到5小时，大约1到3美元一次微调运行，而GR00T和Pi0.5在80 GB显存层级上需要4到12美元（定价）。一次失败的SmolVLA运行只是一杯咖啡的钱；一次失败的GR00T运行则是一顿午餐的钱。

步骤 0：数据集决定运行，而非标志

如果录制质量不佳，下面的内容都无关紧要。LeRobot SmolVLA 页面直言不讳：参考数据集是 5 个立方体位置的 50 个回合，每个位置 10 个，而 25 个回合的相同任务表现不佳。每个变体的重复有助于泛化，原始回合数则不然。从未录制过？请从录制你的第一个数据集，使用桌面客户端，它会从一个远程操作会话中写入 LeRobot 格式，或者从数据集目录中借用一个。

• AY-Robots上至少30个episode，LeRobot参考配方大约50个。
• 在部署时预期的每种变体，重复多次。
• 一个任务字符串，在录制和部署时拼写完全一致。模型以此文本为条件。
• 固定摄像头。在录制和部署之间移动摄像头是导致干净的损失曲线却得到静止机械臂的最常见原因。
• 一个从未训练过的保留变体，以便进行公正的测试。

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

更多内容请参见如何收集高质量的VLA训练数据。简而言之：30到50个具有刻意变化的单一任务的干净episode，其效果优于200个包含三个任务的粗糙episode，这种差距是任何超参数都无法弥补的。

安装 lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

基础 lerobot 安装包很精简，并通过额外组件来管理重度依赖项：smolvla 添加了 transformers、num2words 和 accelerate，training 添加了数据集堆栈和 wandb，core_scripts 添加了硬件和可视化依赖项。在 Linux 上，安装路径还会决定您的 CUDA wheel 版本：PyPI 默认是 cu130 wheel，要求驱动版本不低于 580.65，因此如果驱动较旧，请先从 cu128 索引安装 torch，然后再安装 lerobot。

训练运行，逐条命令

1. 1
   对 Hub 进行身份验证

   基础检查点来自 Hub，您的数据集可能也来自 Hub。

   bash

   hf auth login

2. 2
   阅读一次选项

   管道和策略配置的每个字段都是一个标志。在深入研究源代码之前，请先浏览一下。

   bash

   lerobot-train --help

3. 3
   开始微调

   文档示例在单个 A100 上运行批次 64；计算指南自己的 A100 40 GB 锚点是批次 16，而 8 是 24 GB 的等效值。这里故意没有调度器标志，详见下文。

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   阅读日志行，而不仅仅是损失

   每隔 --log_freq 步，lerobot 就会打印 loss、grdn、lr、updt_s、data_s、smp/s，在 CUDA 上还会打印 mem_gb。mem_gb 表示批次是否适合，lr 表示调度是否衰减，而 data_s 接近 updt_s 则意味着数据加载器是瓶颈，而不是 GPU。

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   收集可供比较的检查点

   save_freq 默认为 20000，因此 20000 步的运行只会留下一个检查点，没有可供比较的对象。设置为 2000。推送到 Hub 需要 --policy.repo_id。

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   如果机器宕机则恢复

   将 --config_path 指向检查点旁边的 train_config.json。lerobot 拒绝启动到现有的 output_dir 中，除非您正在恢复，因此您不会意外覆盖运行。

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

实际改变结果的标志

如果您不进行任何更改，您将继承的默认值

一个 策略 配置在 lerobot 中带有自己的优化器和调度器预设，除非您设置 use_policy_training_preset=false，否则这些预设将生效。人们关于 SmolVLA 训练提出的一半问题，都可以通过他们不知道存在的默认值来解答。

令人惊讶的两行是 freeze_vision_encoder 和 train_expert_only，两者都为 true。开箱即用时，您训练的参数大约是 100 M，而不是 450 M，这就是它能适应 24 GB 的原因。LeRobot 在四 GPU H100 集群上的参考运行将两者都设置为 false；在单张 24 GB 显卡上，这会将原本可行的运行变成 。

运行需要多长时间，以及多少步才足够

LeRobot 发布了针对大约 50 个 episode 数据集进行五个 epoch 的实际运行时间锚点，大约是 45000 帧，30 fps。文档称这些是数量级数字，但它们代表了预期一小时和一天之间的差异。

在机械臂上运行微调后的策略

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

每动作步 245 毫秒很容易被误解：策略在每次前向传播中发出 chunk_size = 50 个动作，并执行其中的 n_action_steps = 50 个动作。因此，你支付该成本的频率是由这些参数决定的，而不是由伺服电机接收命令的频率决定的。这就是 动作分块 的作用，也是为什么一个 245 毫秒的模型可以驱动一个 30 赫兹的机械臂。剩下的就是 推理延迟 在分块结束时。

第三行是大多数报告会跳过的内容。异步推理速度快约 30%，在固定时间窗口内吞吐量大约翻倍，论文称成功率相当，平均来看确实如此。在此之下，排序任务从 70% 下降到 50%，而抓取放置任务增加了 5%。lerobot 0.6.1 在同一个二进制文件中提供了另一个控制杆：--inference.type=rtc 将策略执行切换到实时分块，脚本自己的使用说明块推荐将其用于慢速 VLA，如 Pi0、Pi0.5 和 SmolVLA。

通往同一检查点的两条路径

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

何时 SmolVLA 是错误的选择

衡量SmolVLA是否是正确的首次运行，不是看它是否成功，而是看失败是否为你提供了信息。如果达到60%或70%的成功率，那么投入更大的模型是合理的下一步：数据中包含信号。如果只达到10%的成功率，那么一个3B模型很可能也只能达到10%，而你只花了三美元而不是十二美元就学到了这一点。

在投入更多之前值得一读：Pi0.5 对比 SmolVLA 以在相同理念下获得更大容量，以及GR00T N1.7 对比 SmolVLA 走 NVIDIA 路线，两者都是 80 GB 级别，每次运行 4 到 12 美元。另一方面，ACT 是更便宜的基线：80 M 参数，每动作步 20 毫秒，无语言条件。这五种策略都位于策略页面；竞技场 拥有 85 个模型和 332 个基准测试结果。

在扩展任何内容之前的检查清单

1. `lr` 是否达到了其 2.5e-6 的下限？在 30000 步以下，lerobot 会重新调整衰减并在启动时说明；超过此步数，请自行设置 `--policy.scheduler_decay_steps`。
2. 不止一个检查点，并且使用 `--dataset.eval_split` 留出了评估回合，这样评估损失才有意义。
3. 策略是否移动了？损失下降但机械臂不动有特定原因：损失下降，策略无动作。
4. 它能否在场景变化后继续工作？如果不能：策略仅在一个设置中有效。
5. 你是否记下了随机种子？lerobot 默认为 1000，因此两次未修改的运行保持可比性。
6. 只有在那之后：更多回合、更多变化，或更大的模型。按此顺序。

关于这些模型为何存在以及它们如何处理语言输入， 是背景； 运行装配，从 到第一次 运行。对于已完成的检查点，；如果机械臂从未出现，。