如何从零开始在 SO-100 上训练 ACT

ACT 在 SO-100 策略中是一个异类。GR00T N1.7 和 N1.5 源自 nvidia/GR00T-N1.7-3B 和 nvidia/GR00T-N1.5-3B，Pi0.5 源自 lerobot/pi05_base。ACT 从零开始：没有基础检查点，因为它不是一个基础模型。它是一个大约 8000 万参数的 Transformer，你需要针对一个任务、在你的机械臂上、在你的光照条件下从头开始训练。

这也是为什么它能在 20 ms 内运行一个控制步骤，而一个 30 亿参数的 VLA 需要 152 到 485 ms，并且每次运行成本为 1 到 3 USD，而不是 4 到 12。本指南将介绍在 lerobot 上使用 SO-100 的手动路线：记录，act 配置，chunk_size 和 n_action_steps 控制什么，100000 步的调度，以及 rollout。然后是在 AY-Robots 上执行相同的任务，包括平台无法提供帮助的地方。

ACT 究竟是什么

Action Chunking with Transformers 源自 ALOHA 论文，使用低成本硬件学习精细双臂操作，作者是 Zhao、Kumar、Levine 和 Finn，发表于 arXiv，2023 年 4 月 23 日。该设备以 50 Hz 频率录制，四台网络摄像头以 30 fps 传输 480x640 视频：两台在夹持器上，一台顶部，一台正面。摘要声称六项技能的成功率达到 80% 到 90%，其中包括打开半透明调味杯和插入电池，这些技能来自 10 分钟的演示。

在规划录制会话时，正文内容更有用：每个任务 50 次演示，除了“穿过魔术贴”任务为 100 次，这相当于 10 到 20 分钟的数据和 30 到 60 分钟的实际运行时间（计入重置）。成功率也不尽相同：“穿过魔术贴”最终为 20%，“穿鞋”为 92%，“打开杯子”为 84%，“准备胶带”为 64%。

动作分块是核心思想

普通的行为克隆将一个观察映射到一个动作，并且错误会累积：偏差使机械臂偏离分布，产生更差的动作，三十步后夹持器离物体还很远。 动作分块 一次预测 k 个动作并执行它们，将有效时间范围缩短 k 倍。它还处理了人类数据特有的一个问题：远程操作员会暂停，而单步马尔可夫式 策略 无法模拟依赖于之前情况的暂停。

论文通过消融实验而非断言来确定 k 值。在关闭时间集成的情况下，平均四种设置，成功率从 k = 1 时的 1% 上升到 k = 100 时的 44%，然后在 200 和 400 处趋于平稳，因为策略接近开环控制。这条曲线就是默认值设为 100 的原因。

• chunk_size：解码器在每次前向传播中预测的未来动作数量。默认值 100。
• n_action_steps：在再次查询之前执行的动作数量。默认值 100，因此 lerobot 以开环方式运行整个块。
• lerobot 会验证 n_action_steps <= chunk_size，如果顺序颠倒，则会引发 ValueError。

在操作上，重要的是 chunk_size 除以帧率。在 lerobot 的 SO-100 示例使用的 30 fps 下，一个 100 的块从一次观察中提交大约 3.3 秒。如果任务需要在该窗口内进行修正，请降低 n_action_steps，而不是 chunk_size：您保留长预测并更频繁地重新观察。

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

当 ACT 优于基础模型时

五个可训练策略并排显示，附带 AY-Robots 测量并用于确定其租用 GPU 大小的数据。

当任务和场景固定且运动必须快速精确时，选择 ACT。当一个检查点需要覆盖多条指令时，选择一个 。有两页内容直接比较了决策： 和 。对于已发布的基准测试， 将每个数字链接到其来源。

开始前您需要什么

一个跟随臂，一个用于的引导臂，至少一个摄像头，一个 24 GB GPU。ACT 只读取图像和关节位置。两个摄像头是最佳选择：一个固定前视图用于定位物体，一个腕部摄像头用于查看即将接触什么，就像 ALOHA 上那样。

从裸机械臂到记录数据集

以下流程适用于 lerobot 0.6.x。如果您已有校准的机械臂和数据集，请跳过此部分。否则，SO-100 入门指南涵盖了组装，录制演练涵盖了捕获，而数据集文档涵盖了格式。

1. 1
   安装带有正确附加组件的 lerobot

   录制需要 core_scripts，训练需要 training，飞特（Feetech）舵机需要 feetech。Python 3.12+。

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   查找每只机械臂的 USB 端口

   将两只机械臂都插上，在提示时拔掉其中一只。在 Linux 上，您可能需要打开节点权限。

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   设置电机 ID 和波特率

   在 SO-100 上，这需要在组装前完成：与 SO-101 不同，一旦组装完成，连接器就无法触及。脚本会从夹爪开始，一次一个电机地遍历总线，并将 ID 写入 EEPROM。

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   校准两只机械臂

   将每个关节设置到其范围的中间位置，按 Enter 键，然后让每个关节扫过其完整范围。校准允许在一个机械臂上训练的策略在另一个机械臂上运行。重复使用相同的 id。

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   开启摄像头进行一次遥操作

   lerobot 的经验法则：您应该能够仅通过查看摄像头图像来完成任务。如果您不能，ACT 也不能。这比后期调试能发现更多糟糕的数据集。

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   录制 50 个 episode

   50 是 AY-Robots 的最低要求，也是 ALOHA 每个任务使用的数量。lerobot 建议每个物体位置 10 次，摄像头固定，抓取一致。n 结束一个 episode，r 重新录制，q 停止并编码。

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

在训练之前，至少回放五个 episode。存储每个的摄像头流、关节状态和动作，并且回放会将这些动作推回机械臂。如果回放未能完成任务，则数据中不包含该任务，训练也不会凭空创造它。

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

训练ACT策略

这是完整的命令。所有ACT特有的内容都已是默认设置，这就是为什么lerobot ACT页面建议从它们开始。

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act 加载 ACTConfig，它会根据您的数据集记录的电机和摄像头的数量进行调整，因此您无需声明观测形状。 --wandb.enable=true 是可选但值得的：在 100000 步的运行中，损失曲线是唯一廉价的信号。调度来自 lerobot 的训练配置，而非 ACTConfig：100000 步，批次 8，种子 1000，每 20000 步一个，每 200 步记录一次。

一次完整的运行会留下五个检查点目录，从 020000 到 100000，以及一个 last 符号链接。请保留所有这些：最佳策略通常不是最后一个。

持续时间：论文中在11 GB RTX 2080 Ti上大约5小时，根据lerobot的ACT页面，10万步需要几小时，在AY-Robots 24 GB层级上需要2到5小时。不要缩短。参考仓库的README指出，一个不流畅或停顿的策略通常只需要更多的训练，因为在损失平台期之后，成功率和流畅度会持续提高：对于真实世界数据，它至少需要5000个epoch，或者在平台期之后再延长3到4倍的时间。

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

在机械臂上运行训练好的策略

部署使用lerobot-rollout。摄像头键必须与记录的键匹配：一个在front和wrist上训练的策略将不接受cam0和cam1，并且rename_map没有帮助，因为它需要一个预训练的检查点。任务字符串可以省略；lerobot自己的示例将其标记为ACT可跳过。

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

要固定一个检查点而不是最终模型，请添加 --policy.pretrained_revision。这需要运行开始时带有 --save_checkpoint_to_hub=true，默认关闭：没有它，lerobot 只会推送最终模型。有了它，每个检查点都会用其零填充的步数进行标记，因此 --policy.pretrained_revision=060000 恢复 60000 步的检查点。在真实机械臂上将其与 100000 步的检查点进行比较是成本最低的实验。

通往同一检查点的两条路径

以上是手动路线，它有效。平台路线以放弃控制权为代价，换取无需拥有GPU或Python环境的便利。

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

究竟哪里出了问题

训练命令本身几乎没有痛苦。痛苦在于其周围的事物，按首次出现问题的频率排序。

有两行值得强调。ACT 在 LeRobot v3.0 上训练，而 GR00T 的加载器在此版本上会崩溃并需要 v2.1，因此用于训练 ACT 的数据集可能会导致 GR00T 运行失败。最后一行有两个修复方案：ACT 作者通过更多训练来解决卡顿运动，而当 n_action_steps 为 100 时，真正的停顿会发生在块边界，即每 3.3 秒在 30 fps 下出现一次可见的暂停。另外需要了解两点：单个失效关节通常是 从未写入的舵机ID，以及 一个接近但从不闭合的夹爪 意味着演示中夹爪范围太小。完整索引：故障模式页面。

一次运行的成本

这就是为什么即使你以后想要 VLA，也应该从 ACT 开始的原因。一次失败的 ACT 运行只花费一杯咖啡的钱，并在数小时内告诉你你的数据集是否包含该任务。一次失败的 GR00T 运行则需要四倍的成本才能获得相同的教训。之后升级到 GR00T N1.7 或 SmolVLA 之后是形式上的改变，而非重建。背景信息：视觉-语言-动作模型，SO-100 完整指南，训练你的第一个策略 和 模仿学习。没有机械臂？实时页面 无需注册即可驱动真实的 SO-100。