在 SO-100 上使用 DROID、BridgeData V2 和 Open X

Google Cloud存储桶上有一个百万轨迹的公共数据集，以及一个SO-100在桌上，其零件成本为110到150欧元。为什么前者不能教后者？它部分可以，但几乎所有迁移都没有发生在人们期望的地方，而看起来最简单的部分根本不起作用。

以下内容：DROID、BridgeData V2和Open X-Embodiment内部是什么，它们各自与低成本的5自由度机械臂的冲突点，以及替代方案。以下所有数字均来自其所属的论文、数据集卡片或源文件。

这三个数据集实际包含什么

DROID

三者中最标准化的。所有地方都使用一套设备：一个配备 Robotiq 2F-85 夹持器的 Franka Panda 机器人，两个可调节的 ZED 2 立体摄像头和一个腕部 ZED Mini 摄像头，通过 Meta Quest 2 控制器进行遥控操作，通过 Polymetis 以 15 Hz 的频率在关节和 末端执行器 空间中记录。语言标签后来通过 tasq.ai 添加，每个 情节。

• 7.6万条轨迹，350小时，564个场景，84项任务，50个收集器分布在三大洲。
• 主要结果是协同训练，而非独立训练：与域内演示按50/50比例混合的批次，在分布内绝对成功率上比次优方法高出22个百分点，在分布外高出17个百分点。
• IPEC-COMMUNITY/droid_lerobot：92,233个片段，27,044,326帧，franka，15 fps，codebase_version v2.0，三个180x320的AV1流，392 GB。
• 一个2 GB、100个片段的调试样本位于gs://gresearch/robotics/droid_100。从那里开始。

BridgeData V2

最接近业余爱好者设置：一个WidowX 250 6自由度机械臂，在24个环境和13项技能中，以5 Hz的速度收集了60,096条轨迹。请注意其构成：50,365条专家远程操作演示，加上9,731条来自随机脚本化的抓取放置策略，因此大约16%不是人类演示，这对于模仿学习质量很重要。通常的下载，IPEC-COMMUNITY/bridge_orig_lerobot，报告有53,192个片段和1,893,026帧，以5 fps的速度，robot_type widowx：少于论文中的60,096，因此请从meta/info.json读取计数，而不是引用两者中的任何一个。

Open X-Embodiment

这并非传统意义上的数据集：来自34个实验室的60个现有机器人数据集被汇集到一个RLDS集合中，涵盖22种机器人实体和超过一百万条轨迹。BridgeData V2作为bridge_orig包含在其中；google_robot切片，fractal20220817_data，转换为87,212个剧集，帧率为3 fps。

这种汇集方式带有一个论文中明确指出的注意事项。对于RT-X实验，作者将每个源转换为7自由度末端执行器动作，但不跨数据集对齐坐标系，并允许动作值根据每个机器人原始的控制方案是绝对或相对位置或速度。他们的结论是：相同的动作向量可能对不同的机器人产生非常不同的运动。

不匹配，分为四部分

具身不匹配通常被视为一个模糊的问题。它实际上有四种，它们失败的方式不同，其中两种无法通过脚本修复。

1. 自由度

SO-100 有五个手臂关节和一个夹爪。如果按电机数量计算，它是一个 6 自由度机械臂，SmolVLA 论文中也这样称呼；如果按定位机构计算，它是 5 自由度，LeRobot 在其逆运动学文档字符串中也这样称呼，该文档描述了 5 自由度 SO-101 上的软姿态 IK，其中手腕仅部分跟踪姿态。Franka 有七个定位关节。这种差异决定了哪些姿态是存在的：一个 5 自由度机械臂通常无法同时达到任意位置和姿态，因此求解器会返回最接近的结果，这与演示的运动不同。背景知识：自由度.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

因此，现成的 DROID 检查点并非捷径。Physical Intelligence 在 gs://openpi-assets/checkpoints/pi05_droid 提供了 pi05_droid，而同一份赞扬其广泛性的 README 文件也警告说，这些专家检查点可能无法推广到您的设置。它的状态是八个 Franka 关节编号，图像键是 exterior_image_1_left 和 wrist_image_left。没有标志能将其转换为六电机 SO-100 命令。

2. 动作向量的实际含义

比维度更深。在 LeRobot 转换中，所有三者都表示夹持器在笛卡尔空间中的位置。SO-100 表示六个伺服电机的位置。转换需要运动学模型和求解器，而不是重塑。

LeRobot 确实提供了缺失的部分：SO follower 包含一个运动学处理器，其中有 InverseKinematicsEEToJoints 和 ForwardKinematicsJointsToEE 步骤。其键包括 ee.x、ee.y、ee.z 以及一个旋转向量 ee.wx、ee.wy、ee.wz 和 ee.gripper_pos，因此即使是方向编码也与文件中的滚转-俯仰-偏航不同。IK 步骤接受一个 orientation_weight，默认值为 0.01，其文档字符串说明对于欠驱动机械臂的仅位置 IK 应设置为 0.0。你可以搭建这个桥梁，但每个借用动作的方向部分都将保持近似。

3. 控制速率

DROID 为 15 Hz，BridgeData V2 为 5 Hz，google_robot 切片为 3 fps；pi0 的作者将其混合模型的开源部分描述为 2 到 10 Hz 之间的低频控制。LeRobot 的 DatasetRecordConfig 默认设置为 fps 30，episode_time_s 60，reset_time_s 60，num_episodes 50。一个在 5 Hz 数据上训练的学会了一个动作覆盖 200 ms。以 30 Hz 重放时，机械臂会缓慢移动；如果天真地重采样，则会模糊夹持器关闭的帧。它还会与产生不良交互：一个 100 步的分块在 5 Hz 下是 20 秒，而在 30 Hz 下是 3.3 秒。

4. 摄像头

BridgeData V2 每 50 条轨迹随机化两个摄像头姿态，其项目页面指出，大部分数据无论如何都只包含固定视角。DROID 使用了可调节的 ZED 2 支架以及一个腕部 ZED Mini。你用肉眼定位了两个 USB 网络摄像头。摄像头姿态对于来说不是一个恼人的变量；它很大程度上是视觉编码器所关注的，并且文件格式中没有任何内容表明姿态有所不同。

无论如何尝试合并数据时会发生什么

显而易见的计划是拼接：几千个 DROID 剧集加上你的 50 个。LeRobot 拒绝了，并且拒绝的理由指出了三个不同的地方。

1. 1
   拉取 100 集样本，而不是完整的 1.7 TB

   2 GB 足以查看其结构。

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   将 RLDS 转换为 LeRobot 格式

   openx2lerobot 封装了 OXE 标准转换，并标注了机器人类型和控制频率。README 文件将此内容放在 convert.sh 中。

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   在做任何其他事情之前，先阅读 meta/info.json

   此文件决定你当天后续的工作是否顺利。

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   尝试合并并阅读错误信息

   merge 会加载每个数据集，然后 validate_all_metadata 会根据列表中的第一个数据集检查 fps、robot_type 和 features，并在第一次不匹配时报错。

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

参考值来自你列表中第一个列出的数据集，这就是为什么消息会抱怨你的 30 fps 而不是 DROID 的 15 fps。修复 fps 后，你会遇到 robot_type 检查；修复它之后，你会遇到 feature 检查，action 的特征是 7 对 6。任何排序都无法通过，并且相同的守卫在记录时通过 sanity_check_dataset_robot_compatibility 运行。

那么实际传输的是什么？

传输的是权重，而非经验片段。每个现代通用策略在预训练中都吸收了其中一部分，当你一个已发布的时，你继承的已经是那些拥有足够算力的人妥善协调过的结果。pi0的论文坦率地指出了其预训练混合数据中的比例：按时间步计算，9.1%是开源数据，包括OXE、Bridge v2和DROID。这个数字是pi0的；每个供应商的混合数据都不同。

这就是为什么SmolVLA在低成本机械臂上表现不同。其论文从 Hugging Face 中选择了 481 个社区数据集，这些数据集根据具体形态类型、事件数量、数据质量和帧覆盖率进行筛选：22.9K 个事件，10.6M 帧，并在真实的 SO-100 和 SO-101 机械臂上进行了评估。小规模且匹配的数据优于大规模但不匹配的数据。比较ACT 与 SmolVLA 对比。

值得尝试的三条路径

路径 A：从已吸收数据的检查点进行微调

大多数人应该选择这条路径。你无需接触 DROID 或 Open X-Embodiment：选择一个预训练已吸收跨形态数据的策略，记录你自己的事件，然后进行微调。

ACT 是一个特殊的边缘情况：没有基础模型，因此任何公共数据都无法触及它。这并非自动成为劣势，因为每动作步 20 毫秒的速度使其成为五种模型中唯一能实现快速闭环的，正如ACT 页面所述。请根据任务选择，使用五种模型对比、GR00T N1.7 对比 Pi0.5，以及竞技场中的 85 个模型共 332 项基准测试结果。

路径 B：使用 DROID 作为测试夹具

这个 100 剧集样本是您本月将下载到的最好的 2 GB 数据，而且不是用于训练的。这是一个您知道是正确的数据集。在其上运行您的转换器、加载器和一个简短的 GPU 任务；任何失败都意味着在成本低廉时发现了一个基础设施错误。NVIDIA 也以同样的方式进行大规模操作：GR00T N1.7 卡列出了四个经过后期训练的变体，用于 SimplerEnv 中的 Bridge 和 Fractal，以及 DROID 和 LIBERO。

路径 C：刻意录制您自己的数据

三十到五十个听起来相对于 76,000 来说很少，但您要记住，这些是唯一包含您的机械臂、您的摄像头和您的桌子的数据。在 LeRobot 的默认设置下，50 个片段相当于 100 分钟的实际运行时间。请参阅、和。

从公共数据到可用策略的两种方法

每种路径的成本

不对称性是关键：借用数据最多的路径是最昂贵的，也最不可能移动你的手臂。不到两小时的你自己的远程操作胜过别人的一兆字节的Franka数据。还没有机械臂？/live无需注册即可直播物理SO-100。然后训练你的第一个策略，以及SO-100上的SmolVLA以获取具体指南。