如何在您自己的机器人数据上训练 Pi0.5

Pi0.5 是当策略必须在从未见过的房间中工作时，您会选择的模型。它也是这里五种可训练策略中最难处理的一种，需要手动微调：上游仓库优先使用 JAX，LeRobot 端口在 0.6.0 版本中将部署从 lerobot-record 移出，并使基础安装包过小而无法用于训练，并且完整的微调无法在 4090 上进行。下面：流匹配在推理时的成本、两种命令路径，以及决定结果是否可用的 485 毫秒数字。

Pi0.5 到底是什么

Physical Intelligence 于 2024 年 10 月发布了 pi0：一个流匹配视觉-语言-动作模型，基于预训练的 VLM：PaliGemma 拥有 30 亿参数，加上一个从头开始初始化的 3 亿动作专家，总计 33 亿参数。该论文报告了在 7 种机器人配置和 68 项任务上，超过 10,000 小时的机器人数据进行的预训练。更多内容请参见pi0 文章。

Pi0.5 (arXiv 2504.16054, 2025年4月22日) 保留了该骨架并改变了训练“食谱”：网络数据、目标检测、人类指导机器人的口头指令、子任务标签、来自许多家庭机器人的跨具身数据。结果是机器人能够在不在训练集中的房屋中清洁厨房。openpi 的 README 添加了一个标题中没有的细节：发布的 pi0.5 是通过知识隔离 (arXiv 2505.23705) 进行训练的。

流匹配对训练和推理的改变

一个策略，您可以在SO-100上训练，它要么直接回归动作（ACT）或将其标记化并自回归解码（pi0-FAST）。流匹配则不然：它学习一个矢量场，将噪声传输到一个干净的动作块，然后对其进行积分。pi0论文使用10个积分步，步长为0.1；LeRobot的pi05配置也包含相同的`num_inference_steps: int = 10`。

• 训练：损失回归一个带噪声的动作块。无需调整分词器，无需对关节角度进行离散化。
• 推理：一个动作块需要通过动作专家进行十次前向传播。这是结构性的，而非调优问题。
• 输出：维度为32的连续动作，内部填充，损失取自机器人所拥有的维度。一个6-DoF自由度机械臂加上夹持器使用7个维度。

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma 主干网络及其前端的门控

PaliGemma (arXiv 2407.07726) 是一个基于 Gemma-2B 语言模型的 SigLIP-So400m 视觉编码器，大约有 3B 个参数。Pi0.5 继承了它的分词器，并且该分词器位于一个受限的仓库中。这是首次运行最常见的失败方式，在第一次 训练步骤 之前。

开始之前：数据集格式、剧集、硬件

LeRobot 中的 Pi0.5 读取 LeRobot 数据集 的 v3.0 布局，该布局随 lerobot 0.4.0 于 2025 年 10 月发布：每个 Parquet 和 MP4 文件包含多个剧集，而不是每个 剧集 一个文件，并且边界信息位于 meta/episodes/ 中，而非文件名。使用 桌面客户端 录制，或者遵循 录制你的第一个数据集 即可获得。

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

该平台要求 Pi0.5 至少有 50 个 episode，与 GR00T 和 ACT 的最低要求相同。预训练承担了大部分工作，因此 50 个高质量的 episode 胜过 200 个粗糙的 episode。刚接触这个？请从数据收集指南开始。

路线 A：使用 openpi 仓库进行微调

参考实现：JAX 优先，仅在 Ubuntu 22.04 上测试，由配置对象而非标志驱动。PyTorch 路径于 2025 年 9 月推出，并在 LIBERO 上验证。分三步：转换数据、定义配置、训练和部署。

1. 1
   克隆并安装

   openpi 使用 uv。GIT_LFS_SKIP_SMUDGE 允许 LeRobot 作为依赖项引入，而无需 LFS blob。

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   将您的数据转换为 LeRobot 数据集

   上游提供了 LIBERO 和 DROID 的转换器，并期望您能进行适配。主要工作是键映射。

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   添加训练配置

   配置是 src/openpi/training/config.py 中的 TrainConfig 条目。此配置适配 pi05_droid_finetune，权重加载器指向 pi05_base。

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   计算范数统计

   针对配置名称运行，而非数据集。跳过此步骤是此处经典的首次失败原因。

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   训练

   该变量允许 JAX 使用 90% 的 GPU 内存，而非默认的 75%。在 80 GB 显卡上，这决定了运行能否成功。

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   部署

   服务器监听端口 8000 并响应观测查询；您的机器人运行时是客户端。

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

路线 B：使用 lerobot pi05 进行微调

LeRobot 端口将您已用于 ACT 和 SmolVLA 的 CLI 中封装了相同的权重。以下所有内容均已根据 lerobot 0.6.1（自 2026 年 8 月 3 日发布）和 2026 年 8 月 23 日的 pi05 文档进行了检查。版本在此处很重要：v3.0 数据集随 2025 年 10 月的 0.4.0 版本发布，2026 年 3 月 9 日的 0.5.0 博客介绍了 pi0-FAST 和实时分块，而 2026 年 7 月 6 日的 0.6.0 版本使基础包变得轻量化，并将部署移至 lerobot-rollout。

有一件事没有改变：lerobot-train 和 lerobot-record 在 2025 年 8 月的 0.3.2 版本中就已经是入口点。 仍然调用 python -m lerobot.scripts.train 的教程早于一年的变更，因此其余部分也值得怀疑。

1. 1
   使用正确的额外功能进行安装

   自 0.6.0 版本起，基础安装仅包含核心机器学习依赖项，而 pi 额外功能不添加数据集或训练代码，因此微调也需要训练额外功能。旧的一行命令在此处导入时会失败。

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   身份验证

   在浏览器中接受 paligemma-3b-pt-224 许可证，然后在训练机器上登录。

   bash

   hf auth login

3. 3
   添加分位数统计数据

   Pi0.5 使用分位数对 STATE 和 ACTION 进行归一化，因此 meta/stats.json 需要 q01 和 q99。旧的数据集只包含 min、max、mean、std。

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   从 lerobot/pi05_base 进行微调

   将批处理大小设置为您的显卡能承受的值；文档中在 80 GB 的 LIBERO 上使用 64。显式传递 bfloat16，配置默认值为 float32。

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   在机械臂上运行

   在 0.6.x 版本中，这是 lerobot-rollout：lerobot-record 拒绝策略并拒绝 eval_ 数据集名称。Base 驱动机械臂，sentry 记录 rollout。

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

三组默认值，以及哪些会到达训练器

openpi 的 TrainConfig 是参考，LeRobot 的 PI05Config 是 lerobot-train 在未指定时使用的配置，而此处的表单发送的是第三组配置。令人惊讶的是学习率：上游的两个默认值都最高为 2.5e-5，而 openpi 自己的 pi05_libero 配置和此平台将其提高到 5e-5。

移植是否忠实？LeRobot 团队对 LIBERO 基础模型进行了额外的 6k 步微调，并与 openpi 在四个套件上的参考数据进行了比较：平均 97.5% 对 96.85%，在 Libero 10 上领先，在 Spatial 上落后。这条路线是工具选择，而非质量选择。

485 毫秒的现实，以及它何时变得不可用

这决定了你的项目，因此它排在成本表之前。此处测得的 Pi0.5 的每个动作步骤为 485 毫秒。与其他四个相比：

上游有一个解决方案，其中一半已经包含在您可以安装的版本中。实时分块（Real-Time Chunking）在机械臂仍在执行当前块时生成下一个块，然后引导新块的重叠步骤与已执行的部分保持紧密，从而使机械臂在衔接处不会停顿或抖动。推理时形式已在 Pi0、Pi0.5 和 SmolVLA 的 0.4.2 更新日志中发布，它是一个部署标志，而非需要重新训练：

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

它并不会让模型更快。它隐藏了延迟：485 毫秒仍然会消耗，但不在关键路径上，因此队列在块之间不会耗尽。来自 arXiv 2512.05964 的训练时变体更进一步：模型学习以一个干净的动作前缀为条件，因此在推理时，重叠部分通过每个动作的流时间步进行硬填充，而不是引导，并且引导反向传播消失。在训练期间，它为每个示例采样一个前缀长度，并计算剩余后缀的流损失。该标志仅存在于主分支中，不在 0.6.1 版本中，并且您训练的延迟必须保持在 chunk_size 以下。

获取 Pi0.5 检查点的两种方式

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

当它不起作用时

• 数据集被拒绝：需要v3版本
• 训练期间内存不足
• 损失下降但策略无任何作用
• 策略在运动中途冻结
• 策略仅在一种设置下有效
• 训练任务卡在队列中

单次运行的成本

Pi0.5 属于昂贵层级，因为它需要一张 80 GB 显卡，并且现货价格波动，因此这个数字是一个范围而不是一个固定价格。对于许多 SO-100 任务，请先训练 SmolVLA 或 ACT 在 24 GB 层级上，首先确认任务是否可学习，然后再投入 A100 小时。 训练你的第一个策略 介绍了这种更经济的循环，并且 定价 包含了当前的层级。

在投入一个晚上之前：GR00T N1.7 与 Pi0.5 的对比 和 Pi0.5 与 SmolVLA 的对比 并列出相同的数据进行对比。竞技场 包含 85 个 VLA 模型和 332 个基准测试结果，每个结果都链接到其来源，有关该系列的背景信息请参见 我们的 VLA 概述。