Pi0.5を自分のロボットデータで学習させる方法

Pi0.5は、ポリシーがこれまで見たことのない部屋で機能する必要がある場合に選択するモデルです。また、ここにある5つの学習可能なポリシーのうち、手動でファインチューニングするには最も扱いにくいものです。アップストリームのリポジトリはJAXが優先され、LeRobotポートは0.6.0でデプロイメントをlerobot-recordから外し、ベースインストールがトレーニングには小さすぎるものになりました。また、完全なファインチューニングは4090には収まりません。以下に、フローマッチングが推論時にかかるコスト、2つのコマンドルート、そして結果が使用可能かどうかを決定する485 msという数値を示します。

Pi0.5とは何か

Physical Intelligenceは2024年10月にpi0を発表しました。これは、事前学習済みのVLMに基づくフローマッチングビジョン・言語・アクションモデルで、30億パラメータのPaliGemmaと、ゼロから初期化された3億アクションエキスパートを合わせた合計33億パラメータです。この論文では、7つのロボット構成と68のタスクにわたる10,000時間以上のロボットデータでの事前学習が報告されています。詳細はpi0の記事をご覧ください。

Pi0.5 (arXiv 2504.16054, 2025年4月22日) はその骨格を維持しつつ、トレーニングのデータセットを変更しました。具体的には、ウェブデータ、物体検出、ロボットを指導する人間からの口頭指示、サブタスクラベル、多くの家庭にあるロボットからのクロスエンボディメントデータです。その結果、トレーニングセットに含まれていなかった家でキッチンを掃除するロボットが誕生しました。openpiのREADMEには、タイトルにはない詳細が追加されています。リリースされたpi0.5は知識絶縁 (arXiv 2505.23705) を用いてトレーニングされました。

フローマッチングがトレーニングと推論について変更すること

SO-100で訓練できるポリシーは、アクションを直接回帰させるか（ACT）、またはトークン化して自己回帰的にデコードします（pi0-FAST）。フローマッチングはどちらでもありません。ノイズをクリーンなアクションチャンクに輸送するベクトル場を学習し、それを統合します。pi0の論文では、ステップサイズ0.1で10の統合ステップを使用しています。LeRobotのpi05設定も同じnum_inference_steps: int = 10を継承しています。

• トレーニング：損失はノイズ付きアクションチャンクを回帰させます。調整するトークナイザーも、関節角度の離散化もありません。
• 推論：1つのチャンクは、アクションエキスパートを10回順方向パスするコストがかかります。これは構造的なものであり、チューニングの問題ではありません。
• 出力：内部でパディングされた32次元の連続アクションで、ロボットが持つ次元で損失が計算されます。6-DoFアームとグリッパーは7を使用します。

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemmaバックボーンと、その前面にあるゲート

PaliGemma (arXiv 2407.07726) は、Gemma-2B 言語モデル上の SigLIP-So400m ビジョンエンコーダーで、約 3B パラメータです。Pi0.5 はそのトークナイザーを継承しており、そのトークナイザーはゲート付きリポジトリにあります。これは、最初の訓練ステップの前に、最初の実行が失敗する最も一般的な方法です。

始める前に：データセット形式、エピソード、ハードウェア

LeRobotのPi0.5はLeRobotデータセットをv3.0レイアウトで読み込みます。これは2025年10月にlerobot 0.4.0で導入されました。ParquetおよびMP4ファイルごとに多数のエピソードを格納し、1ファイルにつき1つのエピソードではなく、ファイル名ではなくmeta/episodes/に境界が定義されています。記録するには、デスクトップクライアントを使用するか、最初のデータセットを記録するの手順に従ってください。

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

このプラットフォームはPi0.5に最低50エピソードを要求します。これはGR00TおよびACTと同じ最低要件です。事前学習が大部分の作業を行うため、200のずさんなエピソードよりも50のクリーンなエピソードの方が優れています。初めてですか？データ収集ガイドから始めてください。

ルートA: openpiリポジトリでファインチューニングする

リファレンス実装: JAXが最初で、Ubuntu 22.04でのみテスト済み。フラグではなく設定オブジェクトによって駆動されます。PyTorchパスは2025年9月に登場し、LIBEROで検証されました。3つのステップ: データを変換し、設定を定義し、学習して提供します。

1. 1
   クローンとインストール

   openpiはuvを使用します。GIT_LFS_SKIP_SMUDGEは、LeRobotがLFSブロブなしで依存関係として機能することを可能にします。

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   データをLeRobotデータセットに変換する

   アップストリームはLIBEROとDROID用のコンバーターを提供しており、いずれかを適応させることを想定しています。作業はキーマッピングです。

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   学習設定を追加する

   設定はsrc/openpi/training/config.py内のTrainConfigエントリです。これはpi05_droid_finetuneを適応させ、重みローダーはpi05_baseを指しています。

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   正規化統計を計算する

   データセットではなく、設定名に対して実行されます。これをスキップすると、ここでよくある最初の失敗となります。

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   学習

   この変数により、JAXはデフォルトの75%ではなくGPUメモリの90%を使用できます。80GBのカードでは、これが実行が成功するかどうかを決定します。

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   提供する

   サーバーはポート8000でリッスンし、観測クエリに応答します。ロボットのランタイムがクライアントです。

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

ルートB: lerobot pi05でファインチューニング

LeRobotポートは、すでに使用しているCLIで同じウェイトをラップします。ACTおよびSmolVLA。以下の内容はすべて、2026年8月3日以降にリリースされたlerobot 0.6.1と、2026年8月23日のpi05ドキュメントに対して確認されました。ここではバージョンが重要です。v3.0データセットは2025年10月に0.4.0で登場し、2026年3月9日の0.5.0ブログではpi0-FASTとリアルタイムチャンキングが紹介され、2026年7月6日の0.6.0ではベースパッケージが軽量化され、デプロイメントがlerobot-rolloutに移行しました。

一つ変わらなかったことがあります。lerobot-trainとlerobot-recordは、2025年8月の0.3.2ですでにエントリーポイントでした。python -m lerobot.scripts.trainを呼び出すチュートリアルは、1年間の変更以前のものであり、他の点についても信頼できない可能性があります。

1. 1
   適切なエクストラでインストールする

   0.6.0以降、ベースインストールにはコアML依存関係のみが含まれ、piエクストラにはデータセットやトレーニングコードが追加されないため、ファインチューンにはトレーニングエクストラも必要です。古いワンライナーはインポート時にここで失敗します。

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   認証

   ブラウザでpaligemma-3b-pt-224ライセンスを承認し、トレーニングを行うマシンにログインします。

   bash

   hf auth login

3. 3
   分位数統計を追加する

   Pi0.5はSTATEとACTIONを分位数で正規化するため、meta/stats.jsonにはq01とq99が必要です。古いデータセットにはmin、max、mean、stdのみが含まれています。

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   lerobot/pi05_baseからファインチューンする

   バッチサイズは、お使いのカードが耐えられる値に設定してください。ドキュメントでは、80GBのLIBEROで64を使用しています。bfloat16を明示的に渡してください。設定のデフォルトはfloat32です。

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   アームで実行する

   0.6.xでは、これはlerobot-rolloutです。lerobot-recordはポリシーを拒否し、eval_データセット名を拒否します。Baseはアームを駆動し、sentryはロールアウトを記録します。

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

3つのデフォルトセットと、どれがトレーナーに到達するか

openpiのTrainConfigが参照元であり、lerobot-trainが何も指定しない場合に使用するのがLeRobotのPI05Configであり、ここにあるフォームは3つ目の設定を送信します。驚くべきは学習率です。上流のデフォルトはどちらも最大2.5e-5ですが、openpi独自のpi05_libero設定とこのプラットフォームでは5e-5に引き上げられています。

この移植は忠実か？LeRobotチームはLIBEROベースモデルをさらに6kステップでファインチューニングし、openpiの参照数値と4つのスイートで比較しました。平均97.5%対96.85%で、Libero 10では先行し、Spatialでは後塵を拝しました。この経路はツールの選択であり、品質の選択ではありません。

485 msという現実、そしてそれが使用できなくなる場所

これはプロジェクトを左右するため、コスト表の前に記載します。Pi0.5でここで測定されたアクションステップあたりのは485 msです。他の4つと比較すると：

アップストリームには解決策があり、その半分はすでにインストール可能なリリースに含まれています。リアルタイムチャンキングは、アームが現在のチャンクを実行している間に次のチャンクを生成し、新しいチャンクの重複するステップがすでに実行された部分に近づくようにガイドすることで、アームが継ぎ目で停止したり、ぎくしゃくしたりするのを防ぎます。推論時の形式は、Pi0、Pi0.5、SmolVLA向けに0.4.2の変更履歴で提供されており、再学習ではなくロールアウトフラグです。

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

これによってモデルが高速化されるわけではありません。これはギャップを隠すものです。485ミリ秒は依然として費やされますが、クリティカルパスから外れるため、チャンク間でキューが枯渇することはありません。arXiv 2512.05964の学習時バリアントはさらに進んでおり、モデルはクリーンなアクションプレフィックスに条件付けすることを学習するため、推論時には重複部分がガイドされるのではなく、アクションごとのフロータイムステップでハードインペイントされ、ガイダンスの逆伝播がなくなります。学習時には、例ごとにプレフィックス長をサンプリングし、残りのポストフィックスに対してフロー損失を計算します。このフラグは0.6.1ではなくメインブランチのみに存在し、学習する遅延はchunk_size未満である必要があります。

Pi0.5チェックポイントを取得する2つの方法

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

動作しない場合

• データセットが拒否されました: v3が必要です
• トレーニング中にメモリ不足
• 損失は減少するが、ポリシーが何も実行しない
• ポリシーが動作中にフリーズする
• ポリシーが1つのセットアップでのみ機能する
• トレーニングジョブがキューで停止したままになる

1回の実行にかかる費用

Pi0.5は80GBカードを必要とするため高価なティアに属し、スポット価格は変動するため、この数値は価格ではなく範囲です。多くのSO-100タスクでは、まずSmolVLAまたはACTを24GBティアでトレーニングし、タスクがそもそも学習可能であることを確認してから、A100の時間を費やしてください。最初のポリシーをトレーニングするで、より安価なループを説明しており、価格設定に現在のティアが記載されています。

夜を費やす前に：とは同じ数値を直接比較しています。には85のVLAモデルと332のベンチマーク結果があり、それぞれがそのソースにリンクされており、このファミリーの背景についてはにあります。