Cách huấn luyện Pi0.5 trên dữ liệu robot của riêng bạn

Pi0.5 là mô hình bạn tìm đến khi một chính sách cần hoạt động trong một căn phòng mà nó chưa từng thấy. Nó cũng là mô hình khó sử dụng nhất trong số năm chính sách có thể huấn luyện ở đây để tinh chỉnh thủ công: kho lưu trữ gốc ưu tiên JAX, cổng LeRobot đã di chuyển triển khai ra khỏi lerobot-record trong phiên bản 0.6.0 và làm cho bản cài đặt cơ bản quá nhỏ để huấn luyện, và một quá trình tinh chỉnh đầy đủ không thể chạy trên card 4090. Dưới đây: chi phí của khớp dòng khi suy luận, hai lộ trình lệnh, và con số 485 ms quyết định liệu kết quả có thể sử dụng được hay không.

Pi0.5 thực sự là gì

Physical Intelligence đã công bố pi0 vào tháng 10 năm 2024: một mô hình khớp dòng mô hình hành động ngôn ngữ thị giác trên một VLM đã được huấn luyện trước: PaliGemma với 3 tỷ tham số cộng với một chuyên gia hành động 300M được khởi tạo từ đầu, tổng cộng 3.3 tỷ. Bài báo cáo huấn luyện trước trên hơn 10,000 giờ dữ liệu robot trên 7 cấu hình robot và 68 tác vụ. Xem thêm trong bài viết về pi0.

Pi0.5 (arXiv 2504.16054, 22 tháng 4 năm 2025) giữ nguyên cấu trúc đó và thay đổi chế độ huấn luyện: dữ liệu web, phát hiện đối tượng, hướng dẫn bằng lời nói từ con người huấn luyện robot, nhãn nhiệm vụ phụ, dữ liệu đa thể hiện từ robot trong nhiều gia đình. Kết quả là một robot dọn dẹp nhà bếp trong những ngôi nhà không có trong tập huấn luyện. README của openpi bổ sung một chi tiết mà tiêu đề không đề cập: pi0.5 được phát hành đã được huấn luyện với cách ly kiến thức (arXiv 2505.23705).

Những gì khớp dòng thay đổi về huấn luyện và suy luận

Một chính sách bạn có thể huấn luyện trên SO-100 hoặc hồi quy trực tiếp các hành động (ACT) hoặc mã hóa chúng thành token và giải mã tự hồi quy (pi0-FAST). Khớp dòng không làm cả hai điều này: nó học một trường vector vận chuyển nhiễu đến một khối hành động sạch, sau đó tích hợp nó. Bài báo pi0 sử dụng 10 bước tích hợp với kích thước bước 0.1; cấu hình pi05 của LeRobot cũng có cùng `num_inference_steps: int = 10`.

• Huấn luyện: hàm mất mát hồi quy một khối hành động bị nhiễu. Không có bộ mã hóa để tinh chỉnh, không có sự rời rạc hóa các góc khớp của bạn.
• Suy luận: một khối tốn mười lần truyền xuôi qua chuyên gia hành động. Điều đó mang tính cấu trúc, không phải là vấn đề tinh chỉnh.
• Đầu ra: các hành động liên tục có chiều 32, được đệm bên trong, hàm mất mát được tính trên các chiều mà robot của bạn có. Một cánh tay 6-DoF cộng với bộ kẹp sử dụng 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

Xương sống PaliGemma, và cổng phía trước nó

PaliGemma (arXiv 2407.07726) là một bộ mã hóa thị giác SigLIP-So400m trên mô hình ngôn ngữ Gemma-2B, với khoảng 3 tỷ tham số. Pi0.5 kế thừa bộ mã hóa của nó, và bộ mã hóa đó nằm trong một kho lưu trữ có kiểm soát truy cập. Đây là cách phổ biến nhất khiến lần chạy đầu tiên thất bại, trước khi đến bước huấn luyện.

Trước khi bắt đầu: định dạng tập dữ liệu, các tập, phần cứng

Pi0.5 trong LeRobot đọc một tập dữ liệu LeRobot theo bố cục v3.0, được giới thiệu cùng với lerobot 0.4.0 vào tháng 10 năm 2025: nhiều tập trên mỗi tệp Parquet và MP4 thay vì một tệp cho mỗi tập, với các ranh giới trong meta/episodes/ thay vì tên tệp. Ghi lại bằng ứng dụng máy tính để bàn hoặc làm theo ghi lại tập dữ liệu đầu tiên của bạn và bạn sẽ có nó.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Nền tảng yêu cầu ít nhất 50 tập cho Pi0.5, cùng mức tối thiểu với GR00T và ACT. Huấn luyện trước đảm nhiệm phần lớn công việc, vì vậy 50 tập sạch sẽ tốt hơn 200 tập cẩu thả. Mới bắt đầu? Hãy bắt đầu với hướng dẫn thu thập dữ liệu.

Lộ trình A: tinh chỉnh với kho lưu trữ openpi

Triển khai tham chiếu: ưu tiên JAX, chỉ được kiểm tra trên Ubuntu 22.04, được điều khiển bởi các đối tượng cấu hình thay vì cờ. Một lộ trình PyTorch đã ra mắt vào tháng 9 năm 2025, được xác thực trên LIBERO. Ba bước: chuyển đổi dữ liệu của bạn, định nghĩa cấu hình, huấn luyện và phục vụ.

1. 1
   Sao chép và cài đặt

   openpi sử dụng uv. GIT_LFS_SKIP_SMUDGE là thứ cho phép LeRobot trở thành một phụ thuộc mà không cần các blob LFS.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Chuyển đổi dữ liệu của bạn sang tập dữ liệu LeRobot

   Upstream cung cấp các bộ chuyển đổi cho LIBERO và DROID và mong bạn điều chỉnh một trong số đó. Công việc chính là ánh xạ khóa.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Thêm cấu hình huấn luyện

   Các cấu hình là các mục TrainConfig trong src/openpi/training/config.py. Cấu hình này điều chỉnh pi05_droid_finetune, với bộ tải trọng lượng trỏ đến pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Tính toán thống kê chuẩn hóa

   Chạy dựa trên tên cấu hình, không phải tập dữ liệu. Bỏ qua bước này là lỗi đầu tiên kinh điển ở đây.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Huấn luyện

   Biến này cho phép JAX sử dụng 90 phần trăm bộ nhớ GPU thay vì 75 phần trăm mặc định. Trên một card 80 GB, điều này quyết định liệu quá trình chạy có thành công hay không.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Phục vụ

   Máy chủ lắng nghe trên cổng 8000 và trả lời các truy vấn quan sát; thời gian chạy robot của bạn là máy khách.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Lộ trình B: tinh chỉnh với lerobot pi05

Cổng LeRobot gói các trọng số tương tự trong CLI mà bạn đã sử dụng cho ACT và SmolVLA. Mọi thứ dưới đây đã được kiểm tra với lerobot 0.6.1, bản phát hành kể từ ngày 3 tháng 8 năm 2026, và tài liệu pi05 vào ngày 23 tháng 8 năm 2026. Các phiên bản rất quan trọng ở đây: bộ dữ liệu v3.0 đã xuất hiện với 0.4.0 vào tháng 10 năm 2025, blog 0.5.0 ngày 9 tháng 3 năm 2026 giới thiệu pi0-FAST và Real-Time Chunking, và 0.6.0 vào ngày 6 tháng 7 năm 2026 đã làm cho gói cơ sở nhẹ hơn và chuyển việc triển khai sang lerobot-rollout.

Một điều không thay đổi: lerobot-train và lerobot-record đã là các điểm truy cập trong 0.3.2, tháng 8 năm 2025. Một hướng dẫn vẫn gọi python -m lerobot.scripts.train đã có từ trước một năm thay đổi và cũng đáng để không tin tưởng vào phần còn lại.

1. 1
   Cài đặt với các phần bổ sung phù hợp

   Kể từ phiên bản 0.6.0, bản cài đặt cơ bản chỉ bao gồm các phụ thuộc ML cốt lõi, và phần bổ sung pi không thêm mã tập dữ liệu hoặc huấn luyện, vì vậy việc tinh chỉnh cũng cần phần bổ sung training. Các lệnh cài đặt một dòng cũ hơn sẽ thất bại ở đây khi nhập.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Xác thực

   Chấp nhận giấy phép paligemma-3b-pt-224 trong trình duyệt, sau đó đăng nhập trên máy dùng để huấn luyện.

   bash

   hf auth login

3. 3
   Thêm thống kê phân vị

   Pi0.5 chuẩn hóa STATE và ACTION bằng phân vị, vì vậy meta/stats.json cần q01 và q99. Các tập dữ liệu cũ hơn chỉ chứa min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Tinh chỉnh từ lerobot/pi05_base

   Đặt kích thước batch phù hợp với khả năng của card đồ họa của bạn; tài liệu sử dụng 64 trên LIBERO với 80 GB. Truyền bfloat16 một cách rõ ràng, mặc định của cấu hình là float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Chạy trên cánh tay robot

   Trong 0.6.x, đây là lerobot-rollout: lerobot-record từ chối một policy và không chấp nhận tên tập dữ liệu eval_. Base điều khiển cánh tay robot, sentry ghi lại quá trình rollout.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Ba bộ giá trị mặc định, và những giá trị nào đến được trình huấn luyện

TrainConfig của openpi là tham chiếu, PI05Config của LeRobot là thứ mà lerobot-train sử dụng khi bạn không chỉ định gì, và biểu mẫu ở đây gửi một bộ thứ ba. Điều bất ngờ là tốc độ học: cả hai mặc định upstream đều đạt đỉnh 2.5e-5, trong khi cấu hình pi05_libero của openpi và nền tảng này nâng nó lên 5e-5.

Bản port có đáng tin cậy không? Nhóm LeRobot đã tinh chỉnh mô hình cơ sở LIBERO thêm 6k bước và so sánh với các số liệu tham chiếu của openpi trên bốn bộ: trung bình 97.5 phần trăm so với 96.85, dẫn trước trên Libero 10, và tụt lại trên Spatial. Lộ trình này là một lựa chọn về công cụ, không phải về chất lượng.

Thực tế 485 ms, và điểm mà nó không còn khả dụng

Điều này quyết định dự án của bạn, vì vậy nó được đặt trước bảng chi phí. trên mỗi bước hành động được đo ở đây cho Pi0.5 là 485 ms. So với bốn loại khác:

Phía thượng nguồn có một câu trả lời, và một nửa trong số đó đã có trong bản phát hành bạn có thể cài đặt. Phân đoạn thời gian thực (Real-Time Chunking) tạo ra phân đoạn tiếp theo trong khi cánh tay robot vẫn đang thực hiện phân đoạn hiện tại, sau đó hướng dẫn các bước chồng chéo của phân đoạn mới để giữ gần với phần đã thực hiện, nhờ đó cánh tay robot không bị kẹt hoặc giật ở điểm nối. Dạng suy luận thời gian thực được phát hành trong nhật ký thay đổi 0.4.2 cho Pi0, Pi0.5 và SmolVLA và là một cờ triển khai, không yêu cầu huấn luyện lại:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Nó không làm cho mô hình nhanh hơn. Nó che giấu khoảng trống: 485 ms vẫn được tiêu tốn, nhưng nằm ngoài đường dẫn quan trọng, vì vậy hàng đợi không bị cạn giữa các phân đoạn. Biến thể thời gian huấn luyện từ arXiv 2512.05964 còn tiến xa hơn: mô hình học cách điều kiện hóa trên một tiền tố hành động sạch, vì vậy tại thời điểm suy luận, sự chồng chéo được điền cứng bằng các bước thời gian luồng trên mỗi hành động thay vì được hướng dẫn, và quá trình truyền ngược hướng dẫn biến mất. Trong quá trình huấn luyện, nó lấy mẫu độ dài tiền tố cho mỗi ví dụ và tính toán tổn thất luồng trên phần hậu tố còn lại. Cờ đó chỉ có trên nhánh chính, không có trong 0.6.1, và độ trễ bạn huấn luyện phải nằm dưới chunk_size.

Hai cách để có được checkpoint Pi0.5

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Khi nó không hoạt động

• Tập dữ liệu bị từ chối: yêu cầu v3
• Hết bộ nhớ trong quá trình huấn luyện
• Loss giảm nhưng chính sách không làm gì cả
• Chính sách bị đóng băng giữa chuyển động
• Chính sách chỉ hoạt động trong một thiết lập
• Công việc huấn luyện bị kẹt trong hàng đợi

Chi phí của một lần chạy

Pi0.5 nằm trong phân khúc đắt tiền vì nó cần một card 80 GB, và giá giao ngay thay đổi, vì vậy con số này là một khoảng giá chứ không phải một mức giá cố định. Đối với nhiều tác vụ SO-100, hãy huấn luyện SmolVLA hoặc ACT trên phân khúc 24 GB trước, xác nhận rằng tác vụ có thể học được, sau đó dành hàng giờ A100 cho nó. Huấn luyện chính sách đầu tiên của bạn hướng dẫn vòng lặp rẻ hơn đó, và giá cả chứa các phân khúc hiện tại.

Trước khi dành cả buổi tối: GR00T N1.7 against Pi0.5 và Pi0.5 against SmolVLA trình bày các số liệu tương tự một cách trực tiếp. Đấu trường chứa 85 mô hình VLA với 332 kết quả benchmark, mỗi kết quả được liên kết với nguồn của nó, và thông tin cơ bản về dòng này có trong tổng quan về VLA của chúng tôi.