วิธีการฝึก Pi0.5 ด้วยข้อมูลหุ่นยนต์ของคุณเอง

Pi0.5 เป็นโมเดลที่คุณเลือกใช้เมื่อนโยบายต้องทำงานในห้องที่ไม่เคยเห็นมาก่อน นอกจากนี้ยังเป็นนโยบายที่จัดการยากที่สุดในบรรดาห้า นโยบายที่ฝึกได้ ที่นี่เพื่อ ปรับแต่ง ด้วยตนเอง: รีโพสิทอรีต้นน้ำเน้น JAX เป็นหลัก, พอร์ต LeRobot ได้ย้ายการปรับใช้ (deployment) ออกจาก lerobot-record ในเวอร์ชัน 0.6.0 และทำให้การติดตั้งพื้นฐานมีขนาดเล็กเกินไปสำหรับการฝึก, และการปรับแต่งแบบเต็มรูปแบบไม่สามารถทำได้บน 4090 ด้านล่าง: สิ่งที่ flow matching มีค่าใช้จ่ายเท่าใดในการอนุมาน, สองเส้นทางคำสั่ง, และตัวเลข 485 ms ที่ตัดสินว่าผลลัพธ์ใช้งานได้หรือไม่

Pi0.5 คืออะไรกันแน่

Physical Intelligence ได้เผยแพร่ pi0 ในเดือนตุลาคม 2024: โมเดล flow matching วิสัยทัศน์-ภาษา-การกระทำ บน VLM ที่ได้รับการฝึกฝนล่วงหน้า: PaliGemma ที่มี 3 พันล้านพารามิเตอร์ บวกกับ action expert ขนาด 300M ที่เริ่มต้นจากศูนย์ รวมทั้งหมด 3.3 พันล้าน เอกสารรายงานการฝึกฝนล่วงหน้าด้วยข้อมูลหุ่นยนต์กว่า 10,000 ชั่วโมง ครอบคลุมการกำหนดค่าหุ่นยนต์ 7 แบบ และ 68 งาน อ่านเพิ่มเติมใน บทความ pi0.

Pi0.5 (arXiv 2504.16054, 22 April 2025) ยังคงโครงสร้างนั้นไว้และเปลี่ยนรูปแบบการฝึก: ข้อมูลเว็บ, การตรวจจับวัตถุ, คำแนะนำด้วยวาจาจากมนุษย์ที่ฝึกสอนหุ่นยนต์, ป้ายกำกับงานย่อย, ข้อมูลข้ามรูปแบบจากหุ่นยนต์ในบ้านหลายหลัง ผลลัพธ์คือหุ่นยนต์ที่ทำความสะอาดห้องครัวในบ้านที่ไม่ได้อยู่ในชุดข้อมูลการฝึก README ของ openpi เพิ่มรายละเอียดที่ชื่อเรื่องไม่ได้ระบุไว้: pi0.5 ที่เผยแพร่ออกมาได้รับการฝึกด้วยการแยกความรู้ (knowledge insulation) (arXiv 2505.23705)

สิ่งที่ flow matching เปลี่ยนแปลงเกี่ยวกับการฝึกและการอนุมาน

A นโยบาย ที่คุณสามารถฝึกบน SO-100 ได้นั้นจะถดถอยการกระทำโดยตรง (ACT) หรือแปลงเป็นโทเค็นและถอดรหัสแบบอัตโนมัติ (pi0-FAST) Flow matching ไม่ได้ทำทั้งสองอย่าง: มันเรียนรู้สนามเวกเตอร์ที่ขนส่งสัญญาณรบกวนไปยัง กลุ่มการกระทำ ที่สะอาด แล้วจึงรวมเข้าด้วยกัน เอกสาร pi0 ใช้ 10 ขั้นตอนการรวมที่ขนาดขั้นตอน 0.1; การกำหนดค่า pi05 ของ LeRobot มี `num_inference_steps: int = 10` เหมือนกัน

• การฝึก: ค่าความคลาดเคลื่อนจะถดถอยกลุ่มการกระทำที่มีสัญญาณรบกวน ไม่มีตัวแปลงโทเค็นให้ปรับแต่ง ไม่มีการทำให้มุมข้อต่อของคุณเป็นแบบไม่ต่อเนื่อง
• การอนุมาน: หนึ่งกลุ่มการกระทำมีค่าใช้จ่ายในการส่งผ่านไปข้างหน้าสิบครั้งผ่านผู้เชี่ยวชาญการกระทำ นี่เป็นโครงสร้าง ไม่ใช่ปัญหาการปรับแต่ง
• ผลลัพธ์: การกระทำแบบต่อเนื่องที่มีมิติ 32, มีการเติมช่องว่างภายใน, ค่าความคลาดเคลื่อนจะถูกคำนวณจากมิติที่หุ่นยนต์ของคุณมี แขน 6-DoF พร้อมกริปเปอร์ใช้ 7

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

แกนหลัก PaliGemma และเกตที่อยู่ด้านหน้า

PaliGemma (arXiv 2407.07726) เป็นตัวเข้ารหัสภาพ SigLIP-So400m บนโมเดลภาษา Gemma-2B ซึ่งมีพารามิเตอร์ประมาณ 3 พันล้านตัว Pi0.5 สืบทอด tokenizer ของมัน และ tokenizer นั้นอยู่ใน repository แบบ gated นี่เป็นวิธีที่พบบ่อยที่สุดที่การรันครั้งแรกจะล้มเหลว ก่อนที่จะถึง ขั้นตอนการฝึกอบรม.

ก่อนเริ่มต้น: รูปแบบชุดข้อมูล, ตอน (episodes), ฮาร์ดแวร์

Pi0.5 ใน LeRobot อ่าน ชุดข้อมูล LeRobot ในรูปแบบ v3.0 ซึ่งมาพร้อมกับ lerobot 0.4.0 ในเดือนตุลาคม 2025: หลายตอนต่อไฟล์ Parquet และ MP4 แทนที่จะเป็นหนึ่งไฟล์ต่อ ตอน โดยมีขอบเขตอยู่ใน meta/episodes/ แทนที่จะเป็นชื่อไฟล์ บันทึกด้วย ไคลเอนต์เดสก์ท็อป หรือทำตาม บันทึกชุดข้อมูลแรกของคุณ แล้วคุณก็จะได้มันมา

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

แพลตฟอร์มต้องการอย่างน้อย 50 ตอนสำหรับ Pi0.5 ซึ่งเป็นจำนวนขั้นต่ำเดียวกับ GR00T และ ACT การฝึกอบรมล่วงหน้าเป็นส่วนสำคัญ ดังนั้น 50 ตอนที่สะอาดดีกว่า 200 ตอนที่ไม่มีคุณภาพ ยังใหม่กับเรื่องนี้ใช่ไหม? เริ่มต้นด้วย คู่มือการรวบรวมข้อมูล.

เส้นทาง A: ปรับแต่งด้วย openpi repository

การใช้งานอ้างอิง: JAX มาก่อน, ทดสอบบน Ubuntu 22.04 เท่านั้น, ขับเคลื่อนด้วยออบเจกต์ config แทนที่จะเป็น flag. เส้นทาง PyTorch มาถึงในเดือนกันยายน 2025, ตรวจสอบความถูกต้องบน LIBERO. มีสามขั้นตอน: แปลงข้อมูลของคุณ, กำหนด config, ฝึกและให้บริการ.

1. 1
   โคลนและติดตั้ง

   openpi ใช้ uv. GIT_LFS_SKIP_SMUDGE คือสิ่งที่ทำให้ LeRobot เข้ามาเป็น dependency ได้โดยไม่มี LFS blobs.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   แปลงข้อมูลของคุณเป็นชุดข้อมูล LeRobot

   Upstream มีตัวแปลงสำหรับ LIBERO และ DROID และคาดหวังให้คุณปรับใช้ตัวใดตัวหนึ่ง งานคือการแมปคีย์.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   เพิ่ม training config

   Configs คือรายการ TrainConfig ใน src/openpi/training/config.py. ตัวนี้ปรับใช้ pi05_droid_finetune โดยมีตัวโหลดน้ำหนักชี้ไปที่ pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   คำนวณสถิติ norm

   รันกับชื่อ config ไม่ใช่ชุดข้อมูล การข้ามขั้นตอนนี้เป็นความล้มเหลวแรกที่พบบ่อยที่สุดที่นี่.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   ฝึก

   ตัวแปรนี้ทำให้ JAX ใช้หน่วยความจำ GPU 90 เปอร์เซ็นต์ แทนที่จะเป็นค่าเริ่มต้น 75 เปอร์เซ็นต์ บนการ์ด 80 GB สิ่งนี้จะตัดสินว่าการรันจะสำเร็จหรือไม่.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   ให้บริการ

   เซิร์ฟเวอร์จะรับฟังที่พอร์ต 8000 และตอบคำถามเกี่ยวกับการสังเกต; รันไทม์ของหุ่นยนต์ของคุณคือไคลเอนต์.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

เส้นทาง B: ปรับแต่งด้วย lerobot pi05

พอร์ต LeRobot ห่อหุ้ม weights เดียวกันใน CLI ที่คุณใช้อยู่แล้วสำหรับ ACT และ SmolVLA. ข้อมูลทั้งหมดด้านล่างนี้ได้รับการตรวจสอบกับ lerobot 0.6.1, ซึ่งเป็นเวอร์ชันที่เผยแพร่ตั้งแต่วันที่ 3 สิงหาคม 2026, และเอกสาร pi05 ณ วันที่ 23 สิงหาคม 2026 เวอร์ชันมีความสำคัญที่นี่: ชุดข้อมูล v3.0 มาพร้อมกับเวอร์ชัน 0.4.0 ในเดือนตุลาคม 2025, บล็อก 0.5.0 เมื่อวันที่ 9 มีนาคม 2026 นำเสนอ pi0-FAST และ Real-Time Chunking, และเวอร์ชัน 0.6.0 เมื่อวันที่ 6 กรกฎาคม 2026 ทำให้แพ็กเกจพื้นฐานมีน้ำหนักเบาลง และย้ายการปรับใช้ไปยัง lerobot-rollout

สิ่งหนึ่งที่ไม่ได้เปลี่ยนแปลงคือ: lerobot-train และ lerobot-record เป็นจุดเริ่มต้นที่มีอยู่แล้วในเวอร์ชัน 0.3.2, สิงหาคม 2025 บทช่วยสอนที่ยังคงเรียกใช้ python -m lerobot.scripts.train นั้นเก่ากว่าการเปลี่ยนแปลงเป็นปี และไม่น่าเชื่อถือในส่วนอื่น ๆ ด้วย

1. 1
   ติดตั้งด้วยส่วนเสริมที่ถูกต้อง

   ตั้งแต่เวอร์ชัน 0.6.0 การติดตั้งพื้นฐานจะรวมเฉพาะส่วนที่จำเป็นสำหรับ ML เท่านั้น และส่วนเสริม pi จะไม่เพิ่มโค้ดสำหรับชุดข้อมูลหรือการฝึก ดังนั้นการปรับแต่ง (fine-tune) จึงต้องใช้ส่วนเสริม training ด้วย คำสั่งแบบบรรทัดเดียวรุ่นเก่าจะล้มเหลวที่นี่ในขั้นตอนการนำเข้า

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   ยืนยันตัวตน

   ยอมรับใบอนุญาต paligemma-3b-pt-224 ในเบราว์เซอร์ จากนั้นเข้าสู่ระบบบนเครื่องที่ใช้ฝึกโมเดล

   bash

   hf auth login

3. 3
   เพิ่มสถิติควอนไทล์

   Pi0.5 ทำให้ STATE และ ACTION เป็นปกติด้วยควอนไทล์ ดังนั้น meta/stats.json จึงต้องมี q01 และ q99 ชุดข้อมูลรุ่นเก่าจะมีเพียง min, max, mean, std เท่านั้น

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   ปรับแต่งจาก lerobot/pi05_base

   ตั้งค่าขนาดแบตช์ให้เหมาะสมกับการ์ดของคุณ เอกสารใช้ 64 บน LIBERO ที่ 80 GB ระบุ bfloat16 อย่างชัดเจน ค่าเริ่มต้นของการกำหนดค่าคือ float32

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   รันบนแขนกล

   ในเวอร์ชัน 0.6.x นี่คือ lerobot-rollout: lerobot-record จะปฏิเสธนโยบายและชื่อชุดข้อมูล eval_ Base จะควบคุมแขนกล ส่วน sentry จะบันทึกการทำงาน

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

ค่าเริ่มต้นสามชุด และชุดใดบ้างที่ไปถึงตัวฝึก

TrainConfig ของ openpi เป็นค่าอ้างอิง, PI05Config ของ LeRobot คือสิ่งที่ lerobot-train ใช้เมื่อคุณไม่ได้ระบุอะไร, และฟอร์มนี้จะส่งชุดค่าที่สาม สิ่งที่น่าประหลาดใจคืออัตราการเรียนรู้: ค่าเริ่มต้นของทั้งสองแหล่งสูงสุดที่ 2.5e-5, ในขณะที่การตั้งค่า pi05_libero ของ openpi เองและแพลตฟอร์มนี้เพิ่มเป็น 5e-5

พอร์ตนี้มีความแม่นยำหรือไม่? ทีม LeRobot ได้ปรับแต่งโมเดลพื้นฐาน LIBERO เพิ่มเติมอีก 6k ขั้นตอน และเปรียบเทียบกับตัวเลขการอ้างอิงของ openpi ในสี่ชุด: ค่าเฉลี่ย 97.5 เปอร์เซ็นต์ เทียบกับ 96.85, นำหน้าใน Libero 10, และตามหลังใน Spatial เส้นทางนี้เป็นทางเลือกของเครื่องมือ ไม่ใช่ทางเลือกด้านคุณภาพ

ความเป็นจริง 485 มิลลิวินาที และจุดที่มันไม่สามารถใช้งานได้อีกต่อไป

สิ่งนี้เป็นตัวตัดสินโปรเจกต์ของคุณ ดังนั้นจึงมาก่อนตารางค่าใช้จ่าย ต่อขั้นตอนการดำเนินการที่วัดได้สำหรับ Pi0.5 คือ 485 มิลลิวินาที เมื่อเทียบกับอีกสี่รายการ:

Upstream มีคำตอบ และครึ่งหนึ่งของคำตอบนั้นอยู่ในเวอร์ชันที่คุณสามารถติดตั้งได้แล้ว Real-Time Chunking จะสร้างชิ้นส่วนถัดไปในขณะที่แขนกลยังคงดำเนินการชิ้นส่วนปัจจุบันอยู่ จากนั้นจะนำทางขั้นตอนที่ทับซ้อนกันของชิ้นส่วนใหม่ให้คงอยู่ใกล้กับส่วนที่ดำเนินการไปแล้ว เพื่อไม่ให้แขนกลหยุดชะงักหรือกระตุกที่รอยต่อ รูปแบบการอนุมานที่มาพร้อมกับการเปลี่ยนแปลงในเวอร์ชัน 0.4.2 สำหรับ Pi0, Pi0.5 และ SmolVLA เป็นเพียงแฟล็กสำหรับการใช้งาน ไม่ใช่การฝึกใหม่:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

มันไม่ได้ทำให้โมเดลเร็วขึ้น มันซ่อนช่องว่าง: 485 มิลลิวินาทียังคงถูกใช้ไป แต่ไม่ได้อยู่ในเส้นทางวิกฤต ดังนั้นคิวจึงไม่หมดลงระหว่างชิ้นส่วน รูปแบบการฝึกจาก arXiv 2512.05964 ไปไกลกว่านั้น: โมเดลเรียนรู้ที่จะปรับเงื่อนไขตามคำนำหน้าการกระทำที่สะอาด ดังนั้นในการอนุมาน การทับซ้อนจะถูกเติมเต็มอย่างสมบูรณ์ด้วยไทม์สเต็ปการไหลต่อการกระทำ แทนที่จะเป็นการนำทาง และการส่งผ่านย้อนกลับของการนำทางจะหายไป ในระหว่างการฝึก มันจะสุ่มความยาวคำนำหน้าต่อตัวอย่าง และคำนวณค่าความสูญเสียการไหลบนส่วนท้ายที่เหลือ แฟล็กนั้นมีอยู่ใน main เท่านั้น ไม่ใช่ในเวอร์ชัน 0.6.1 และความล่าช้าที่คุณฝึกจะต้องน้อยกว่า chunk_size

สองวิธีในการรับเช็คพอยต์ Pi0.5

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

เมื่อมันไม่ทำงาน

• ชุดข้อมูลถูกปฏิเสธ: ต้องใช้ v3
• หน่วยความจำไม่พอระหว่างการฝึก
• ค่า Loss ลดลงแต่ Policy ไม่ทำงาน
• Policy หยุดทำงานกลางคัน
• Policy ทำงานได้เพียงการตั้งค่าเดียว
• งานฝึกติดค้างในคิว

ค่าใช้จ่ายต่อการรันหนึ่งครั้ง

Pi0.5 อยู่ในระดับราคาแพงเนื่องจากต้องใช้การ์ด 80 GB และราคาแบบ Spot มีการเปลี่ยนแปลง ดังนั้นตัวเลขจึงเป็นช่วงราคามากกว่าราคาที่แน่นอน สำหรับงาน SO-100 หลายอย่าง ให้ฝึก SmolVLA หรือ ACT บนระดับ 24 GB ก่อน เพื่อยืนยันว่างานสามารถเรียนรู้ได้จริง จากนั้นจึงค่อยใช้เวลา A100 ชั่วโมงกับมัน ฝึก Policy แรกของคุณ จะแนะนำขั้นตอนที่ประหยัดกว่า และ ราคา แสดงระดับราคาปัจจุบัน

ก่อนที่จะใช้เวลาช่วงเย็น: GR00T N1.7 เทียบกับ Pi0.5 และ Pi0.5 เทียบกับ SmolVLA แสดงตัวเลขเดียวกันแบบตัวต่อตัว The Arena มีโมเดล VLA 85 ตัวพร้อมผลการทดสอบ 332 รายการ ซึ่งแต่ละรายการเชื่อมโยงไปยังแหล่งที่มา และข้อมูลพื้นฐานเกี่ยวกับตระกูลนี้อยู่ใน ภาพรวม VLA ของเรา.