Cara Melatih Pi0.5 Menggunakan Data Robot Anda Sendiri

Pi0.5 ialah model yang anda gunakan apabila sesuatu polisi perlu berfungsi dalam bilik yang belum pernah dilihatnya. Ia juga yang paling rumit antara lima polisi boleh latih di sini untuk penalaan halus secara manual: repositori huluan adalah JAX dahulu, port LeRobot memindahkan penggunaan keluar dari lerobot-record dalam 0.6.0 dan menjadikan pemasangan asas terlalu kecil untuk dilatih, dan penalaan halus penuh tidak muat pada 4090. Di bawah: apa yang padanan aliran kos pada inferens, dua laluan arahan, dan nombor 485 ms yang menentukan sama ada hasilnya boleh digunakan.

Apa sebenarnya Pi0.5

Physical Intelligence menerbitkan pi0 pada Oktober 2024: sebuah padanan aliran model tindakan bahasa-penglihatan pada VLM pra-latih: PaliGemma pada 3 bilion parameter ditambah pakar tindakan 300M yang dimulakan dari awal, 3.3 bilion secara keseluruhan. Kertas kerja itu melaporkan pra-latihan selama lebih 10,000 jam data robot merentasi 7 konfigurasi robot dan 68 tugas. Lebih lanjut dalam artikel pi0.

Pi0.5 (arXiv 2504.16054, 22 April 2025) mengekalkan rangka tersebut dan mengubah diet latihan: data web, pengesanan objek, arahan lisan daripada manusia yang melatih robot, label subtugas, data rentas-embodimen daripada robot di banyak rumah. Hasilnya ialah robot yang membersihkan dapur di rumah-rumah yang tidak termasuk dalam set latihan. README openpi menambah butiran yang tiada pada tajuk: pi0.5 yang dikeluarkan dilatih dengan penebat pengetahuan (arXiv 2505.23705).

Apa yang diubah oleh padanan aliran mengenai latihan dan inferens

Satu polisi yang boleh anda latih pada SO-100 sama ada meregres tindakan secara langsung (ACT) atau menokenkannya dan menyahkod secara autoregresif (pi0-FAST). Padanan aliran tidak melakukan kedua-duanya: ia mempelajari medan vektor yang mengangkut hingar kepada ketulan tindakan yang bersih, kemudian mengintegrasikannya. Kertas kerja pi0 menggunakan 10 langkah integrasi pada saiz langkah 0.1; konfigurasi pi05 LeRobot membawa num_inference_steps: int = 10 yang sama.

• Latihan: kerugian meregres ketulan tindakan yang bising. Tiada tokenizer untuk ditala, tiada diskretisasi sudut sendi anda.
• Inferens: satu ketulan memerlukan sepuluh laluan ke hadapan melalui pakar tindakan. Itu adalah struktur, bukan masalah penalaan.
• Output: tindakan berterusan berdimensi 32, dipadatkan secara dalaman, kerugian diambil pada dimensi yang dimiliki robot anda. Lengan 6-DoF ditambah pengepit menggunakan 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

Tulang belakang PaliGemma, dan gerbang di hadapannya

PaliGemma (arXiv 2407.07726) ialah pengekod penglihatan SigLIP-So400m pada model bahasa Gemma-2B, kira-kira 3B parameter. Pi0.5 mewarisi tokenizernya, dan tokenizer itu berada dalam repositori berpagar. Ini adalah cara paling biasa larian pertama gagal, sebelum langkah latihan.

Sebelum anda bermula: format set data, episod, perkakasan

Pi0.5 dalam LeRobot membaca set data LeRobot dalam susun atur v3.0, yang disertakan dengan lerobot 0.4.0 pada Oktober 2025: banyak episod setiap fail Parquet dan MP4 dan bukannya satu fail setiap episod, dengan sempadan dalam meta/episodes/ dan bukannya nama fail. Rekod dengan klien desktop atau ikuti rekod set data pertama anda dan anda memilikinya.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platform ini memerlukan sekurang-kurangnya 50 episod untuk Pi0.5, had yang sama seperti GR00T dan ACT. Pra-latihan melakukan kerja berat, jadi 50 episod bersih lebih baik daripada 200 episod yang tidak kemas. Baru dalam hal ini? Mulakan dengan panduan pengumpulan data.

Laluan A: penalaan halus dengan repositori openpi

Pelaksanaan rujukan: JAX dahulu, diuji pada Ubuntu 22.04 sahaja, didorong oleh objek konfigurasi dan bukannya bendera. Laluan PyTorch tiba pada September 2025, disahkan pada LIBERO. Tiga langkah: tukar data anda, takrifkan konfigurasi, latih dan hidangkan.

1. 1
   Klon dan pasang

   openpi menggunakan uv. GIT_LFS_SKIP_SMUDGE membolehkan LeRobot menjadi kebergantungan tanpa blob LFS.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Tukar data anda kepada set data LeRobot

   Upstream menghantar penukar untuk LIBERO dan DROID dan menjangkakan anda untuk menyesuaikan salah satu daripadanya. Kerjanya adalah pemetaan kunci.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Tambah konfigurasi latihan

   Konfigurasi adalah entri TrainConfig dalam src/openpi/training/config.py. Yang ini menyesuaikan pi05_droid_finetune, dengan pemuat berat menunjuk kepada pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Kira statistik norma

   Berjalan terhadap nama konfigurasi, bukan set data. Melangkauinya adalah kegagalan pertama yang klasik di sini.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Latih

   Pemboleh ubah membolehkan JAX menggunakan 90 peratus memori GPU dan bukannya 75 peratus lalai. Pada kad 80 GB, ini menentukan sama ada larian itu berjaya.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Hidangkannya

   Pelayan mendengar pada port 8000 dan menjawab pertanyaan pemerhatian; runtime robot anda adalah klien.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Laluan B: penalaan halus dengan lerobot pi05

Port LeRobot membalut pemberat yang sama dalam CLI yang sudah anda gunakan untuk ACT dan SmolVLA. Semua yang di bawah telah disemak terhadap lerobot 0.6.1, keluaran sejak 3 Ogos 2026, dan dokumen pi05 pada 23 Ogos 2026. Versi adalah penting di sini: set data v3.0 tiba dengan 0.4.0 pada Oktober 2025, blog 0.5.0 pada 9 Mac 2026 membentangkan pi0-FAST dan Real-Time Chunking, dan 0.6.0 pada 6 Julai 2026 menjadikan pakej asas ringan dan memindahkan penggunaan ke lerobot-rollout.

Satu perkara tidak berubah: lerobot-train dan lerobot-record sudah menjadi titik masuk dalam 0.3.2, Ogos 2025. Tutorial yang masih memanggil python -m lerobot.scripts.train mendahului perubahan setahun dan patut diragui untuk selebihnya juga.

1. 1
   Pasang dengan tambahan yang betul

   Sejak 0.6.0, pemasangan asas hanya membawa kebergantungan ML teras, dan tambahan pi tidak menambah kod set data atau latihan, jadi penalaan halus memerlukan tambahan latihan juga. Baris tunggal yang lebih lama gagal di sini pada masa import.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Sahkan

   Terima lesen paligemma-3b-pt-224 dalam pelayar, kemudian log masuk pada mesin yang melatih.

   bash

   hf auth login

3. 3
   Tambah statistik kuantil

   Pi0.5 menormalkan STATE dan ACTION dengan kuantil, jadi meta/stats.json memerlukan q01 dan q99. Set data yang lebih lama hanya mengandungi min, maks, purata, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Penalaan halus dari lerobot/pi05_base

   Tetapkan saiz kelompok kepada apa yang kad anda mampu; dokumen menggunakan 64 pada LIBERO pada 80 GB. Lulus bfloat16 secara eksplisit, lalai konfigurasi adalah float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Jalankannya pada lengan robot

   Dalam 0.6.x ini adalah lerobot-rollout: lerobot-record menolak polisi dan menolak nama set data eval_. Base menggerakkan lengan, sentry merekodkan pelancaran.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Tiga set lalai, dan yang mana sampai kepada pelatih

TrainConfig openpi adalah rujukan, PI05Config LeRobot adalah apa yang digunakan oleh lerobot-train apabila anda tidak menyatakan apa-apa, dan borang di sini menghantar set ketiga. Yang mengejutkan ialah kadar pembelajaran: kedua-dua lalai hulu memuncak pada 2.5e-5, manakala konfigurasi pi05_libero openpi sendiri dan platform ini meningkatkannya kepada 5e-5.

Adakah port itu setia? Pasukan LeRobot menala halus model asas LIBERO untuk 6k langkah lagi dan membandingkan dengan nombor rujukan openpi pada empat suite: purata 97.5 peratus berbanding 96.85, mendahului pada Libero 10, ketinggalan pada Spatial. Laluan ini adalah pilihan perkakas, bukan pilihan kualiti.

Realiti 485 ms, dan di mana ia berhenti menjadi boleh digunakan

Ini menentukan projek anda, jadi ia datang sebelum jadual kos. per langkah tindakan yang diukur di sini untuk Pi0.5 ialah 485 ms. Berbanding dengan empat yang lain:

Upstream mempunyai jawapan, dan separuh daripadanya sudah ada dalam keluaran yang boleh anda pasang. Pencungkilan Masa Nyata (Real-Time Chunking) menjana cebisan seterusnya semasa lengan masih melaksanakan cebisan semasa, kemudian membimbing langkah-langkah bertindih cebisan baharu untuk kekal dekat dengan bahagian yang telah dilaksanakan, supaya lengan tidak terhenti atau tersentak pada sambungan. Bentuk masa inferens yang dihantar dalam changelog 0.4.2 untuk Pi0, Pi0.5 dan SmolVLA adalah bendera pelancaran, bukan latihan semula:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Ia tidak menjadikan model lebih pantas. Ia menyembunyikan jurang: 485 ms masih dibelanjakan, tetapi di luar laluan kritikal, jadi barisan tidak kering antara cebisan. Varian masa latihan dari arXiv 2512.05964 melangkah lebih jauh: model belajar untuk mengkondisikan awalan tindakan yang bersih, jadi pada inferens pertindihan diwarnakan secara keras dengan langkah masa aliran setiap tindakan dan bukannya dibimbing, dan laluan belakang bimbingan hilang. Semasa latihan, ia mengambil sampel panjang awalan setiap contoh dan mengambil kerugian aliran pada postfix yang tinggal. Bendera itu hanya terdapat pada main, bukan dalam 0.6.1, dan kelewatan yang anda latih perlu kekal di bawah chunk_size.

Dua cara untuk mendapatkan checkpoint Pi0.5

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Apabila ia tidak berfungsi

• Dataset ditolak: v3 diperlukan
• Memori tidak mencukupi semasa latihan
• Kerugian menurun tetapi polisi tidak melakukan apa-apa
• Polisi membeku di tengah-tengah pergerakan
• Polisi hanya berfungsi dalam satu persediaan
• Tugas latihan tersekat dalam barisan

Berapa kos satu larian

Pi0.5 berada dalam peringkat mahal kerana ia memerlukan kad 80 GB, dan harga spot berubah, jadi angka tersebut adalah julat dan bukannya harga. Untuk banyak tugas SO-100, latih SmolVLA atau ACT pada peringkat 24 GB terlebih dahulu, sahkan tugas itu boleh dipelajari sama sekali, kemudian luangkan jam A100 untuknya. Latih polisi pertama anda menerangkan gelung yang lebih murah itu, dan harga membawa peringkat semasa.

Sebelum meluangkan masa petang: dan membentangkan nombor yang sama secara berhadapan. mengandungi 85 model VLA dengan 332 hasil penanda aras, setiap satu dipautkan kepada sumbernya, dan latar belakang mengenai keluarga tersebut terdapat dalam .