Cara Melatih Pi0.5 dengan Data Robot Anda Sendiri

Pi0.5 adalah model yang Anda gunakan ketika sebuah kebijakan harus bekerja di ruangan yang belum pernah dilihatnya. Ini juga merupakan yang paling canggung dari lima kebijakan yang dapat dilatih di sini untuk melakukan fine-tune secara manual: repositori hulu adalah JAX terlebih dahulu, port LeRobot memindahkan deployment keluar dari lerobot-record di 0.6.0 dan membuat instalasi dasar terlalu kecil untuk dilatih, dan fine-tune penuh tidak muat di 4090. Di bawah: berapa biaya pencocokan aliran pada inferensi, dua rute perintah, dan angka 485 ms yang menentukan apakah hasilnya dapat digunakan.

Apa sebenarnya Pi0.5 itu

Physical Intelligence menerbitkan pi0 pada Oktober 2024: sebuah model visi-bahasa-tindakan pencocokan aliran pada VLM yang telah dilatih sebelumnya: PaliGemma dengan 3 miliar parameter ditambah ahli tindakan 300M yang diinisialisasi dari awal, total 3.3 miliar. Makalah tersebut melaporkan pra-pelatihan lebih dari 10.000 jam data robot di 7 konfigurasi robot dan 68 tugas. Lebih lanjut di artikel pi0.

Pi0.5 (arXiv 2504.16054, 22 April 2025) mempertahankan kerangka tersebut dan mengubah pola pelatihan: data web, deteksi objek, instruksi verbal dari manusia yang melatih robot, label subtugas, data lintas-embodimen dari robot di banyak rumah. Hasilnya adalah robot yang membersihkan dapur di rumah-rumah yang tidak termasuk dalam set pelatihan. README openpi menambahkan detail yang tidak disebutkan dalam judul: pi0.5 yang dirilis dilatih dengan isolasi pengetahuan (arXiv 2505.23705).

Apa yang diubah oleh pencocokan aliran (flow matching) tentang pelatihan dan inferensi

Sebuah kebijakan yang dapat Anda latih pada SO-100 baik meregresi tindakan secara langsung (ACT) atau melakukan tokenisasi dan mendekode secara autoregresif (pi0-FAST). Pencocokan aliran tidak melakukan keduanya: ia mempelajari medan vektor yang mengangkut derau ke sebuah chunk tindakan yang bersih, kemudian mengintegrasikannya. Makalah pi0 menggunakan 10 langkah integrasi dengan ukuran langkah 0.1; konfigurasi pi05 LeRobot memiliki nilai `num_inference_steps: int = 10` yang sama.

• Pelatihan: loss meregresi chunk tindakan yang berderau. Tidak ada tokenizer untuk disetel, tidak ada diskretisasi sudut sendi Anda.
• Inferensi: satu chunk membutuhkan sepuluh forward pass melalui action expert. Itu bersifat struktural, bukan masalah penyetelan.
• Output: tindakan kontinu berdimensi 32, di-padding secara internal, loss diambil pada dimensi yang dimiliki robot Anda. Lengan 6-DoF ditambah gripper menggunakan 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

Backbone PaliGemma, dan gerbang di depannya

PaliGemma (arXiv 2407.07726) adalah encoder visi SigLIP-So400m pada model bahasa Gemma-2B, sekitar 3B parameter. Pi0.5 mewarisi tokenizernya, dan tokenizer tersebut berada di repositori berpagar. Ini adalah cara paling umum sebuah percobaan pertama gagal, sebelum langkah pelatihan.

Sebelum Anda memulai: format dataset, episode, perangkat keras

Pi0.5 di LeRobot membaca dataset LeRobot dalam tata letak v3.0, yang hadir dengan lerobot 0.4.0 pada Oktober 2025: banyak episode per file Parquet dan MP4 alih-alih satu file per episode, dengan batasan di meta/episodes/ daripada nama file. Rekam dengan klien desktop atau ikuti rekam dataset pertama Anda dan Anda memilikinya.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platform ini membutuhkan setidaknya 50 episode untuk Pi0.5, jumlah minimum yang sama dengan GR00T dan ACT. Pra-pelatihan melakukan sebagian besar pekerjaan, jadi 50 episode yang bersih lebih baik daripada 200 episode yang ceroboh. Baru mengenal ini? Mulailah dengan panduan pengumpulan data.

Rute A: fine-tune dengan repositori openpi

Implementasi referensi: JAX pertama, diuji hanya pada Ubuntu 22.04, didorong oleh objek konfigurasi daripada flag. Jalur PyTorch tiba pada September 2025, divalidasi pada LIBERO. Tiga langkah: konversi data Anda, definisikan konfigurasi, latih dan sajikan.

1. 1
   Kloning dan instal

   openpi menggunakan uv. GIT_LFS_SKIP_SMUDGE adalah yang memungkinkan LeRobot masuk sebagai dependensi tanpa blob LFS.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Konversi data Anda ke dataset LeRobot

   Upstream menyediakan konverter untuk LIBERO dan DROID dan mengharapkan Anda untuk mengadaptasi salah satunya. Pekerjaannya adalah pemetaan kunci.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Tambahkan konfigurasi pelatihan

   Konfigurasi adalah entri TrainConfig di src/openpi/training/config.py. Yang ini mengadaptasi pi05_droid_finetune, dengan pemuat bobot diarahkan ke pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Hitung statistik normalisasi

   Berjalan terhadap nama konfigurasi, bukan dataset. Melewatkannya adalah kegagalan pertama yang klasik di sini.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Latih

   Variabel ini memungkinkan JAX menggunakan 90 persen memori GPU alih-alih default 75. Pada kartu 80 GB, ini menentukan apakah proses berjalan akan bertahan.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Sajikan

   Server mendengarkan di port 8000 dan menjawab kueri observasi; runtime robot Anda adalah kliennya.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Rute B: fine-tune dengan lerobot pi05

Port LeRobot membungkus bobot yang sama dalam CLI yang sudah Anda gunakan untuk ACT dan SmolVLA. Semua yang di bawah ini telah diperiksa terhadap lerobot 0.6.1, rilis sejak 3 Agustus 2026, dan dokumen pi05 pada 23 Agustus 2026. Versi penting di sini: dataset v3.0 tiba dengan 0.4.0 pada Oktober 2025, blog 0.5.0 pada 9 Maret 2026 menyajikan pi0-FAST dan Real-Time Chunking, dan 0.6.0 pada 6 Juli 2026 membuat paket dasar menjadi ringan dan memindahkan deployment ke lerobot-rollout.

Satu hal yang tidak berubah: lerobot-train dan lerobot-record sudah menjadi titik masuk di 0.3.2, Agustus 2025. Sebuah tutorial yang masih memanggil python -m lerobot.scripts.train mendahului perubahan selama setahun dan patut dicurigai juga pada bagian lainnya.

1. 1
   Instal dengan Ekstra yang Tepat

   Sejak 0.6.0, instalasi dasar hanya membawa dependensi ML inti, dan ekstra pi tidak menambahkan kode dataset atau pelatihan, sehingga fine-tune juga memerlukan ekstra pelatihan. Perintah satu baris yang lebih lama akan gagal pada saat import.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentikasi

   Terima lisensi paligemma-3b-pt-224 di browser, lalu masuk ke mesin yang melakukan pelatihan.

   bash

   hf auth login

3. 3
   Tambahkan Statistik Kuantil

   Pi0.5 menormalisasi STATE dan ACTION dengan kuantil, sehingga meta/stats.json memerlukan q01 dan q99. Dataset yang lebih lama hanya berisi min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Fine-tune dari lerobot/pi05_base

   Atur ukuran batch sesuai kemampuan kartu Anda; dokumentasi menggunakan 64 pada LIBERO dengan 80 GB. Berikan bfloat16 secara eksplisit, default konfigurasi adalah float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Jalankan di Lengan Robot

   Pada 0.6.x ini adalah lerobot-rollout: lerobot-record menolak kebijakan dan menolak nama dataset eval_. Base menggerakkan lengan, sentry merekam rollout.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Tiga set default, dan mana yang mencapai pelatih

openpi's TrainConfig adalah referensi, PI05Config LeRobot adalah apa yang digunakan lerobot-train ketika Anda tidak mengatakan apa-apa, dan formulir di sini mengirimkan set ketiga. Kejutan ada pada laju pembelajaran: kedua default upstream mencapai puncaknya pada 2.5e-5, sementara konfigurasi pi05_libero milik openpi sendiri dan platform ini menaikkannya menjadi 5e-5.

Apakah porting-nya akurat? Tim LeRobot menyempurnakan model dasar LIBERO selama 6 ribu langkah lebih lanjut dan membandingkannya dengan angka referensi openpi pada empat suite: rata-rata 97,5 persen berbanding 96,85, unggul pada Libero 10, tertinggal pada Spatial. Rute ini adalah pilihan perkakas, bukan pilihan kualitas.

Realitas 485 ms, dan di mana ia berhenti dapat digunakan

Ini menentukan proyek Anda, jadi ini ditempatkan sebelum tabel biaya. per langkah tindakan yang diukur di sini untuk Pi0.5 adalah 485 ms. Dibandingkan dengan empat lainnya:

Upstream memiliki jawaban, dan separuhnya sudah ada dalam rilis yang dapat Anda instal. Real-Time Chunking menghasilkan potongan berikutnya saat lengan masih mengeksekusi potongan saat ini, kemudian memandu langkah-langkah yang tumpang tindih dari potongan baru agar tetap dekat dengan bagian yang sudah dieksekusi, sehingga lengan tidak macet atau tersentak di sambungan. Bentuk waktu inferensi yang disertakan dalam changelog 0.4.2 untuk Pi0, Pi0.5, dan SmolVLA adalah flag rollout, bukan retrain:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Ini tidak membuat model lebih cepat. Ini menyembunyikan celah: 485 ms masih dihabiskan, tetapi di luar jalur kritis, sehingga antrean tidak kosong di antara potongan. Varian waktu pelatihan dari arXiv 2512.05964 melangkah lebih jauh: model belajar untuk mengkondisikan awalan aksi yang bersih, sehingga pada inferensi tumpang tindih di-inpainting secara keras dengan timestep aliran per-aksi alih-alih dipandu, dan lintasan mundur panduan menghilang. Selama pelatihan, ia mengambil sampel panjang awalan per contoh dan mengambil kerugian aliran pada postfix yang tersisa. Flag itu hanya ada di main, bukan di 0.6.1, dan penundaan yang Anda latih harus tetap di bawah chunk_size.

Dua cara untuk mendapatkan checkpoint Pi0.5

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Ketika tidak berfungsi

• Dataset ditolak: v3 diperlukan
• Memori habis saat pelatihan
• Loss menurun tetapi kebijakan tidak melakukan apa-apa
• Kebijakan membeku di tengah gerakan
• Kebijakan hanya berfungsi dalam satu pengaturan
• Pekerjaan pelatihan macet dalam antrean

Berapa biaya satu kali jalankan

Pi0.5 berada di tingkat mahal karena membutuhkan kartu 80 GB, dan harga spot bergerak, sehingga angkanya adalah rentang daripada harga. Untuk banyak tugas SO-100, latih SmolVLA atau ACT pada tingkat 24 GB terlebih dahulu, pastikan tugas tersebut dapat dipelajari sama sekali, lalu habiskan jam A100 untuk itu. Latih kebijakan pertama Anda menjelaskan alur yang lebih murah itu, dan harga menampilkan tingkat saat ini.

Sebelum menghabiskan malam: GR00T N1.7 against Pi0.5 dan Pi0.5 against SmolVLA menyajikan angka-angka yang sama secara langsung. Arena berisi 85 model VLA dengan 332 hasil benchmark, masing-masing terhubung ke sumbernya, dan latar belakang tentang keluarga tersebut ada di ikhtisar VLA kami.