Pi0.5'i Kendi Robot Verilerinizle Nasıl Eğitirsiniz

Pi0.5, bir politikanın daha önce hiç görmediği bir odada çalışması gerektiğinde başvuracağınız modeldir. Aynı zamanda buradaki beş eğitilebilir politikadan elle ince ayar yapmak için en zorlu olanıdır: yukarı akış deposu öncelikle JAX tabanlıdır, LeRobot portu 0.6.0 sürümünde dağıtımı lerobot-record'dan çıkarmış ve temel kurulumu eğitim için çok küçük hale getirmiştir ve tam bir ince ayar 4090'a sığmaz. Aşağıda: akış eşleştirmesinin çıkarım sırasında maliyeti, iki komut yolu ve sonucun kullanılabilir olup olmadığını belirleyen 485 ms'lik sayı yer almaktadır.

Pi0.5 Gerçekte Nedir

Physical Intelligence, Ekim 2024'te pi0'ı yayınladı: önceden eğitilmiş bir VLM üzerinde akış eşleştirmeli bir görsel-dil-eylem modeli: 3 milyar parametreli PaliGemma artı sıfırdan başlatılan 300M'lik bir eylem uzmanı, toplamda 3.3 milyar. Makale, 7 robot konfigürasyonu ve 68 görevde 10.000 saatin üzerinde robot verisi üzerinde ön eğitimi rapor etmektedir. Daha fazlası pi0 makalesinde.

Pi0.5 (arXiv 2504.16054, 22 Nisan 2025) bu iskeleti korur ve eğitim diyetini değiştirir: web verileri, nesne algılama, robotu eğiten insanlardan gelen sözlü talimatlar, alt görev etiketleri, birçok evdeki robotlardan gelen çapraz-beden verileri. Sonuç, eğitim setinde olmayan evlerde mutfakları temizleyen bir robottur. openpi README, başlığın içermediği bir ayrıntı ekler: yayınlanan pi0.5, bilgi izolasyonu (arXiv 2505.23705) ile eğitilmiştir.

Akış eşleştirmenin eğitim ve çıkarım hakkında değiştirdikleri

SO-100 üzerinde eğitebileceğiniz bir ilke eylemleri doğrudan regresyonla (ACT) veya onları tokenize edip otoregresif olarak çözerek (pi0-FAST) gerçekleştirir. Akış eşleştirme ikisini de yapmaz: gürültüyü temiz bir eylem öbeğine taşıyan bir vektör alanı öğrenir, sonra onu entegre eder. pi0 makalesi 0.1 adım boyutunda 10 entegrasyon adımı kullanır; LeRobot'un pi05 yapılandırması aynı num_inference_steps: int = 10 değerini taşır.

• Eğitim: kayıp, gürültülü bir eylem öbeğini regresyonla işler. Ayarlanacak bir belirteçleyici yok, eklem açılarının ayrıklaştırılması yok.
• Çıkarım: bir öbek, eylem uzmanı üzerinden on ileri geçişe mal olur. Bu yapısal bir durumdur, bir ayarlama problemi değildir.
• Çıktı: dahili olarak doldurulmuş, 32 boyutlu sürekli eylemler, robotunuzun sahip olduğu boyutlar üzerinden kayıp alınır. 6-Serbestlik Dereceli bir kol artı tutucu 7 kullanır.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma omurgası ve önündeki geçit

PaliGemma (arXiv 2407.07726), yaklaşık 3B parametreye sahip bir Gemma-2B dil modeli üzerinde SigLIP-So400m bir görüntü kodlayıcıdır. Pi0.5, belirteçleyicisini (tokenizer) ondan miras alır ve bu belirteçleyici, erişimi kısıtlı bir depoda bulunur. İlk çalıştırmanın, ilk eğitim adımı öncesinde başarısız olmasının en yaygın yolu budur.

Başlamadan önce: veri kümesi formatı, bölümler, donanım

LeRobot'taki Pi0.5, lerobot 0.4.0 ile Ekim 2025'te gelen v3.0 düzeninde bir LeRobot veri kümesi okur: sınırlar dosya adlarında değil meta/episodes/ içinde olmak üzere, her bölüm için bir dosya yerine her Parquet ve MP4 dosyası başına birden fazla bölüm bulunur. masaüstü istemcisi ile kaydedin veya ilk veri kümenizi kaydedin adımlarını izleyin, böylece hazır olur.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platform, Pi0.5 için en az 50 bölüm istiyor; bu, GR00T ve ACT ile aynı taban. Ön eğitim asıl işi yapar, bu yüzden 50 temiz bölüm 200 özensiz bölümden daha iyidir. Bu konuda yeni misiniz? Şuradan başlayın: veri toplama kılavuzu.

Rota A: openpi deposu ile ince ayar yapın

Referans uygulama: Öncelikle JAX, yalnızca Ubuntu 22.04 üzerinde test edildi, bayraklar yerine yapılandırma nesneleri tarafından yönlendiriliyor. Eylül 2025'te bir PyTorch yolu geldi ve LIBERO üzerinde doğrulandı. Üç adım: verilerinizi dönüştürün, bir yapılandırma tanımlayın, eğitin ve sunun.

1. 1
   Klonlayın ve Kurun

   openpi, uv kullanır. GIT_LFS_SKIP_SMUDGE, LeRobot'un LFS blobları olmadan bir bağımlılık olarak gelmesini sağlar.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Verilerinizi bir LeRobot veri kümesine dönüştürün

   Yukarı akış, LIBERO ve DROID için dönüştürücüler sağlar ve bunlardan birini uyarlamanızı bekler. İş, anahtar eşlemesidir.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Bir eğitim yapılandırması ekleyin

   Yapılandırmalar, src/openpi/training/config.py içindeki TrainConfig girdileridir. Bu, ağırlık yükleyicisi pi05_base'e işaret eden pi05_droid_finetune'u uyarlar.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Norm istatistiklerini hesaplayın

   Veri kümesine değil, yapılandırma adına göre çalışır. Bunu atlamak, buradaki klasik ilk hatadır.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Eğitin

   Bu değişken, JAX'in varsayılan %75 yerine GPU belleğinin %90'ını kullanmasına olanak tanır. 80 GB'lık bir kartta, bu, çalıştırmanın başarılı olup olmayacağını belirler.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Sunun

   Sunucu 8000 numaralı bağlantı noktasını dinler ve gözlem sorgularını yanıtlar; robot çalışma zamanınız istemcidir.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

B Rotası: lerobot pi05 ile ince ayar yapın

LeRobot portu, zaten kullandığınız CLI'da aynı ağırlıkları şunlar için sarmalar: ACT ve SmolVLA. Aşağıdaki her şey, 3 Ağustos 2026'dan bu yana çıkan lerobot 0.6.1 sürümü ve 23 Ağustos 2026 tarihli pi05 belgeleriyle kontrol edildi. Sürümler burada önemlidir: v3.0 veri kümeleri Ekim 2025'te 0.4.0 ile geldi, 9 Mart 2026 tarihli 0.5.0 blogu pi0-FAST ve Gerçek Zamanlı Parçalama'yı sunar ve 6 Temmuz 2026'daki 0.6.0 sürümü temel paketi hafifletti ve dağıtımı lerobot-rollout'a taşıdı.

Tek bir şey değişmedi: lerobot-train ve lerobot-record, Ağustos 2025'te 0.3.2'de zaten giriş noktalarıydı. Hala python -m lerobot.scripts.train komutunu çağıran bir eğitim, bir yıllık değişikliklerden öncesine aittir ve geri kalan kısımlarına da güvenilmemelidir.

1. 1
   Doğru ekstralarla kurun

   0.6.0 sürümünden itibaren temel kurulum yalnızca çekirdek ML bağımlılıklarını içerir ve pi eklentisi hiçbir veri kümesi veya eğitim kodu eklemez, bu nedenle ince ayar için eğitim eklentisi de gereklidir. Daha eski tek satırlık komutlar burada içe aktarma sırasında başarısız olur.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Kimlik Doğrulama

   Bir tarayıcıda paligemma-3b-pt-224 lisansını kabul edin, ardından eğitim yapan makinede oturum açın.

   bash

   hf auth login

3. 3
   Kantil İstatistikleri Ekle

   Pi0.5, STATE ve ACTION'ı kantillerle normalleştirir, bu nedenle meta/stats.json'ın q01 ve q99'a ihtiyacı vardır. Daha eski veri kümeleri yalnızca min, max, mean, std içerir.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   lerobot/pi05_base'den ince ayar yapın

   Kartınızın kaldırabileceği toplu iş boyutunu ayarlayın; belgeler 80 GB'lık LIBERO'da 64 kullanır. bfloat16'yı açıkça belirtin, yapılandırma varsayılanı float32'dir.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Kolda çalıştırın

   0.6.x'te bu lerobot-rollout'tur: lerobot-record bir politikayı reddeder ve eval_ veri kümesi adlarını kabul etmez. Base kolu sürer, sentry ise yayılımı kaydeder.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Üç varsayılan kümesi ve hangilerinin eğiticilere ulaştığı

openpi's TrainConfig referanstır, LeRobot'ın PI05Config'i, siz hiçbir şey söylemediğinizde lerobot-train'in kullandığıdır ve buradaki form üçüncü bir set gönderir. Şaşırtıcı olan öğrenme oranıdır: hem yukarı akış varsayılanları 2.5e-5'te zirve yaparken, openpi'nin kendi pi05_libero yapılandırması ve bu platform bunu 5e-5'e çıkarır.

Port sadık mı? LeRobot ekibi, LIBERO temel modelini 6 bin adım daha ince ayarladı ve openpi'nin dört süitteki referans sayılarıyla karşılaştırdı: %96.85'e karşı %97.5 ortalama, Libero 10'da önde, Spatial'da geride. Bu yol, bir kalite seçimi değil, bir araç seçimidir.

485 ms gerçeği ve nerede kullanılamaz hale geldiği

Bu, projenizi belirler, bu yüzden maliyet tablosundan önce gelir. Pi0.5 için burada ölçülen eylem adımı başına 485 ms'dir. Diğer dördüne karşı:

Yukarı akışın bir cevabı var ve bunun yarısı zaten yükleyebileceğiniz sürümde mevcut. Gerçek Zamanlı Parçalama (Real-Time Chunking), kol mevcut parçayı yürütürken bir sonraki parçayı oluşturur, ardından yeni parçanın çakışan adımlarını zaten yürütülmüş kısma yakın kalacak şekilde yönlendirir, böylece kol ek yerinde duraksamaz veya sarsılmaz. Pi0, Pi0.5 ve SmolVLA için 0.4.2 değişiklik günlüğünde yer alan çıkarım zamanı formu bir dağıtım bayrağıdır, yeniden eğitim gerektirmez:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Bu, modeli daha hızlı yapmaz. Boşluğu gizler: 485 ms hala harcanır, ancak kritik yolun dışında olduğu için parçalar arasında kuyruk boşalmaz. arXiv 2512.05964'teki eğitim zamanı varyantı daha da ileri gider: model, temiz bir eylem öneki üzerinde koşullandırmayı öğrenir, böylece çıkarım sırasında çakışma, yönlendirilmek yerine eylem başına akış zaman adımlarıyla sert bir şekilde doldurulur ve yönlendirme geri geçişi ortadan kalkar. Eğitim sırasında, örnek başına bir önek uzunluğu örnekler ve kalan sonek üzerindeki akış kaybını alır. Bu bayrak yalnızca ana dalda bulunur, 0.6.1'de değil ve eğitim yaptığınız gecikme chunk_size'ın altında kalmalıdır.

Pi0.5 kontrol noktası edinmenin iki yolu

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Çalışmadığında

• Veri kümesi reddedildi: v3 gerekli
• Eğitim sırasında bellek yetersizliği
• Kayıp düşüyor ama politika hiçbir şey yapmıyor
• Politika hareketin ortasında donuyor
• Politika sadece tek bir kurulumda çalışıyor
• Eğitim işi kuyrukta takılı kaldı

Tek bir çalıştırmanın maliyeti

Pi0.5, 80 GB'lık bir karta ihtiyaç duyduğu ve spot fiyatlar değiştiği için pahalı seviyede yer almaktadır, bu nedenle rakam bir fiyattan ziyade bir aralıktır. Birçok SO-100 görevi için, önce SmolVLA veya ACT'yi 24 GB seviyesinde eğitin, görevin öğrenilebilir olup olmadığını doğrulayın, ardından A100 saatlerini buna harcayın. İlk politikanızı eğitin bu daha ucuz döngüyü anlatır ve fiyatlandırma mevcut seviyeleri içerir.

Bir akşamınızı ayırmadan önce: GR00T N1.7 ile Pi0.5 karşılaştırması ve Pi0.5 ile SmolVLA karşılaştırması aynı sayıları karşılaştırır. Arena 332 kıyaslama sonucuyla 85 VLA modelini barındırır, her biri kaynağına bağlıdır ve aile hakkında arka plan bilgisi şurada bulunmaktadır: VLA genel bakışımız.