Si të trajnoni Pi0.5 në të dhënat tuaja të robotit

Pi0.5 është modeli që zgjidhni kur një politikë duhet të funksionojë në një dhomë që nuk e ka parë kurrë. Është gjithashtu më i vështiri nga pesë politikat e trajnueshme këtu për të akorduar imët me dorë: depoja upstream është JAX së pari, porti LeRobot e zhvendosi vendosjen jashtë lerobot-record në 0.6.0 dhe e bëri instalimin bazë shumë të vogël për t'u trajnuar, dhe një akordim i plotë nuk përshtatet në një 4090. Më poshtë: çfarë përputhja e fluksit kushton në inferencë, dy rrugët e komandës, dhe numri 485 ms që vendos nëse rezultati është i përdorshëm.

Çfarë është në të vërtetë Pi0.5

Physical Intelligence publikoi pi0 në tetor 2024: një model vizion-gjuhë-veprim me përputhje fluksi në një VLM të paratrajnuar: PaliGemma me 3 miliardë parametra plus një ekspert veprimi 300M i inicializuar nga e para, 3.3 miliardë në total. Punimi raporton paratrajnimin në mbi 10,000 orë të dhëna robotike në 7 konfigurime robotike dhe 68 detyra. Më shumë në artikullin pi0.

Pi0.5 (arXiv 2504.16054, 22 Prill 2025) ruan atë skelet dhe ndryshon dietën e trajnimit: të dhëna nga uebi, zbulimi i objekteve, udhëzime verbale nga njerëzit që udhëzojnë robotin, etiketat e nën-detyrave, të dhëna ndër-trupi nga robotë në shumë shtëpi. Rezultati është një robot që pastron kuzhinat në shtëpi që nuk ishin në grupin e trajnimit. README i openpi shton një detaj që titulli nuk e bën: pi0.5 i lëshuar u trajnua me izolim të njohurive (arXiv 2505.23705).

Çfarë ndryshon përputhja e fluksit në lidhje me trajnimin dhe inferencën

Një politikë që mund të trajnohet në një SO-100 ose regreson veprimet direkt (ACT) ose i tokenizon ato dhe i dekodon autoregresivisht (pi0-FAST). Përputhja e fluksit nuk bën asnjërën: ajo mëson një fushë vektoriale që transporton zhurmën në një copë veprimi, pastaj e integron atë. Punimi pi0 përdor 10 hapa integrimi me madhësi hapi 0.1; konfigurimi pi05 i LeRobot ka të njëjtën num_inference_steps: int = 10.

• Trajnimi: humbja regreson një copë veprimi të zhurmuar. Asnjë tokenizues për t'u akorduar, asnjë diskretizim i këndeve tuaja të nyjeve.
• Inferenca: një copë kushton dhjetë kalime përpara përmes ekspertit të veprimit. Kjo është strukturore, jo një problem akordimi.
• Dalja: veprime të vazhdueshme të dimensionit 32, të mbushura brenda, humbja merret në dimensionet që ka roboti juaj. Një krah 6-DoF plus kapëse përdor 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

Shtylla kurrizore PaliGemma, dhe porta para saj

PaliGemma (arXiv 2407.07726) është një enkoder vizual SigLIP-So400m në një model gjuhe Gemma-2B, rreth 3B parametra. Pi0.5 trashëgon tokenizuesin e tij, dhe ai tokenizues ndodhet në një depozitë të mbyllur. Kjo është mënyra më e zakonshme që një ekzekutim i parë dështon, para hapi i trajnimit.

Para se të filloni: formati i grupit të të dhënave, episodet, hardueri

Pi0.5 në LeRobot lexon një grup të dhënash LeRobot në formatin v3.0, i cili erdhi me lerobot 0.4.0 në tetor 2025: shumë episode për skedar Parquet dhe MP4 në vend të një skedari për episod, me kufij në meta/episodes/ në vend të emrave të skedarëve. Regjistroni me klientin e desktopit ose ndiqni regjistroni grupin tuaj të parë të të dhënave dhe e keni.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platforma kërkon të paktën 50 episode për Pi0.5, i njëjti prag si GR00T dhe ACT. Para-trajnimi bën punën e rëndë, kështu që 50 episode të pastra janë më të mira se 200 të çrregullta. I ri në këtë? Filloni me udhëzuesin e mbledhjes së të dhënave.

Rruga A: rregullim i imët me depozitën openpi

Implementimi i referencës: JAX së pari, i testuar vetëm në Ubuntu 22.04, i drejtuar nga objekte konfigurimi dhe jo nga flamuj. Një rrugë PyTorch mbërriti në shtator 2025, e vërtetuar në LIBERO. Tre hapa: konvertoni të dhënat tuaja, përcaktoni një konfigurim, trajnoni dhe shërbeni.

1. 1
   Klononi dhe instaloni

   openpi përdor uv. GIT_LFS_SKIP_SMUDGE është ajo që lejon LeRobot të vijë si një varësi pa blob-e LFS.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Konvertoni të dhënat tuaja në një dataset LeRobot

   Upstream ofron konvertues për LIBERO dhe DROID dhe pret që ju të përshtatni njërin. Puna është hartimi i çelësave.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Shtoni një konfigurim trajnimi

   Konfigurimet janë hyrje TrainConfig në src/openpi/training/config.py. Ky përshtat pi05_droid_finetune, me ngarkuesin e peshës të drejtuar te pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Llogaritni statistikat e normës

   Ekzekutohet kundrejt emrit të konfigurimit, jo dataset-it. Anashkalimi i tij është dështimi klasik i parë këtu.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Trajnoni

   Variabli lejon JAX të përdorë 90 për qind të memories së GPU-së në vend të 75-ës së paracaktuar. Në një kartë 80 GB kjo vendos nëse ekzekutimi mbijeton.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Shërbejeni

   Serveri dëgjon në portën 8000 dhe u përgjigjet kërkesave të vëzhgimit; runtime-i i robotit tuaj është klienti.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Rruga B: rregullim i imët me lerobot pi05

Porta LeRobot përfshin të njëjtat pesha në CLI që tashmë përdorni për ACT dhe SmolVLA. Gjithçka më poshtë u kontrollua kundrejt lerobot 0.6.1, versionit që nga 3 gusht 2026, dhe dokumentacionit të pi05 më 23 gusht 2026. Versionet kanë rëndësi këtu: grupet e të dhënave v3.0 mbërritën me 0.4.0 në tetor 2025, blogu 0.5.0 i 9 marsit 2026 prezanton pi0-FAST dhe Real-Time Chunking, dhe 0.6.0 më 6 korrik 2026 e bëri paketën bazë të lehtë dhe e zhvendosi vendosjen në lerobot-rollout.

Një gjë nuk ndryshoi: lerobot-train dhe lerobot-record ishin tashmë pika hyrëse në 0.3.2, gusht 2025. Një tutorial që ende thërret python -m lerobot.scripts.train i paraprin një viti ndryshimesh dhe nuk është i besueshëm as për pjesën tjetër.

1. 1
   Instaloni me shtesat e duhura

   Që nga versioni 0.6.0, instalimi bazë përmban vetëm varësitë thelbësore të ML-së, dhe shtesa pi nuk shton asnjë kod të të dhënave apo trajnimit, kështu që një fine-tune kërkon edhe shtesën e trajnimit. Komandat e vjetra me një rresht dështojnë këtu gjatë importimit.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentifikohuni

   Pranoni licencën paligemma-3b-pt-224 në një shfletues, pastaj kyçuni në makinën që kryen trajnimin.

   bash

   hf auth login

3. 3
   Shtoni statistikat e kuantileve

   Pi0.5 normalizon STATE dhe ACTION me kuantile, kështu që meta/stats.json ka nevojë për q01 dhe q99. Setet e të dhënave të vjetra përmbajnë vetëm min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Fine-tune nga lerobot/pi05_base

   Vendosni madhësinë e batch-it sipas asaj që karta juaj mund të përballojë; dokumentacioni përdor 64 në LIBERO me 80 GB. Kaloni bfloat16 në mënyrë eksplicite, parazgjedhja e konfigurimit është float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Ekzekutojeni në krah

   Në 0.6.x kjo është lerobot-rollout: lerobot-record refuzon një policy dhe refuzon emrat e seteve të të dhënave eval_. Base drejton krahun, sentry regjistron rollout-in.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Tre grupe parazgjedhjesh, dhe cilat prej tyre arrijnë te trajnuesi

TrainConfig i openpi është referenca, PI05Config i LeRobot është ajo që lerobot-train përdor kur nuk thoni asgjë, dhe formulari këtu dërgon një grup të tretë. Surpriza është shkalla e të mësuarit: të dy parazgjedhjet e sipërme arrijnë kulmin në 2.5e-5, ndërsa konfigurimi pi05_libero i openpi dhe kjo platformë e rrisin atë në 5e-5.

A është i besueshëm porti? Ekipi i LeRobot rregulloi modelin bazë LIBERO për 6 mijë hapa të tjerë dhe e krahasoi me numrat referencë të openpi në katër suita: 97.5 për qind mesatarisht kundrejt 96.85, përpara në Libero 10, prapa në Spatial. Rruga është një zgjedhje mjetesh, jo cilësie.

Realiteti i 485 ms, dhe ku pushon të jetë i përdorshëm

Kjo vendos për projektin tuaj, prandaj vjen para tabelës së kostos. për hap veprimi e matur këtu për Pi0.5 është 485 ms. Kundrejt katër të tjerave:

Upstream ka një përgjigje, dhe gjysma e saj është tashmë në versionin që mund të instaloni. Chunking në Kohë Reale gjeneron copën tjetër ndërsa krahu është ende duke ekzekutuar atë aktualen, pastaj udhëzon hapat mbivendosës të copës së re të qëndrojnë afër pjesës së ekzekutuar tashmë, në mënyrë që krahu të mos ngecë ose të dridhet në bashkim. Forma e kohës së inferencës u dërgua në changelog-un 0.4.2 për Pi0, Pi0.5 dhe SmolVLA dhe është një flamur shpërndarjeje, jo një ritrajnim:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Nuk e bën modelin më të shpejtë. Ajo fsheh boshllëkun: 485 ms ende shpenzohen, por jashtë rrugës kritike, kështu që radha nuk thahet midis copave. Varianti i kohës së trajnimit nga arXiv 2512.05964 shkon më tej: modeli mëson të kushtëzohet nga një prefiks veprimi i pastër, kështu që në inferencë mbivendosja është e pikturuar fort me hapa kohorë të rrjedhës për veprim në vend të udhëzuar, dhe kalimi i pasmë i udhëzimit zhduket. Gjatë trajnimit, ai merr një gjatësi prefiksi për shembull dhe merr humbjen e rrjedhës në prapashtesën e mbetur. Ai flamur ekziston vetëm në main, jo në 0.6.1, dhe vonesa për të cilën trajnoni duhet të mbetet nën chunk_size.

Dy mënyra për të marrë një pikë kontrolli Pi0.5

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Kur nuk funksionon

• Set i të dhënave i refuzuar: kërkohet v3
• Mungesë memorie gjatë trajnimit
• Humbja bie, por politika nuk bën asgjë
• Politika ngrin në mes të lëvizjes
• Politika funksionon vetëm në një konfigurim
• Puna e trajnimit ngecur në radhë

Sa kushton një ekzekutim

Pi0.5 ndodhet në nivelin e shtrenjtë sepse kërkon një kartë 80 GB, dhe çmimet spot lëvizin, kështu që shifra është një interval dhe jo një çmim. Për shumë detyra SO-100, trajnoni SmolVLA ose ACT në nivelin 24 GB fillimisht, konfirmoni që detyra është e mësimshme, pastaj shpenzoni orë A100 për të. Trajnoni politikën tuaj të parë përshkruan atë cikël më të lirë, dhe çmimet përmban nivelet aktuale.

Para se të angazhoheni për një mbrëmje: dhe paraqesin të njëjtat numra kokë më kokë. përmban 85 modele VLA me 332 rezultate benchmark, secila e lidhur me burimin e saj, dhe informacione rreth familjes gjenden në .