Ako trénovať Pi0.5 na vlastných robotických dátach

Pi0.5 je model, po ktorom siahnete, keď politika musí fungovať v miestnosti, ktorú nikdy predtým nevidela. Je to tiež najťažkopádnejší z piatich trénovateľných politík tu na jemné doladenie ručne: upstream repozitár je primárne JAX, port LeRobot presunul nasadenie z lerobot-record vo verzii 0.6.0 a základná inštalácia sa stala príliš malou na trénovanie, a úplné jemné doladenie sa nezmestí na 4090. Nižšie: čo párovanie tokov stojí pri inferencii, dve cesty príkazov a číslo 485 ms, ktoré rozhoduje o tom, či je výsledok použiteľný.

Čo je Pi0.5 v skutočnosti

Physical Intelligence publikoval pi0 v októbri 2024: model s párovaním tokov, model vízie-jazyka-akcie založený na predtrénovanom VLM: PaliGemma s 3 miliardami parametrov plus 300M akčný expert inicializovaný od nuly, spolu 3.3 miliardy. Práca uvádza predtrénovanie na viac ako 10 000 hodinách robotických dát naprieč 7 konfiguráciami robotov a 68 úlohami. Viac v článku o pi0.

Pi0.5 (arXiv 2504.16054, 22. apríl 2025) si zachováva túto kostru a mení tréningovú diétu: webové dáta, detekcia objektov, verbálne inštrukcie od ľudí koučujúcich robota, štítky podúloh, dáta z rôznych robotov v mnohých domácnostiach. Výsledkom je robot čistiaci kuchyne v domoch, ktoré neboli v tréningovej sade. Súbor README projektu openpi pridáva detail, ktorý názov neobsahuje: vydaný pi0.5 bol trénovaný s izoláciou vedomostí (arXiv 2505.23705).

Čo flow matching mení na tréningu a inferencii

Politika ktorú môžete trénovať na SO-100, buď priamo regresuje akcie (ACT) alebo ich tokenizuje a dekóduje autoregresívne (pi0-FAST). Flow matching nerobí ani jedno: učí sa vektorové pole, ktoré prenáša šum do čistého akčného bloku, potom ho integruje. Práca pi0 používa 10 integračných krokov s veľkosťou kroku 0.1; konfigurácia pi05 LeRobotu obsahuje rovnaký num_inference_steps: int = 10.

• Trénovanie: strata regresuje zašumený akčný blok. Žiadny tokenizér na ladenie, žiadna diskretizácia vašich kĺbových uhlov.
• Inferencia: jeden blok stojí desať dopredných prechodov cez akčného experta. To je štrukturálne, nie problém ladenia.
• Výstup: spojité akcie dimenzie 32, interne vyplnené, strata sa berie z dimenzií, ktoré má váš robot. 6-DoF rameno plus uchopovač používa 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma chrbtica a brána pred ňou

PaliGemma (arXiv 2407.07726) je SigLIP-So400m vizuálny enkodér na jazykovom modeli Gemma-2B, s približne 3B parametrami. Pi0.5 dedí svoj tokenizér a tento tokenizér sa nachádza v uzamknutom repozitári. Toto je najčastejší spôsob, ako prvý beh zlyhá, ešte pred prvým tréningovým krokom.

Predtým, ako začnete: formát datasetu, epizódy, hardvér

Pi0.5 v LeRobot číta dataset LeRobot vo formáte v3.0, ktorý bol predstavený s lerobot 0.4.0 v októbri 2025: mnoho epizód na súbor Parquet a MP4 namiesto jedného súboru na epizódu, s hranicami v meta/episodes/ namiesto názvov súborov. Nahrávajte pomocou desktopového klienta alebo postupujte podľa nahrajte svoj prvý dataset a máte to.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platforma vyžaduje aspoň 50 epizód pre Pi0.5, rovnaký minimálny počet ako pre GR00T a ACT. Predtréning robí tú ťažkú prácu, takže 50 čistých epizód je lepších ako 200 nedbalých. Ste v tom noví? Začnite s sprievodcom zberu dát.

Trasa A: doladenie s repozitárom openpi

Referenčná implementácia: najprv JAX, testovaná iba na Ubuntu 22.04, riadená konfiguračnými objektmi namiesto príznakov. Cesta pre PyTorch dorazila v septembri 2025, validovaná na LIBERO. Tri kroky: konvertujte svoje dáta, definujte konfiguráciu, trénujte a servírujte.

1. 1
   Klonovanie a inštalácia

   openpi používa uv. GIT_LFS_SKIP_SMUDGE umožňuje, aby LeRobot prišiel ako závislosť bez LFS blobov.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Konvertujte svoje dáta na dataset LeRobot

   Upstream dodáva konvertory pre LIBERO a DROID a očakáva, že si jeden prispôsobíte. Práca spočíva v mapovaní kľúčov.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Pridajte tréningovú konfiguráciu

   Konfigurácie sú záznamy TrainConfig v src/openpi/training/config.py. Táto prispôsobuje pi05_droid_finetune, s načítavačom váh smerujúcim na pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Vypočítajte normálne štatistiky

   Spúšťa sa proti názvu konfigurácie, nie datasetu. Preskočenie je tu klasickou prvou chybou.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Trénujte

   Premenná umožňuje JAXu použiť 90 percent pamäte GPU namiesto predvolených 75. Na 80 GB karte to rozhoduje o tom, či beh prežije.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Servírujte to

   Server počúva na porte 8000 a odpovedá na dopyty pozorovania; váš robotický runtime je klient.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Cesta B: dolaďovanie s lerobot pi05

Port LeRobot obaluje rovnaké váhy v CLI, ktoré už používate pre ACT a SmolVLA. Všetko nižšie bolo skontrolované s lerobot 0.6.1, vydaním od 3. augusta 2026, a dokumentáciou pi05 z 23. augusta 2026. Verzie sú tu dôležité: datasety v3.0 prišli s 0.4.0 v októbri 2025, blog 0.5.0 z 9. marca 2026 predstavuje pi0-FAST a Real-Time Chunking, a 0.6.0 zo 6. júla 2026 odľahčil základný balík a presunul nasadenie na lerobot-rollout.

Jedna vec sa nezmenila: lerobot-train a lerobot-record už boli vstupné body vo verzii 0.3.2, august 2025. Návod, ktorý stále volá python -m lerobot.scripts.train, predchádza rok zmien a je hodný nedôvery aj v ostatných veciach.

1. 1
   Inštalácia so správnymi doplnkami

   Od verzie 0.6.0 základná inštalácia obsahuje iba základné ML závislosti a doplnok pi nepridáva žiadny kód pre dáta ani trénovanie, takže jemné doladenie si vyžaduje aj doplnok pre trénovanie. Staršie jedno-riadkové príkazy tu zlyhajú pri importe.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentifikácia

   Prijmite licenciu paligemma-3b-pt-224 v prehliadači a potom sa prihláste na stroji, ktorý trénuje.

   bash

   hf auth login

3. 3
   Pridanie kvantilových štatistík

   Pi0.5 normalizuje STATE a ACTION pomocou kvantilov, takže meta/stats.json potrebuje q01 a q99. Staršie datasety obsahujú iba min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Jemné doladenie z lerobot/pi05_base

   Nastavte veľkosť dávky tak, aby ju vaša karta zvládla; dokumentácia používa 64 na LIBERO pri 80 GB. Explicitne uveďte bfloat16, predvolená konfigurácia je float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Spustite to na ramene

   Vo verzii 0.6.x je to lerobot-rollout: lerobot-record odmieta politiku a odmieta názvy datasetov eval_. Base riadi rameno, sentry zaznamenáva rollout.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Tri sady predvolených nastavení a ktoré z nich sa dostanú k trénerovi

TrainConfig od openpi je referenciou, PI05Config od LeRobot je to, čo lerobot-train používa, keď nič nepoviete, a formulár tu posiela tretiu sadu. Prekvapením je rýchlosť učenia: obe predvolené hodnoty upstreamu dosahujú maximum 2.5e-5, zatiaľ čo vlastná konfigurácia pi05_libero od openpi a táto platforma ju zvyšujú na 5e-5.

Je port verný? Tím LeRobot doladil základný model LIBERO o ďalších 6 tisíc krokov a porovnal ho s referenčnými číslami openpi na štyroch sadách: 97.5 percenta priemeru oproti 96.85, vpredu na Libero 10, pozadu na Spatial. Táto cesta je voľbou nástrojov, nie voľbou kvality.

Realita 485 ms a kde prestáva byť použiteľná

Toto rozhoduje o vašom projekte, takže to prichádza pred tabuľkou nákladov. na krok akcie meraná tu pre Pi0.5 je 485 ms. V porovnaní s ostatnými štyrmi:

Upstream má odpoveď a polovica z nej je už v vydaní, ktoré si môžete nainštalovať. Real-Time Chunking generuje ďalší chunk, zatiaľ čo rameno stále vykonáva ten aktuálny, a potom vedie prekrývajúce sa kroky nového chunku, aby zostali blízko už vykonanej časti, takže rameno sa nezastaví ani netrhne na spoji. Forma pre čas inferencie bola dodaná v changelogu 0.4.2 pre Pi0, Pi0.5 a SmolVLA a je to príznak pre nasadenie, nie pre preškolenie:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Nezrýchľuje to model. Skrýva to medzeru: 485 ms sa stále spotrebuje, ale mimo kritickej cesty, takže fronta nevyschne medzi chunkmi. Variant pre čas trénovania z arXiv 2512.05964 ide ďalej: model sa učí podmieňovať sa na čistom prefixe akcie, takže pri inferencii je prekrytie pevne vyplnené časovými krokmi toku pre každú akciu namiesto vedenia, a spätný prechod vedenia zmizne. Počas trénovania vzorkuje dĺžku prefixu pre každý príklad a berie stratu toku na zostávajúcom postfixe. Tento príznak je len na main, nie vo verzii 0.6.1, a oneskorenie, pre ktoré trénujete, musí zostať pod chunk_size.

Dva spôsoby, ako získať checkpoint Pi0.5

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Keď to nefunguje

• Dátová sada zamietnutá: vyžaduje sa v3
• Nedostatok pamäte počas tréningu
• Strata klesá, ale politika nič nerobí
• Politika zamrzne uprostred pohybu
• Politika funguje len v jednom nastavení
• Tréningová úloha uviaznutá vo fronte

Čo stojí jedno spustenie

Pi0.5 sa nachádza v drahej úrovni, pretože potrebuje 80 GB kartu a spotové ceny sa menia, takže údaj je skôr rozsahom než pevnou cenou. Pre mnohé úlohy SO-100 trénujte SmolVLA alebo ACT na 24 GB úrovni najprv, potvrďte, že úloha je vôbec naučiteľná, a potom na ňu strávte hodiny A100. Trénujte svoju prvú politiku prechádza týmto lacnejším cyklom a ceny obsahuje aktuálne úrovne.

Predtým, než strávite večer: GR00T N1.7 proti Pi0.5 a Pi0.5 proti SmolVLA porovnávajú rovnaké čísla priamo. Aréna obsahuje 85 VLA modelov s 332 výsledkami benchmarkov, každý prepojený so svojím zdrojom, a pozadie o rodine nájdete v našom prehľade VLA.