Hogyan képezzük a Pi0.5-öt saját robotadatainkon

A Pi0.5 az a modell, amihez akkor nyúlsz, ha egy irányelvnek olyan szobában kell működnie, amit még sosem látott. Ez az öt betanítható irányelv közül a legnehezebben kezelhető itt, ha kézzel finomhangoljuk : az upstream repository JAX-alapú, a LeRobot port a 0.6.0-ás verzióban kivette a telepítést a lerobot-recordból, és az alaptelepítés túl kicsi lett a betanításhoz, ráadásul egy teljes finomhangolás nem fér el egy 4090-esen. Alább: mennyibe kerül a flow matching az inferencia során, a két parancsútvonal, és a 485 ms-os szám, ami eldönti, hogy az eredmény használható-e.

Mi is valójában a Pi0.5

A Physical Intelligence 2024 októberében publikálta a pi0-t: egy flow matching látás-nyelv-akció modell egy előre betanított VLM-en: PaliGemma 3 milliárd paraméterrel, plusz egy 300M-os akció szakértő, ami a nulláról lett inicializálva, összesen 3.3 milliárd. A tanulmány több mint 10 000 órányi robotadat előzetes betanításáról számol be, 7 robotkonfiguráción és 68 feladaton keresztül. További részletek a pi0 cikkben.

A Pi0.5 (arXiv 2504.16054, 2025. április 22.) megtartja ezt a vázat és megváltoztatja a képzési étrendet: webes adatok, objektumfelismerés, emberi verbális utasítások a robot edzéséhez, alfeladat címkék, kereszt-megtestesülési adatok számos otthonban lévő robotoktól. Az eredmény egy robot, amely olyan házakban takarít konyhákat, amelyek nem szerepeltek a képzési halmazban. Az openpi README hozzátesz egy részletet, amit a cím nem: a kiadott pi0.5 tudásizolációval (arXiv 2505.23705) lett kiképezve.

Amit a flow matching megváltoztat a képzésben és a következtetésben

Egy szabályzat amit egy SO-100-on betaníthat, vagy közvetlenül regresszálja az akciókat (ACT) vagy tokenizálja és autoregresszíven dekódolja azokat (pi0-FAST). Az áramlásegyeztetés egyiket sem teszi: egy olyan vektoros mezőt tanul meg, amely zajt szállít egy tiszta akciócsomag-ba, majd integrálja azt. A pi0 tanulmány 10 integrációs lépést használ 0.1 lépésmérettel; a LeRobot pi05 konfigurációja ugyanazt a `num_inference_steps: int = 10` értéket tartalmazza.

• Betanítás: a veszteség egy zajos akciócsomagot regresszál. Nincs finomhangolható tokenizáló, nincs az ízületi szögek diszkretizálása.
• Inferálás: egy csomag tíz előremenő passzt igényel az akció-szakértőn keresztül. Ez strukturális, nem finomhangolási probléma.
• Kimenet: 32 dimenziós folytonos akciók, belsőleg kitöltve, a veszteség a robotod dimenzióin számítva. Egy 6-szabadságfokú kar plusz gripper 7-et használ.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

A PaliGemma gerinc, és az előtte lévő kapu

PaliGemma (arXiv 2407.07726) egy SigLIP-So400m látáskódoló egy Gemma-2B nyelvi modellen, körülbelül 3B paraméterrel. A Pi0.5 örökli a tokenizálóját, és ez a tokenizáló egy zárt tárolóban található. Ez a leggyakoribb módja annak, hogy egy első futtatás meghaljon, még az első betanítási lépés.

Mielőtt elkezdené: adathalmaz formátum, epizódok, hardver

A Pi0.5 a LeRobotban egy LeRobot adathalmazt olvas be v3.0 elrendezésben, amely a lerobot 0.4.0-val érkezett 2025 októberében: sok epizód Parquet és MP4 fájlonként egy fájl helyett epizódonként, a határokkal a meta/episodes/ mappában a fájlnevek helyett. Rögzítsen a asztali klienssel vagy kövesse a első adathalmaz rögzítése útmutatót, és máris megvan.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

A platform legalább 50 epizódot igényel a Pi0.5-höz, ugyanazt a minimumot, mint a GR00T és az ACT. Az előképzés végzi a nehéz munkát, így 50 tiszta epizód jobb, mint 200 hanyag. Új vagy ebben? Kezdd a adatgyűjtési útmutatóval.

A útvonal: finomhangolás az openpi tárolóval

A referencia implementáció: először JAX, csak Ubuntu 22.04-en tesztelve, konfigurációs objektumok vezérlik, nem pedig flagek. Egy PyTorch útvonal 2025 szeptemberében érkezett, LIBERO-n validálva. Három lépés: adatok konvertálása, konfiguráció definiálása, betanítás és kiszolgálás.

1. 1
   Klónozás és telepítés

   Az openpi uv-t használ. A GIT_LFS_SKIP_SMUDGE teszi lehetővé, hogy a LeRobot függőségként bekerüljön LFS blobok nélkül.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Adatok konvertálása LeRobot adatkészletté

   Az upstream LIBERO és DROID konvertereket szállít, és elvárja, hogy adaptáljon egyet. A munka a kulcsleképezés.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Edzési konfiguráció hozzáadása

   A konfigurációk TrainConfig bejegyzések a src/openpi/training/config.py fájlban. Ez a pi05_droid_finetune-t adaptálja, a súlybetöltő a pi05_base-re mutat.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Normál statisztikák számítása

   A konfiguráció neve ellen fut, nem az adatkészlet ellen. Ennek kihagyása a klasszikus első hiba itt.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Betanítás

   A változó lehetővé teszi a JAX számára, hogy a GPU memória 90 százalékát használja az alapértelmezett 75 helyett. Egy 80 GB-os kártyán ez dönti el, hogy a futtatás sikeres lesz-e.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Kiszolgálás

   A szerver a 8000-es porton figyel, és válaszol a megfigyelési lekérdezésekre; a robot futásideje az ügyfél.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

B útvonal: finomhangolás lerobot pi05-tel

A LeRobot port ugyanazokat a súlyokat foglalja magába abban a CLI-ben, amit már használsz a ACT és SmolVLA. Az alábbiak mindegyike a lerobot 0.6.1-gyel, a 2026. augusztus 3. óta megjelent kiadással, és a pi05 dokumentációjával lett ellenőrizve 2026. augusztus 23-án. A verziók itt számítanak: a v3.0 adatkészletek 2025 októberében érkeztek a 0.4.0-val, a 2026. március 9-i 0.5.0 blog bemutatja a pi0-FAST-ot és a Real-Time Chunkingot, a 2026. július 6-i 0.6.0 pedig könnyűvé tette az alapcsomagot, és a telepítést a lerobot-rollout-ra helyezte át.

Egy dolog nem változott: a lerobot-train és a lerobot-record már 2025 augusztusában, a 0.3.2-ben is belépési pontok voltak. Egy olyan oktatóanyag, amely még mindig a python -m lerobot.scripts.train parancsot hívja, egy évnyi változás előtt készült, és a többi részét is érdemes fenntartásokkal kezelni.

1. 1
   Telepítés a megfelelő extrákkal

   A 0.6.0-s verzió óta az alaptelepítés csak az alapvető ML függőségeket tartalmazza, és a pi extra nem ad hozzá adatkészletet vagy képzési kódot, így a finomhangoláshoz a training extra is szükséges. Régebbi egysoros parancsok itt importáláskor hibát jeleznek.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Hitelesítés

   Fogadja el a paligemma-3b-pt-224 licencet egy böngészőben, majd jelentkezzen be a képzést végző gépen.

   bash

   hf auth login

3. 3
   Kvantilis statisztikák hozzáadása

   A Pi0.5 kvantilisekkel normalizálja a STATE és ACTION értékeket, így a meta/stats.json-nak szüksége van q01 és q99 értékekre. Régebbi adatkészletek csak min, max, mean, std értékeket tartalmaznak.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Finomhangolás a lerobot/pi05_base-ből

   Állítsa be a kötegméretet (batch size) úgy, hogy a kártyája elbírja; a dokumentáció 64-et használ LIBERO-n 80 GB-nál. Adja meg a bfloat16-ot expliciten, a konfiguráció alapértelmezettje float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Futtatás a karon

   A 0.6.x verzióban ez a lerobot-rollout: a lerobot-record elutasítja a policy-t és az eval_ adatkészlet neveket. A Base vezérli a kart, a sentry rögzíti a rolloutot.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Három alapértelmezett készlet, és melyek jutnak el a képzőhöz

Az openpi TrainConfig a referencia, a LeRobot PI05Config az, amit a lerobot-train használ, ha nem ad meg semmit, és az itt található űrlap egy harmadik készletet küld. A meglepetés a tanulási ráta: mindkét upstream alapértelmezett érték 2.5e-5-nél tetőzik, míg az openpi saját pi05_libero konfigurációja és ez a platform 5e-5-re emeli.

Hű a port? A LeRobot csapat további 6k lépésen keresztül finomhangolta a LIBERO alapmodellt, és összehasonlította az openpi referenciaértékeivel négy tesztcsomagban: 97,5 százalékos átlag a 96,85 ellenében, a Libero 10-en előrébb, a Spatial-on hátrébb. Az útvonal egy eszközválasztás, nem minőségi döntés.

A 485 ms valóság, és hol válik használhatatlanná

Ez dönti el a projektjét, ezért a költségtáblázat előtt szerepel. A műveleti lépésenként, amelyet itt a Pi0.5-nél mértek, 485 ms. A másik négyhez képest:

Az upstreamnek van válasza, és a fele már benne van a telepíthető kiadásban. A valós idejű darabolás (Real-Time Chunking) generálja a következő darabot, miközben a kar még az aktuálisat hajtja végre, majd irányítja az új darab átfedő lépéseit, hogy közel maradjanak a már végrehajtott részhez, így a kar nem áll le vagy rángatózik az illesztésnél. Az inferencia-idejű forma a 0.4.2-es változásnaplóban került kiadásra a Pi0, Pi0.5 és SmolVLA modellekhez, és egy bevezetési (rollout) flag, nem pedig újratanítás:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Ez nem gyorsítja fel a modellt. Elrejti a rést: a 485 ms továbbra is eltelik, de nem a kritikus útvonalon, így a sor nem ürül ki a darabok között. Az arXiv 2512.05964-ből származó képzési idejű változat tovább megy: a modell megtanul egy tiszta akció-előtagra kondicionálni, így az inferencia során az átfedés keményen be van festve akciónkénti áramlási időlépésekkel a vezetés helyett, és a vezetés visszamenőleges passza eltűnik. A képzés során mintavételez egy előtaghosszt példánként, és az áramlási veszteséget a fennmaradó utótagra alkalmazza. Ez a flag csak a main ágon él, nem a 0.6.1-ben, és a késleltetés, amire tanít, a chunk_size alatt kell maradjon.

Két módja a Pi0.5 ellenőrzőpont megszerzésének

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Amikor nem működik

• Adatkészlet elutasítva: v3 szükséges
• Memóriahiány a betanítás során
• A veszteség csökken, de a szabályzat nem csinál semmit
• A szabályzat mozgás közben lefagy
• A szabályzat csak egy beállításban működik
• A betanítási feladat beragadt a sorba

Mennyibe kerül egy futtatás

A Pi0.5 a drága kategóriába tartozik, mert egy 80 GB-os kártyát igényel, és a spot árak ingadoznak, így az adat inkább egy tartomány, mint egy fix ár. Számos SO-100 feladathoz először tanítsa be a SmolVLA vagy az ACT-t a 24 GB-os kategóriában, győződjön meg róla, hogy a feladat egyáltalán megtanulható, majd fordítson rá A100 órákat. A Tanítsa be első szabályzatát végigvezeti ezen az olcsóbb cikluson, és az árazás tartalmazza az aktuális kategóriákat.

Mielőtt elkötelezne egy estét: GR00T N1.7 a Pi0.5 ellen és Pi0.5 a SmolVLA ellen ugyanazokat a számokat mutatják be egymás ellen. Az Aréna 85 VLA modellt tartalmaz 332 benchmark eredménnyel, mindegyik a forrásához kapcsolódik, és a család háttere megtalálható VLA áttekintésünkben.