Kako trenirati Pi0.5 na vlastitim robotskim podacima

Pi0.5 je model za kojim posežete kada politika mora da radi u prostoriji koju nikada nije videla. Takođe je i najnezgodniji od pet politika koje se mogu trenirati ovde za fino podešavanje ručno: uzvodno spremište je prvo JAX, LeRobot port je premestio implementaciju iz lerobot-record-a u 0.6.0 i učinio osnovnu instalaciju premalom za treniranje, a potpuno fino podešavanje ne staje na 4090. Ispod: šta usklađivanje toka košta pri inferenciji, dve komandne rute i broj od 485 ms koji odlučuje da li je rezultat upotrebljiv.

Šta je Pi0.5 zapravo

Physical Intelligence je objavio pi0 u oktobru 2024: model sa usklađivanjem toka vizuelno-jezičko-akcioni model na prethodno obučenom VLM-u: PaliGemma sa 3 milijarde parametara plus 300M akcioni ekspert inicijalizovan od nule, ukupno 3,3 milijarde. Rad izveštava o pre-treningu na preko 10.000 sati robotskih podataka kroz 7 robotskih konfiguracija i 68 zadataka. Više u članku o pi0.

Pi0.5 (arXiv 2504.16054, 22. april 2025) zadržava taj kostur i mijenja režim obuke: web podaci, detekcija objekata, verbalne instrukcije od ljudi koji obučavaju robota, oznake podzadataka, podaci o unakrsnom utjelovljenju od robota u mnogim domovima. Rezultat je robot koji čisti kuhinje u kućama koje nisu bile u skupu za obuku. README datoteka openpi dodaje detalj koji naslov ne sadrži: objavljeni pi0.5 je obučen sa izolacijom znanja (arXiv 2505.23705).

Šta podudaranje toka mijenja u vezi sa obukom i inferencijom

Politika politika koju možete trenirati na SO-100 ili direktno regresira akcije (ACT) ili ih tokenizira i autoregresivno dekodira (pi0-FAST). Usklađivanje toka ne radi nijedno od toga: ono uči vektorsko polje koje prenosi šum do čistog bloka akcija, a zatim ga integriše. Rad o pi0 koristi 10 koraka integracije sa veličinom koraka 0.1; LeRobot-ova pi05 konfiguracija sadrži isti `num_inference_steps: int = 10`.

• Trening: gubitak regresira bučni blok akcija. Nema tokenizatora za podešavanje, nema diskretizacije vaših zglobnih uglova.
• Inferencija: jedan blok košta deset prolaza unaprijed kroz eksperta za akcije. To je strukturno, a ne problem podešavanja.
• Izlaz: kontinuirane akcije dimenzije 32, interno popunjene, gubitak uzet na dimenzijama koje vaš robot ima. Ruka sa 6-DoF plus hvataljka koristi 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma okosnica, i kapija ispred nje

PaliGemma (arXiv 2407.07726) je SigLIP-So400m vizualni enkoder na Gemma-2B jezičnom modelu, sa oko 3B parametara. Pi0.5 nasljeđuje svoj tokenizator, a taj tokenizator se nalazi u zatvorenom repozitoriju. Ovo je najčešći način na koji prvi pokretaj propadne, prije prvog koraka obuke.

Prije nego počnete: format skupa podataka, epizode, hardver

Pi0.5 u LeRobotu čita LeRobot skup podataka u v3.0 rasporedu, koji je stigao s lerobot 0.4.0 u oktobru 2025: mnogo epizoda po Parquet i MP4 datoteci umjesto jedne datoteke po epizodi, sa granicama u meta/episodes/ umjesto u nazivima datoteka. Snimite pomoću desktop klijenta ili slijedite snimite svoj prvi skup podataka i imat ćete ga.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platforma želi najmanje 50 epizoda za Pi0.5, isti minimum kao za GR00T i ACT. Predobuka obavlja najveći dio posla, tako da 50 čistih epizoda pobjeđuje 200 neurednih. Novi ste u ovome? Počnite sa vodičem za prikupljanje podataka.

Ruta A: fino podešavanje sa openpi repozitorijumom

Referentna implementacija: prvo JAX, testirano samo na Ubuntu 22.04, vođeno konfiguracionim objektima umesto zastavicama. PyTorch putanja je stigla u septembru 2025, validirana na LIBERO. Tri koraka: konvertujte svoje podatke, definišite konfiguraciju, trenirajte i poslužite.

1. 1
   Klonirajte i instalirajte

   openpi koristi uv. GIT_LFS_SKIP_SMUDGE omogućava da LeRobot dođe kao zavisnost bez LFS blobova.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Konvertujte svoje podatke u LeRobot skup podataka

   Upstream isporučuje konvertere za LIBERO i DROID i očekuje da prilagodite jedan. Posao je mapiranje ključeva.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Dodajte konfiguraciju za treniranje

   Konfiguracije su TrainConfig unosi u src/openpi/training/config.py. Ova prilagođava pi05_droid_finetune, sa učitavačem težina usmerenim na pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Izračunajte normirane statistike

   Pokreće se prema imenu konfiguracije, a ne skupu podataka. Preskakanje je klasičan prvi neuspeh ovde.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Trenirajte

   Varijabla omogućava JAX-u da koristi 90 posto GPU memorije umesto podrazumevanih 75. Na kartici od 80 GB to odlučuje da li će se pokretanje preživeti.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Poslužite ga

   Server sluša na portu 8000 i odgovara na upite za posmatranje; vaše robotsko okruženje je klijent.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Ruta B: fino podešavanje sa lerobot pi05

LeRobot port obuhvata iste težine u CLI-ju koji već koristite za ACT i SmolVLA. Sve ispod je provjereno u odnosu na lerobot 0.6.1, izdanje od 3. avgusta 2026, i pi05 dokumentaciju od 23. avgusta 2026. Verzije su ovdje bitne: v3.0 skupovi podataka stigli su sa 0.4.0 u oktobru 2025, blog 0.5.0 od 9. marta 2026. predstavlja pi0-FAST i Real-Time Chunking, a 0.6.0 od 6. jula 2026. učinio je osnovni paket laganim i premjestio implementaciju na lerobot-rollout.

Jedna stvar se nije pomjerila: lerobot-train i lerobot-record su već bili ulazne tačke u 0.3.2, avgusta 2025. Tutorijal koji još uvijek poziva python -m lerobot.scripts.train prethodi godini promjena i vrijedi mu ne vjerovati ni u ostalom.

1. 1
   Instalacija sa pravim dodacima

   Od verzije 0.6.0 osnovna instalacija sadrži samo osnovne ML zavisnosti, a pi dodatak ne dodaje kod za skup podataka ili obuku, tako da fino podešavanje zahteva i dodatak za obuku. Starije jednolinijske komande ovde ne uspevaju prilikom uvoza.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentifikacija

   Prihvatite licencu paligemma-3b-pt-224 u pregledaču, a zatim se prijavite na mašini koja vrši obuku.

   bash

   hf auth login

3. 3
   Dodavanje kvantilnih statistika

   Pi0.5 normalizuje STATE i ACTION pomoću kvantila, tako da meta/stats.json zahteva q01 i q99. Stariji skupovi podataka sadrže samo min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Fino podešavanje iz lerobot/pi05_base

   Podesite veličinu paketa na ono što vaša kartica može da podnese; dokumentacija koristi 64 na LIBERO-u sa 80 GB. Eksplicitno prosledite bfloat16, podrazumevana konfiguracija je float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Pokrenite ga na ruci

   U verziji 0.6.x ovo je lerobot-rollout: lerobot-record odbija politiku i odbacuje nazive eval_ skupova podataka. Base upravlja rukom, sentry snima izvođenje.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Tri skupa podrazumevanih vrednosti i koje od njih stižu do trenera

openpi-jev TrainConfig je referenca, LeRobot-ov PI05Config je ono što lerobot-train koristi kada ništa ne kažete, a obrazac ovdje šalje treći skup. Iznenađenje je stopa učenja: oba podrazumijevana podešavanja dostižu vrhunac na 2.5e-5, dok openpi-jev vlastiti pi05_libero config i ova platforma je podižu na 5e-5.

Je li port vjeran? Tim LeRobot-a je dodatno fino podesio osnovni model LIBERO za 6k koraka i uporedio ga sa referentnim brojevima openpi-ja na četiri paketa: 97.5 posto prosječno naspram 96.85, ispred na Libero 10, iza na Spatial. Ruta je izbor alata, a ne kvaliteta.

Stvarnost od 485 ms i gdje prestaje biti upotrebljiva

Ovo odlučuje o vašem projektu, stoga dolazi prije tabele troškova. po koraku akcije izmjereno ovdje za Pi0.5 iznosi 485 ms. U poređenju sa ostala četiri:

Upstream ima odgovor, a pola toga je već u izdanju koje možete instalirati. Real-Time Chunking generira sljedeći segment dok ruka još uvijek izvršava trenutni, zatim vodi preklapajuće korake novog segmenta da ostanu blizu već izvršenog dijela, tako da se ruka ne zaustavlja ili trza na spoju. Oblik za vrijeme inferencije isporučen je u changelogu 0.4.2 za Pi0, Pi0.5 i SmolVLA i predstavlja zastavicu za implementaciju, a ne za ponovno treniranje:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

To ne čini model bržim. To skriva prazninu: 485 ms se i dalje troši, ali izvan kritične putanje, tako da red ne presuši između segmenata. Varijanta za vrijeme treniranja iz arXiv 2512.05964 ide dalje: model uči uvjetovati se na čistom prefiksu akcije, tako da se pri inferenciji preklapanje čvrsto 'inpainta' s vremenskim koracima toka po akciji umjesto da se vodi, a povratni prolaz vođenja nestaje. Tijekom treniranja uzorkuje duljinu prefiksa po primjeru i uzima gubitak toka na preostalom postfiksu. Ta zastavica postoji samo na glavnoj grani, ne u 0.6.1, a kašnjenje za koje trenirate mora ostati ispod chunk_size.

Dva načina za dobijanje Pi0.5 kontrolne tačke

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Kada ne radi

• Skup podataka odbijen: potrebna je v3
• Nedostatak memorije tokom obuke
• Gubitak opada, ali politika ne radi ništa
• Politika se zamrzava usred pokreta
• Politika radi samo u jednom podešavanju
• Posao obuke zaglavljen u redu čekanja

Koliko košta jedno pokretanje

Pi0.5 se nalazi u skupom sloju jer mu je potrebna kartica od 80 GB, a spot cijene se mijenjaju, tako da je broj raspon, a ne cijena. Za mnoge SO-100 zadatke, prvo obučite SmolVLA ili ACT na sloju od 24 GB, potvrdite da je zadatak uopšte naučiv, a zatim potrošite A100 sati na njega. Obučite svoju prvu politiku prolazi kroz tu jeftiniju petlju, a cijene sadrži trenutne slojeve.

Prije nego što posvetite veče: GR00T N1.7 protiv Pi0.5 i Pi0.5 protiv SmolVLA izlažu iste brojeve jedan pored drugog. Arena sadrži 85 VLA modela sa 332 rezultata benchmarka, svaki povezan sa svojim izvorom, a pozadina o porodici nalazi se u našem pregledu VLA modela.