Kako trenirati Pi0.5 na vlastitim robotskim podacima

Pi0.5 je model za kojim posežete kada politika mora raditi u prostoriji koju nikada prije nije vidjela. Također je i najnezgrapniji od pet politika koje se mogu trenirati ovdje za fino podešavanje ručno: uzvodno spremište je prvenstveno JAX, LeRobot port je premjestio implementaciju iz lerobot-recorda u verziji 0.6.0 i učinio osnovnu instalaciju premalom za treniranje, a potpuno fino podešavanje ne stane na 4090. Ispod: što usklađivanje toka košta pri inferenciji, dvije komandne rute i broj od 485 ms koji odlučuje je li rezultat upotrebljiv.

Što je Pi0.5 zapravo

Physical Intelligence objavio je pi0 u listopadu 2024.: model s usklađivanjem toka vizualno-jezično-akcijski model na prethodno treniranom VLM-u: PaliGemma s 3 milijarde parametara plus 300M stručnjak za akcije inicijaliziran od nule, ukupno 3.3 milijarde. Rad izvještava o pred-treniranju na preko 10,000 sati robotskih podataka kroz 7 robotskih konfiguracija i 68 zadataka. Više u članku o pi0.

Pi0.5 (arXiv 2504.16054, 22. travnja 2025.) zadržava taj kostur i mijenja režim treninga: web podaci, detekcija objekata, verbalne upute ljudi koji podučavaju robota, oznake podzadataka, podaci o unakrsnoj inkarnaciji od robota u mnogim domovima. Rezultat je robot koji čisti kuhinje u kućama koje nisu bile u skupu za trening. README datoteka openpi dodaje detalj koji naslov ne sadrži: objavljeni pi0.5 je treniran s izolacijom znanja (arXiv 2505.23705).

Što usklađivanje toka mijenja u vezi s treningom i inferencijom

Politika koju možete trenirati na SO-100 ili izravno regresira akcije (ACT) ili ih tokenizira i autoregresivno dekodira (pi0-FAST). Usklađivanje toka ne radi nijedno od toga: ono uči vektorsko polje koje prenosi šum do čistog bloka akcija, a zatim ga integrira. Rad o pi0 koristi 10 koraka integracije s veličinom koraka 0.1; LeRobotova pi05 konfiguracija sadrži isti num_inference_steps: int = 10.

• Trening: gubitak regresira bučni blok akcija. Nema tokenizatora za podešavanje, nema diskretizacije vaših kutova zglobova.
• Inferencija: jedan blok košta deset prolaza unaprijed kroz stručnjaka za akcije. To je strukturno, a ne problem podešavanja.
• Izlaz: kontinuirane akcije dimenzije 32, interno popunjene, gubitak se uzima na dimenzijama koje vaš robot ima. Ruka sa 6-stupnjeva slobode plus hvataljka koristi 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma okosnica i vrata ispred nje

PaliGemma (arXiv 2407.07726) je SigLIP-So400m vizualni enkoder na jezičnom modelu Gemma-2B, s oko 3B parametara. Pi0.5 nasljeđuje svoj tokenizator, a taj se tokenizator nalazi u zatvorenom repozitoriju. Ovo je najčešći način na koji prvi pokretaj propadne, prije prvog koraka obuke.

Prije nego počnete: format skupa podataka, epizode, hardver

Pi0.5 u LeRobotu čita LeRobot skup podataka u v3.0 rasporedu, koji je stigao s lerobot 0.4.0 u listopadu 2025.: mnogo epizoda po Parquet i MP4 datoteci umjesto jedne datoteke po epizodi, s granicama u meta/episodes/ umjesto u nazivima datoteka. Snimite s desktop klijentom ili slijedite snimite svoj prvi skup podataka i imat ćete ga.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platforma zahtijeva najmanje 50 epizoda za Pi0.5, što je isti minimum kao za GR00T i ACT. Predobuka obavlja najveći dio posla, tako da 50 čistih epizoda nadmašuje 200 neurednih. Novi ste u ovome? Započnite s vodičem za prikupljanje podataka.

Ruta A: fino podešavanje s openpi repozitorijem

Referentna implementacija: prvo JAX, testirano samo na Ubuntu 22.04, vođeno konfiguracijskim objektima umjesto zastavicama. PyTorch putanja stigla je u rujnu 2025., validirana na LIBERO. Tri koraka: pretvorite svoje podatke, definirajte konfiguraciju, trenirajte i poslužite.

1. 1
   Klonirajte i instalirajte

   openpi koristi uv. GIT_LFS_SKIP_SMUDGE omogućuje da LeRobot dođe kao ovisnost bez LFS blobova.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Pretvorite svoje podatke u LeRobot skup podataka

   Upstream isporučuje konvertere za LIBERO i DROID i očekuje da prilagodite jedan. Posao je mapiranje ključeva.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Dodajte konfiguraciju za treniranje

   Konfiguracije su TrainConfig unosi u src/openpi/training/config.py. Ova prilagođava pi05_droid_finetune, s učitavačem težina usmjerenim na pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Izračunajte statistiku norme

   Pokreće se prema nazivu konfiguracije, a ne skupu podataka. Preskakanje je klasičan prvi neuspjeh ovdje.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Trenirajte

   Varijabla omogućuje JAX-u da koristi 90 posto GPU memorije umjesto zadanih 75. Na kartici od 80 GB to odlučuje hoće li se izvođenje preživjeti.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Poslužite ga

   Poslužitelj sluša na portu 8000 i odgovara na upite za promatranje; vaše robotsko okruženje je klijent.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Ruta B: fino podešavanje s lerobot pi05

LeRobot port obuhvaća iste težine u CLI-ju koji već koristite za ACT i SmolVLA. Sve dolje navedeno provjereno je s lerobot 0.6.1, izdanjem od 3. kolovoza 2026., i pi05 dokumentacijom od 23. kolovoza 2026. Verzije su ovdje važne: v3.0 skupovi podataka stigli su s 0.4.0 u listopadu 2025., blog 0.5.0 od 9. ožujka 2026. predstavlja pi0-FAST i Real-Time Chunking, a 0.6.0 od 6. srpnja 2026. učinio je osnovni paket laganim i premjestio implementaciju na lerobot-rollout.

Jedna stvar se nije pomaknula: lerobot-train i lerobot-record već su bili ulazne točke u 0.3.2, kolovoz 2025. Vodič koji još uvijek poziva python -m lerobot.scripts.train prethodi godini promjena i vrijedi mu ne vjerovati ni u ostatku.

1. 1
   Instalacija s pravim dodacima

   Od verzije 0.6.0 osnovna instalacija sadrži samo osnovne ML ovisnosti, a 'pi' dodatak ne dodaje kod za skup podataka ili treniranje, pa fino podešavanje zahtijeva i 'training' dodatak. Starije jednolinijske naredbe ovdje ne uspijevaju prilikom uvoza.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentifikacija

   Prihvatite licencu paligemma-3b-pt-224 u pregledniku, a zatim se prijavite na računalu koje trenira.

   bash

   hf auth login

3. 3
   Dodajte statistiku kvantila

   Pi0.5 normalizira STATE i ACTION pomoću kvantila, pa meta/stats.json treba q01 i q99. Stariji skupovi podataka sadrže samo min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Fino podešavanje iz lerobot/pi05_base

   Postavite veličinu paketa na onu koju vaša kartica može podnijeti; dokumentacija koristi 64 na LIBERO-u s 80 GB. Eksplicitno proslijedite bfloat16, zadana konfiguracija je float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Pokrenite ga na ruci

   U verziji 0.6.x ovo je lerobot-rollout: lerobot-record odbija politiku i odbacuje nazive skupova podataka s prefiksom eval_. Base upravlja rukom, sentry bilježi izvođenje.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Tri skupa zadanih vrijednosti i koje od njih dolaze do trenera

openpi-jev TrainConfig je referenca, LeRobot-ov PI05Config je ono što lerobot-train koristi kada ništa ne kažete, a obrazac ovdje šalje treći skup. Iznenađenje je stopa učenja: oba zadana podešavanja dosežu vrhunac od 2.5e-5, dok openpi-jeva vlastita pi05_libero konfiguracija i ova platforma podižu je na 5e-5.

Je li port vjeran? Tim LeRobot-a je dodatno fino podesio osnovni model LIBERO za 6k koraka i usporedio ga s referentnim brojevima openpi-ja na četiri paketa: 97.5 posto prosječno naspram 96.85, ispred na Libero 10, iza na Spatial. Ruta je izbor alata, a ne kvalitete.

Stvarnost od 485 ms i gdje prestaje biti upotrebljiva

Ovo odlučuje o vašem projektu, stoga dolazi prije tablice troškova. po koraku akcije izmjerena ovdje za Pi0.5 iznosi 485 ms. U usporedbi s ostala četiri:

Upstream ima odgovor, a pola toga je već u izdanju koje možete instalirati. Real-Time Chunking generira sljedeći dio dok ruka još uvijek izvršava trenutni, a zatim vodi preklapajuće korake novog dijela da ostanu blizu već izvršenog dijela, tako da se ruka ne zaustavlja ili trza na spoju. Oblik za vrijeme inferencije isporučen je u changelogu 0.4.2 za Pi0, Pi0.5 i SmolVLA i predstavlja zastavicu za rollout, a ne za ponovno treniranje:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

To ne čini model bržim. To skriva prazninu: 485 ms se i dalje troši, ali izvan kritičnog puta, tako da se red ne isušuje između dijelova. Varijanta za vrijeme treniranja iz arXiv 2512.05964 ide dalje: model uči uvjetovati se na čistom prefiksu akcije, tako da se pri inferenciji preklapanje čvrsto 'inpainta' s vremenskim koracima toka po akciji umjesto da se vodi, a povratni prolaz vođenja nestaje. Tijekom treniranja uzorkuje duljinu prefiksa po primjeru i uzima gubitak toka na preostalom postfiksu. Ta zastavica postoji samo na 'main' grani, ne u 0.6.1, a kašnjenje za koje trenirate mora ostati ispod chunk_size.

Dva načina za dobivanje Pi0.5 kontrolne točke

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Kada ne radi

• Skup podataka odbijen: potrebna je v3
• Nedostatak memorije tijekom treniranja
• Gubitak pada, ali politika ne radi ništa
• Politika se zamrzava usred pokreta
• Politika radi samo u jednoj postavci
• Posao treniranja zaglavljen u redu čekanja

Koliko košta jedno pokretanje

Pi0.5 se nalazi u skupoj razini jer zahtijeva karticu od 80 GB, a spot cijene se mijenjaju, pa je brojka raspon, a ne fiksna cijena. Za mnoge SO-100 zadatke, trenirajte SmolVLA ili ACT na razini od 24 GB, prvo potvrdite da je zadatak uopće naučiv, a zatim potrošite A100 sati na njega. Trenirajte svoju prvu politiku prolazi kroz tu jeftiniju petlju, a cijene prikazuju trenutne razine.

Prije nego što posvetite večer: i uspoređuju iste brojeve. sadrži 85 VLA modela s 332 rezultata benchmarka, svaki povezan sa svojim izvorom, a pozadina o obitelji nalazi se u .