Kako trenirati Pi0.5 na podacima vašeg robota

Pi0.5 je model koji birate kada politika mora da radi u prostoriji koju nikada ranije nije videla. Takođe je i najnezgodniji od pet politika koje se mogu trenirati ovde za fino podešavanje ručno: uzvodno skladište je prvenstveno JAX, LeRobot port je premestio implementaciju iz lerobot-record-a u verziji 0.6.0 i učinio osnovnu instalaciju premalom za treniranje, a potpuno fino podešavanje ne staje na 4090. Ispod: šta usklađivanje toka košta pri inferenciji, dve komandne rute i broj od 485 ms koji odlučuje da li je rezultat upotrebljiv.

Šta je Pi0.5 zapravo

Physical Intelligence je objavio pi0 u oktobru 2024: model za usklađivanje toka model vida-jezika-akcije na unapred obučenom VLM-u: PaliGemma sa 3 milijarde parametara plus 300M ekspert za akcije inicijalizovan od nule, ukupno 3.3 milijarde. Rad izveštava o pre-treningu na preko 10,000 sati robotskih podataka kroz 7 robotskih konfiguracija i 68 zadataka. Više u članku o pi0.

Pi0.5 (arXiv 2504.16054, 22. april 2025) zadržava taj kostur i menja režim obuke: veb podaci, detekcija objekata, verbalna uputstva od ljudi koji obučavaju robota, oznake podzadataka, podaci o unakrsnom otelotvorenju od robota u mnogim domovima. Rezultat je robot koji čisti kuhinje u kućama koje nisu bile u skupu za obuku. openpi README dodaje detalj koji naslov ne sadrži: objavljeni pi0.5 je obučen sa knowledge insulation (arXiv 2505.23705).

Šta flow matching menja u vezi sa obukom i inferencijom

A politika koju možete trenirati na SO-100 ili direktno regresira akcije (ACT) ili ih tokenizuje i dekodira autoregresivno (pi0-FAST). Usklađivanje toka ne radi ni jedno ni drugo: ono uči vektorsko polje koje prenosi šum do čistog segmenta akcije, a zatim ga integriše. Pi0 rad koristi 10 koraka integracije sa veličinom koraka 0.1; LeRobot-ova pi05 konfiguracija sadrži isti num_inference_steps: int = 10.

• Trening: gubitak regresira segment akcije sa šumom. Nema tokenizatora za podešavanje, nema diskretizacije vaših zglobnih uglova.
• Inferencija: jedan segment košta deset prolaza unapred kroz eksperta za akcije. To je strukturno, a ne problem podešavanja.
• Izlaz: kontinuirane akcije dimenzije 32, interno popunjene, gubitak se uzima na dimenzijama koje vaš robot ima. Ruka sa 6-stepeni slobode plus hvataljka koristi 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma okosnica i kapija ispred nje

PaliGemma (arXiv 2407.07726) je SigLIP-So400m vizuelni enkoder na Gemma-2B jezičkom modelu, sa oko 3B parametara. Pi0.5 nasleđuje svoj tokenizator, a taj tokenizator se nalazi u zatvorenom repozitorijumu. Ovo je najčešći način na koji prvi pokušaj propada, pre prvog koraka obuke.

Pre nego što počnete: format skupa podataka, epizode, hardver

Pi0.5 u LeRobot-u čita LeRobot skup podataka u v3.0 rasporedu, koji je stigao sa lerobot 0.4.0 u oktobru 2025: mnogo epizoda po Parquet i MP4 datoteci umesto jedne datoteke po epizodi, sa granicama u meta/episodes/ umesto u nazivima datoteka. Snimajte sa desktop klijentom ili pratite snimite svoj prvi skup podataka i imaćete ga.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platforma zahteva najmanje 50 epizoda za Pi0.5, što je isti minimum kao za GR00T i ACT. Predobuka obavlja najveći deo posla, tako da 50 čistih epizoda vredi više od 200 neurednih. Novi ste u ovome? Počnite sa vodičem za prikupljanje podataka.

Ruta A: fino podešavanje pomoću openpi repozitorijuma

Referentna implementacija: prvo JAX, testirano samo na Ubuntu 22.04, vođeno konfiguracionim objektima umesto zastavicama. PyTorch putanja je stigla u septembru 2025, validirana na LIBERO. Tri koraka: konvertujte svoje podatke, definišite konfiguraciju, trenirajte i poslužite.

1. 1
   Klonirajte i instalirajte

   openpi koristi uv. GIT_LFS_SKIP_SMUDGE omogućava da LeRobot bude zavisnost bez LFS blobova.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Konvertujte svoje podatke u LeRobot skup podataka

   Upstream isporučuje konvertore za LIBERO i DROID i očekuje da prilagodite jedan. Posao je mapiranje ključeva.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Dodajte konfiguraciju za obuku

   Konfiguracije su TrainConfig unosi u src/openpi/training/config.py. Ova prilagođava pi05_droid_finetune, sa učitavačem težina usmerenim na pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Izračunajte statistiku normi

   Pokreće se u odnosu na naziv konfiguracije, a ne na skup podataka. Preskakanje ovoga je klasičan prvi neuspeh ovde.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Trenirajte

   Varijabla omogućava JAX-u da koristi 90 posto GPU memorije umesto podrazumevanih 75. Na kartici od 80 GB to odlučuje da li će se pokretanje izvršiti do kraja.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Poslužite ga

   Server sluša na portu 8000 i odgovara na upite za posmatranje; vaše robotsko okruženje je klijent.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Ruta B: fino podešavanje sa lerobot pi05

LeRobot port obuhvata iste težine u CLI-u koji već koristite za ACT i SmolVLA. Sve dole navedeno je provereno u odnosu na lerobot 0.6.1, izdanje od 3. avgusta 2026, i pi05 dokumentaciju od 23. avgusta 2026. Verzije su ovde važne: v3.0 skupovi podataka stigli su sa 0.4.0 u oktobru 2025, blog 0.5.0 od 9. marta 2026. predstavlja pi0-FAST i Real-Time Chunking, a 0.6.0 od 6. jula 2026. učinio je osnovni paket laganim i prebacio implementaciju na lerobot-rollout.

Jedna stvar se nije promenila: lerobot-train i lerobot-record su već bili ulazne tačke u 0.3.2, avgusta 2025. Tutorijal koji i dalje poziva python -m lerobot.scripts.train prethodi godini promena i vredi mu ne verovati ni u ostalom.

1. 1
   Instalacija sa pravim dodacima

   Od verzije 0.6.0, osnovna instalacija sadrži samo osnovne ML zavisnosti, a 'pi' dodatak ne dodaje kod za skup podataka ili obuku, tako da fino podešavanje zahteva i 'training' dodatak. Starije jednolinijske komande ovde ne uspevaju pri uvozu.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentifikacija

   Prihvatite licencu paligemma-3b-pt-224 u pregledaču, a zatim se prijavite na mašini koja vrši obuku.

   bash

   hf auth login

3. 3
   Dodavanje kvantilnih statistika

   Pi0.5 normalizuje STATE i ACTION pomoću kvantila, tako da meta/stats.json zahteva q01 i q99. Stariji skupovi podataka sadrže samo min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Fino podešavanje iz lerobot/pi05_base

   Podesite veličinu paketa (batch size) na ono što vaša kartica može da podnese; dokumentacija koristi 64 na LIBERO sa 80 GB. Eksplicitno prosledite bfloat16, podrazumevana vrednost konfiguracije je float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Pokrenite ga na ruci

   U verziji 0.6.x ovo je lerobot-rollout: lerobot-record odbija politiku i odbacuje nazive eval_ skupova podataka. Base upravlja rukom, sentry snima izvođenje.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Tri skupa podrazumevanih vrednosti i koje od njih stižu do trenera

openpi-jev TrainConfig je referenca, LeRobot-ov PI05Config je ono što lerobot-train koristi kada ništa ne kažete, a obrazac ovde šalje treći skup. Iznenađenje je stopa učenja: oba podrazumevana podešavanja dostižu vrhunac od 2.5e-5, dok openpi-jeva sopstvena pi05_libero konfiguracija i ova platforma je podižu na 5e-5.

Da li je port veran? LeRobot tim je fino podesio LIBERO osnovni model za dodatnih 6k koraka i uporedio ga sa referentnim brojevima openpi-ja na četiri paketa: 97.5 procenata prosečno naspram 96.85, ispred na Libero 10, iza na Spatial. Ruta je izbor alata, a ne kvaliteta.

Stvarnost od 485 ms i gde prestaje da bude upotrebljiva

Ovo odlučuje o vašem projektu, pa dolazi pre tabele troškova. po koraku akcije izmereno ovde za Pi0.5 je 485 ms. U poređenju sa ostala četiri:

Upstream ima odgovor, a pola toga je već u izdanju koje možete instalirati. Real-Time Chunking generiše sledeći deo dok ruka još uvek izvršava trenutni, zatim vodi preklapajuće korake novog dela da ostanu blizu već izvršenog dela, tako da se ruka ne zaustavlja ili trza na spoju. Forma za vreme zaključivanja isporučena je u changelogu 0.4.2 za Pi0, Pi0.5 i SmolVLA i predstavlja rollout zastavicu, a ne ponovnu obuku:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

To ne čini model bržim. To skriva prazninu: 485 ms se i dalje troši, ali van kritične putanje, tako da red ne presuši između delova. Varijanta za vreme obuke iz arXiv 2512.05964 ide dalje: model uči da se uslovljava čistim prefiksom akcije, tako da se pri zaključivanju preklapanje teško popunjava vremenskim koracima toka po akciji umesto da se vodi, a povratni prolaz vođenja nestaje. Tokom obuke uzorkuje dužinu prefiksa po primeru i uzima gubitak toka na preostalom postfiksu. Ta zastavica postoji samo na glavnoj grani, ne u 0.6.1, a kašnjenje za koje trenirate mora ostati ispod chunk_size.

Dva načina da dobijete Pi0.5 kontrolnu tačku

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Kada ne radi

• Skup podataka odbijen: potrebna je v3
• Nema dovoljno memorije tokom obuke
• Gubitak opada, ali politika ne radi ništa
• Politika se zamrzava usred pokreta
• Politika radi samo u jednom podešavanju
• Posao obuke zaglavljen u redu čekanja

Koliko košta jedno pokretanje

Pi0.5 se nalazi u skupom nivou jer mu je potrebna kartica od 80 GB, a spot cene se menjaju, tako da je cifra raspon, a ne fiksna cena. Za mnoge SO-100 zadatke, prvo obučite SmolVLA ili ACT na nivou od 24 GB, potvrdite da je zadatak uopšte naučiv, a zatim potrošite A100 sate na njega. Obučite svoju prvu politiku prolazi kroz tu jeftiniju petlju, a cene sadrži trenutne nivoe.

Pre nego što posvetite veče: GR00T N1.7 protiv Pi0.5 i Pi0.5 protiv SmolVLA izlažu iste brojeve jedan naspram drugog. Arena sadrži 85 VLA modela sa 332 rezultata benčmarka, svaki povezan sa svojim izvorom, a pozadina o porodici je u našem pregledu VLA modela.