Miten kouluttaa Pi0.5 omalla robottidatallasi

Pi0.5 on malli, johon turvaudutaan, kun toimintaperiaatteen on toimittava huoneessa, jota se ei ole koskaan nähnyt. Se on myös hankalin viidestä koulutettavasta toimintaperiaatteesta täällä hienosäätää käsin: ylävirran repositoriossa JAX on ensisijainen, LeRobot-portti siirsi käyttöönoton pois lerobot-recordista versiossa 0.6.0 ja teki perusasennuksesta liian pienen koulutukseen, eikä täysi hienosäätö mahdu 4090:lle. Alla: mitä virtauksen sovitus maksaa päättelyssä, kaksi komentoreittiä ja 485 ms:n luku, joka päättää, onko tulos käyttökelpoinen.

Mitä Pi0.5 todella on

Physical Intelligence julkaisi pi0:n lokakuussa 2024: virtauksen sovitukseen perustuvan näkö-kieli-toimintamallin esikoulutetun VLM:n päälle: PaliGemma 3 miljardilla parametrilla ja 300M toiminta-asiantuntija, joka on alustettu tyhjästä, yhteensä 3.3 miljardia. Artikkelissa raportoidaan esikoulutuksesta yli 10 000 tunnin robotin datalla 7 robottikonfiguraatiossa ja 68 tehtävässä. Lisää pi0-artikkelissa.

Pi0.5 (arXiv 2504.16054, 22. huhtikuuta 2025) säilyttää tuon rungon ja muuttaa koulutusruokavaliota: verkkodataa, objektintunnistusta, ihmisten antamia suullisia ohjeita robotin valmentamiseen, alitehtävien tunnisteita, eri ruumiillistumien dataa monien kotien roboteista. Tuloksena on robotti, joka siivoaa keittiöitä taloissa, jotka eivät olleet koulutusjoukossa. openpi README lisää yksityiskohdan, jota otsikko ei sisällä: julkaistu pi0.5 koulutettiin tietämyksen eristyksellä (arXiv 2505.23705).

Mitä virtaussovitus muuttaa koulutuksessa ja päättelyssä

Politiikka, jonka voi kouluttaa SO-100:lla, joko regressioi toimintoja suoraan (ACT) tai tokenisoi ne ja dekoodaa autoregressiivisesti (pi0-FAST). Virtaussovitus ei tee kumpaakaan: se oppii vektorikentän, joka kuljettaa kohinaa puhtaaseen toimintalohkoon, ja integroi sen sitten. pi0-julkaisu käyttää 10 integrointivaihetta askelkoon ollessa 0.1; LeRobotin pi05-konfiguraatio sisältää saman num_inference_steps: int = 10.

• Koulutus: häviö regressioi kohinallisen toimintalohkon. Ei tokenisoijaa viritettäväksi, ei nivelkulmien diskretisointia.
• Päättely: yksi lohko maksaa kymmenen eteenpäinsyöttöä toimintaekspertin läpi. Tämä on rakenteellista, ei viritysongelma.
• Tuloste: jatkuvia toimintoja, joiden dimensio on 32, sisäisesti täytettynä, häviö lasketaan robotin dimensioiden perusteella. 6-vapausastetta käsivarsi ja tarttuja käyttävät 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma-runkoverkko ja sen edessä oleva portti

PaliGemma (arXiv 2407.07726) on SigLIP-So400m-kuvakooderi Gemma-2B-kielimallissa, noin 3B parametria. Pi0.5 perii sen tokenisoijan, ja tämä tokenisoija sijaitsee portitetussa repositoriossa. Tämä on yleisin tapa, jolla ensimmäinen ajo epäonnistuu, ennen ensimmäistä harjoitusaskelta.

Ennen aloittamista: aineiston muoto, episodit, laitteisto

Pi0.5 LeRobotissa lukee LeRobot-aineiston v3.0-asettelussa, joka julkaistiin lerobot 0.4.0:n kanssa lokakuussa 2025: monta episodin Parquet- ja MP4-tiedostoa yhden tiedoston sijaan per episodi, rajojen ollessa meta/episodes/-hakemistossa tiedostonimien sijaan. Tallenna työpöytäasiakasohjelmalla tai seuraa ensimmäisen aineistosi tallentamista ja sinulla on se.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Alusta vaatii vähintään 50 jaksoa Pi0.5:lle, sama raja kuin GR00T:lle ja ACT:lle. Esikoulutus tekee raskaan työn, joten 50 puhdasta jaksoa voittaa 200 huolimatonta. Uusi asia? Aloita tiedonkeruuoppaasta.

Reitti A: hienosäädä openpi-repositorion avulla

Viiteimplementaatio: ensin JAX, testattu vain Ubuntu 22.04:ssä, ohjattu konfiguraatioobjekteilla lippujen sijaan. PyTorch-polku saapui syyskuussa 2025, validoitu LIBEROssa. Kolme vaihetta: muunna tietosi, määritä konfiguraatio, kouluta ja tarjoile.

1. 1
   Kloonaa ja asenna

   openpi käyttää uv:tä. GIT_LFS_SKIP_SMUDGE antaa LeRobotin tulla riippuvuudeksi ilman LFS-blobeja.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Muunna tietosi LeRobot-aineistoksi

   Ylävirta toimittaa muuntimia LIBEROlle ja DROIDille ja odottaa sinun mukauttavan yhden. Työ on avainten kartoitus.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Lisää koulutuskonfiguraatio

   Konfiguraatiot ovat TrainConfig-merkintöjä tiedostossa src/openpi/training/config.py. Tämä mukauttaa pi05_droid_finetunea, painolaturin osoittaessa pi05_baseen.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Laske normitilastot

   Suoritetaan konfiguraation nimeä vastaan, ei aineistoa. Sen ohittaminen on klassinen ensimmäinen virhe tässä.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Kouluta

   Muuttuja antaa JAXin käyttää 90 prosenttia GPU-muistista oletusarvoisen 75 prosentin sijaan. 80 GB:n kortilla se ratkaisee, selviääkö ajo.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Tarjoile se

   Palvelin kuuntelee porttia 8000 ja vastaa havaintokyselyihin; robottisi ajonaikainen ympäristö on asiakas.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Reitti B: hienosäädä lerobot pi05:llä

LeRobotin portti käärii samat painot CLI:hin, jota käytät jo ACT ja SmolVLA. Kaikki alla oleva tarkistettiin lerobot 0.6.1:tä, 3. elokuuta 2026 julkaistua versiota, ja pi05-dokumentaatiota vastaan 23. elokuuta 2026. Versioilla on tässä merkitystä: v3.0-tietoaineistot saapuivat 0.4.0:n mukana lokakuussa 2025, 9. maaliskuuta 2026 julkaistu 0.5.0-blogi esittelee pi0-FASTin ja Real-Time Chunkingin, ja 6. heinäkuuta 2026 julkaistu 0.6.0 teki peruspaketista kevyen ja siirsi käyttöönoton lerobot-rolloutiin.

Yksi asia ei muuttunut: lerobot-train ja lerobot-record olivat jo sisääntulopisteitä versiossa 0.3.2, elokuussa 2025. Ohje, joka edelleen kutsuu komentoa python -m lerobot.scripts.train, on vuotta vanhempi kuin muutokset ja siihen kannattaa suhtautua epäluuloisesti myös muilta osin.

1. 1
   Asenna oikeilla lisäosilla

   Versiosta 0.6.0 alkaen perusasennus sisältää vain ML-ydinriippuvuudet, eikä pi-lisäosa lisää data- tai koulutuskoodia, joten hienosäätö vaatii myös koulutuslisäosan. Vanhemmat yksiriviset komennot epäonnistuvat tässä tuontivaiheessa.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Todennus

   Hyväksy paligemma-3b-pt-224-lisenssi selaimessa ja kirjaudu sitten sisään koulutuskoneella.

   bash

   hf auth login

3. 3
   Lisää kvantiilitilastot

   Pi0.5 normalisoi STATE- ja ACTION-arvot kvantiileilla, joten meta/stats.json tarvitsee q01:n ja q99:n. Vanhemmat datasettit sisältävät vain min-, max-, mean- ja std-arvot.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Hienosäädä lerobot/pi05_base-mallista

   Aseta eräkoko sellaiseksi, jonka näytönohjaimesi kestää; dokumentaatio käyttää 64:ää LIBEROssa 80 GB:n muistilla. Anna bfloat16 eksplisiittisesti, kokoonpanon oletusarvo on float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Aja se robottikädellä

   Versiossa 0.6.x tämä on lerobot-rollout: lerobot-record kieltäytyy käytännöstä ja hylkää eval_-datasettien nimet. Base ohjaa kättä, sentry tallentaa rullauksen.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Kolme oletusarvosarjaa ja mitkä niistä saavuttavat kouluttajan

openpi:n TrainConfig on referenssi, LeRobotin PI05Config on se, mitä lerobot-train käyttää, kun et sano mitään, ja lomake tässä lähettää kolmannen joukon. Yllätys on oppimisnopeus: molemmat ylävirran oletusarvot ovat korkeimmillaan 2.5e-5, kun taas openpi:n oma pi05_libero-konfiguraatio ja tämä alusta nostavat sen 5e-5:een.

Onko portti uskollinen? LeRobot-tiimi hienosääti LIBERO-perusmallia vielä 6k vaiheen ajan ja vertasi openpi:n referenssilukuihin neljässä sarjassa: 97.5 prosentin keskiarvo verrattuna 96.85:een, edellä Libero 10:ssä, jäljessä Spatialissa. Reitti on työkalun valinta, ei laadun.

485 ms:n todellisuus ja missä se lakkaa olemasta käyttökelpoinen

Tämä ratkaisee projektisi, joten se tulee ennen kustannustaulukkoa. per toimintavaihe, joka mitattiin tässä Pi0.5:lle, on 485 ms. Verrattuna neljään muuhun:

Ylävirralla on vastaus, ja puolet siitä on jo asennettavissa olevassa julkaisussa. Reaaliaikainen paloittelu (Real-Time Chunking) luo seuraavan palan samalla kun robottikäsi suorittaa edellistä, ja ohjaa sitten uuden palan päällekkäisiä vaiheita pysymään lähellä jo suoritettua osaa, jotta robottikäsi ei pysähdy tai nyi saumakohdassa. Päättelyajan muoto toimitettiin 0.4.2-muutoslokissa Pi0:lle, Pi0.5:lle ja SmolVLA:lle, ja se on käyttöönotto-lippu, ei uudelleenkoulutus:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Se ei nopeuta mallia. Se piilottaa aukon: 485 ms kuluu edelleen, mutta kriittisen polun ulkopuolella, joten jono ei tyhjene palojen välillä. arXiv 2512.05964:n koulutusajan variantti menee pidemmälle: malli oppii ehdollistamaan puhtaan toimintaetuliitteen perusteella, joten päättelyssä päällekkäisyys maalataan kovasti toimintakohtaisilla virtausajan askelilla ohjauksen sijaan, ja ohjauksen takaisinpäin kulkeva vaihe katoaa. Koulutuksen aikana se ottaa näytteen etuliitteen pituudesta per esimerkki ja laskee virtaushäviön jäljellä olevalle jälkiliitteelle. Tämä lippu on vain päähaarassa, ei versiossa 0.6.1, ja koulutettavan viiveen on pysyttävä chunk_size-arvon alapuolella.

Kaksi tapaa saada Pi0.5-tarkistuspiste

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Kun se ei toimi

• Tietoaineisto hylätty: v3 vaaditaan
• Muisti loppui koulutuksen aikana
• Häviö laskee, mutta toimintamalli ei tee mitään
• Toimintamalli jumiutuu liikkeen puolivälissä
• Toimintamalli toimii vain yhdessä kokoonpanossa
• Koulutustyö jumissa jonossa

Mitä yksi ajo maksaa

Pi0.5 kuuluu kalliiseen tasoon, koska se tarvitsee 80 GB:n kortin, ja spot-hinnat vaihtelevat, joten luku on pikemminkin vaihteluväli kuin tarkka hinta. Monissa SO-100-tehtävissä kouluta ensin SmolVLA tai ACT 24 GB:n tasolla, varmista ensin, että tehtävä on ylipäätään opittavissa, ja käytä sitten A100-tunteja siihen. Kouluta ensimmäinen toimintamallisi käy läpi tämän edullisemman kierroksen, ja hinnoittelu sisältää nykyiset tasot.

Ennen illan sitouttamista: GR00T N1.7 vastaan Pi0.5 ja Pi0.5 vastaan SmolVLA asettavat samat luvut vastakkain. Arena sisältää 85 VLA-mallia 332 vertailutuloksella, joista jokainen on linkitetty lähteeseensä, ja taustatietoa perheestä löytyy VLA-yleiskatsauksestamme.