Hvernig á að þjálfa Pi0.5 á eigin vélmennagögnum

Pi0.5 er líkanið sem þú grípur til þegar stefna þarf að virka í herbergi sem hún hefur aldrei séð. Það er líka það óþægilegasta af þeim fimm þjálfanlegar stefnur hér til að fínstilla handvirkt: upprunalega geymslan er JAX fyrst, LeRobot útgáfan færði dreifingu út úr lerobot-record í 0.6.0 og gerði grunn uppsetninguna of litla til að þjálfa með, og full fínstilling passar ekki á 4090. Hér fyrir neðan: hvað flæðisjöfnun kostar við ályktun, tvær skipanaleiðirnar, og 485 ms talan sem ræður því hvort niðurstaðan sé nothæf.

Hvað Pi0.5 er í raun

Physical Intelligence gaf út pi0 í október 2024: flæðisjöfnunar sjón-mál-aðgerð líkan á forþjálfuðu VLM: PaliGemma með 3 milljarða færibreytur auk 300M aðgerðasérfræðings sem var frumstilltur frá grunni, samtals 3.3 milljarðar. Greinin greinir frá forþjálfun á yfir 10.000 klukkustundum af vélmennagögnum yfir 7 vélmennastillingar og 68 verkefni. Meira í pi0 greininni.

Pi0.5 (arXiv 2504.16054, 22 April 2025) heldur þeirri grunnbyggingu og breytir þjálfunarfæðinu: vefgögn, hlutgreining, munnlegar leiðbeiningar frá mönnum sem þjálfa vélmennið, undirverkefnismerkingar, gögn frá vélmennum í mörgum heimilum sem sýna mismunandi útfærslur. Niðurstaðan er vélmenni sem þrífur eldhús í húsum sem voru ekki í þjálfunarsettinu. openpi README bætir við smáatriði sem titillinn gerir ekki: útgefna pi0.5 var þjálfuð með þekkingareinangrun (arXiv 2505.23705).

Hvað flæðisjöfnun breytir varðandi þjálfun og ályktun

Stjórnunarstefna stjórnunarstefna sem hægt er að þjálfa á SO-100 annaðhvort skilar aðgerðum beint (ACT) eða táknar þær og afkóðar sjálfvirkt (pi0-FAST). Flæðisjöfnun gerir hvorugt: hún lærir vigursvið sem flytur hávaða í hreinan aðgerðabút, og samþættir hann síðan. pi0-ritgerðin notar 10 samþættingarskref með skrefstærð 0.1; pi05 stilling LeRobot inniheldur sama num_inference_steps: int = 10.

• Þjálfun: tapið skilar hávaðasömum aðgerðabút. Enginn táknari til að stilla, engin sundurgreining á liðhornunum þínum.
• Ályktun: einn bútur kostar tíu framsendingar í gegnum aðgerðasérfræðinginn. Þetta er byggingarbundið, ekki stillingarvandamál.
• Úttak: samfelldar aðgerðir af vídd 32, fylltar innbyrðis, tap tekið á víddunum sem vélmennið þitt hefur. 6-DoF armur ásamt gripara notar 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma burðarvirkið, og hliðið fyrir framan það

PaliGemma (arXiv 2407.07726) er SigLIP-So400m sjónkóðari á Gemma-2B tungumálamódeli, um 3B færibreytur. Pi0.5 erfir táknara sinn, og sá táknari er í lokuðu geymslusvæði. Þetta er algengasta ástæðan fyrir því að fyrsta keyrsla mistekst, áður en fyrsta þjálfunarskrefið.

Áður en þú byrjar: gagnasafnsnið, þættir, vélbúnaður

Pi0.5 í LeRobot les LeRobot gagnasafn í v3.0 skipulagi, sem kom með lerobot 0.4.0 í október 2025: margir þættir í hverri Parquet og MP4 skrá í stað einnar skrár á hvern þátt, með mörkum í meta/episodes/ frekar en skráarnöfnum. Taktu upp með skjáborðsforritinu eða fylgdu skráðu fyrsta gagnasafnið þitt og þú hefur það.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Vettvangurinn krefst að minnsta kosti 50 þátta fyrir Pi0.5, sama lágmark og fyrir GR00T og ACT. Forþjálfun sér um erfiðasta verkið, svo 50 hreinir þættir eru betri en 200 slakir. Nýr í þessu? Byrjaðu á leiðbeiningunum um gagnasöfnun.

Leið A: fínstilla með openpi geymslunni

Viðmiðunarútfærslan: JAX fyrst, prófuð eingöngu á Ubuntu 22.04, knúin áfram af stillingahlutum frekar en flöggum. PyTorch leið kom í september 2025, staðfest á LIBERO. Þrjú skref: umbreyta gögnunum þínum, skilgreina stillingu, þjálfa og þjóna.

1. 1
   Klóna og setja upp

   openpi notar uv. GIT_LFS_SKIP_SMUDGE er það sem gerir LeRobot kleift að koma inn sem háð án LFS-kubba.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Umbreyta gögnunum þínum í LeRobot gagnasafn

   Uppstreymið sendir með breytir fyrir LIBERO og DROID og gerir ráð fyrir að þú aðlagir einn. Verkið er lykilkortlagningin.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Bæta við þjálfunarstillingu

   Stillingar eru TrainConfig færslur í src/openpi/training/config.py. Þessi aðlagar pi05_droid_finetune, með þyngdarhleðslunni beint á pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Reikna staðlaðar tölfræði

   Keyrir gegn stillingarnafninu, ekki gagnasafninu. Að sleppa því er klassíska fyrsta bilunin hér.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Þjálfa

   Breytan leyfir JAX að nota 90 prósent af GPU minni í stað sjálfgefna 75. Á 80 GB korti ræður það því hvort keyrslan lifir af.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Þjóna því

   Þjónninn hlustar á port 8000 og svarar athugunarfyrirspurnum; keyrslutími vélmennisins þíns er biðlarinn.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Leið B: fínstilla með lerobot pi05

LeRobot portið umvefur sömu þyngdir í CLI sem þú notar nú þegar fyrir ACT og SmolVLA. Allt hér að neðan var athugað gegn lerobot 0.6.1, útgáfunni frá 3. ágúst 2026, og pi05 skjölunum þann 23. ágúst 2026. Útgáfur skipta máli hér: v3.0 gagnasöfn komu með 0.4.0 í október 2025, 0.5.0 bloggið frá 9. mars 2026 kynnir pi0-FAST og Real-Time Chunking, og 0.6.0 þann 6. júlí 2026 gerði grunn pakkann léttan og færði útfærslu yfir í lerobot-rollout.

Eitt hreyfðist ekki: lerobot-train og lerobot-record voru nú þegar inngangspunktar í 0.3.2, ágúst 2025. Kennsla sem enn kallar á python -m lerobot.scripts.train er frá því fyrir ári af breytingum og er þess virði að vantreysta á restinni líka.

1. 1
   Setja upp með réttum viðbótum

   Frá og með 0.6.0 inniheldur grunnuppsetningin aðeins kjarna ML-háðir, og pi-viðbótin bætir ekki við neinum gagnasafns- eða þjálfunarkóða, svo fínstilling þarf einnig þjálfunarviðbótina. Eldri einfaldar skipanir mistakast hér við innflutning.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Auðkenna

   Samþykktu paligemma-3b-pt-224 leyfið í vafra, skráðu þig síðan inn á tölvunni sem þjálfar.

   bash

   hf auth login

3. 3
   Bæta við kvartíl-tölfræði

   Pi0.5 staðlar STATE og ACTION með kvartílum, svo meta/stats.json þarf q01 og q99. Eldri gagnasöfn innihalda aðeins min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Fínstilla frá lerobot/pi05_base

   Stilltu stærð lotunnar eftir því hvað kortið þitt þolir; skjölun notar 64 á LIBERO með 80 GB. Sendu bfloat16 skýrt, sjálfgefið í stillingum er float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Keyra það á arminum

   Í 0.6.x er þetta lerobot-rollout: lerobot-record neitar stefnu og hafnar eval_ gagnasafnsnöfnum. Base stýrir arminum, sentry skráir útfærsluna.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Þrjú sett af sjálfgefnum gildum, og hver þeirra ná til þjálfarans

TrainConfig frá openpi er viðmiðið, PI05Config frá LeRobot er það sem lerobot-train notar þegar ekkert er gefið upp, og eyðublaðið hér sendir þriðja settið. Það sem kemur á óvart er námshraðinn: báðar sjálfgefnu stillingarnar ná hámarki í 2.5e-5, á meðan pi05_libero stilling openpi sjálfs og þessi vettvangur hækka hann í 5e-5.

Er útfærslan trú? LeRobot teymið fínstillti LIBERO grunnlíkanið í 6k skrefum til viðbótar og bar saman við viðmiðunartölur openpi á fjórum sviðum: 97.5 prósent að meðaltali á móti 96.85, á undan á Libero 10, á eftir á Spatial. Leiðin er val á verkfærum, ekki gæðum.

Raunveruleikinn 485 ms, og hvar hann hættir að vera nothæfur

Þetta ræður verkefni þínu, svo það kemur á undan kostnaðartöflunni. Töf á á hverju aðgerðarskrefi mæld hér fyrir Pi0.5 er 485 ms. Í samanburði við hin fjögur:

Uppstreymi hefur svar, og helmingur þess er nú þegar í útgáfunni sem þú getur sett upp. Rauntíma bútun (Real-Time Chunking) býr til næsta bút á meðan armurinn er enn að framkvæma þann núverandi, leiðir síðan skarast skref nýja bútsins til að halda sér nálægt þeim hluta sem þegar hefur verið framkvæmdur, svo armurinn stöðvast ekki eða kippist við samskeytin. Ályktunartímaformið sem fylgdi með í 0.4.2 breytingaskránni fyrir Pi0, Pi0.5 og SmolVLA og er útfærslufáni, ekki endurþjálfun:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Það gerir módelið ekki hraðvirkara. Það felur bilið: 485 ms eru enn notaðar, en utan mikilvægrar leiðar, svo biðröðin tæmist ekki á milli bita. Þjálfunartíma afbrigðið frá arXiv 2512.05964 gengur lengra: módelið lærir að skilyrða sig á hreinan aðgerðarforskeyti, svo við ályktun er skörunin harðmáluð með flæðistímastigum á hverja aðgerð í stað þess að vera leiðbeint, og leiðbeiningar afturábak ferlið hverfur. Við þjálfun tekur það sýnishorn af forskeytalengd á hvert dæmi og tekur flæðitapið á eftirstandandi eftirskeyti. Sá fáni er aðeins á aðalútgáfu, ekki í 0.6.1, og seinkunin sem þú þjálfar fyrir verður að vera undir chunk_size.

Tvær leiðir til að fá Pi0.5 geymslupunkt

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Þegar það virkar ekki

• Gagnamengi hafnað: v3 krafist
• Minnislaust við þjálfun
• Tap minnkar en stefnan gerir ekkert
• Stefna frýs í miðri hreyfingu
• Stefna virkar aðeins í einni uppsetningu
• Þjálfunarverkefni fast í biðröð

Hvað ein keyrsla kostar

Pi0.5 er í dýra flokknum vegna þess að það þarf 80 GB kort, og verð á augnabliksmarkaði breytist, svo talan er svið frekar en verð. Fyrir mörg SO-100 verkefni, þjálfaðu SmolVLA eða ACT á 24 GB flokknum fyrst, staðfestu að verkefnið sé yfirhöfuð læranlegt, og eyðdu síðan A100 klukkustundum í það. Þjálfaðu fyrstu stefnu þína sýnir þessa ódýrari lykkju, og verðlagning sýnir núverandi flokka.

Áður en kvöldi er varið: og sýna sömu tölurnar hlið við hlið. geymir 85 VLA módel með 332 viðmiðunarniðurstöðum, hver tengd uppruna sínum, og bakgrunnur um fjölskylduna er í .