Jinsi ya Kufunza Pi0.5 kwa Data Yako Mwenyewe ya Roboti

Pi0.5 ndiyo modeli unayotumia wakati sera inapaswa kufanya kazi katika chumba ambacho haijawahi kuona. Pia ni ngumu zaidi kati ya tano sera zinazoweza kufunzwa hapa ili kurekebisha kwa mkono: hazina ya chanzo ni JAX kwanza, bandari ya LeRobot ilihamisha usambazaji nje ya lerobot-record katika 0.6.0 na kufanya usakinishaji wa msingi kuwa mdogo sana kufunza nao, na urekebishaji kamili hautoshi kwenye 4090. Chini: nini ulinganishaji wa mtiririko inagharimu wakati wa utekelezaji, njia mbili za amri, na nambari ya 485 ms inayoamua kama matokeo yanaweza kutumika.

Pi0.5 ni nini hasa

Physical Intelligence ilichapisha pi0 mnamo Oktoba 2024: ulinganishaji wa mtiririko modeli ya maono-lugha-kitendo kwenye VLM iliyefunzwa awali: PaliGemma yenye vigezo bilioni 3 pamoja na mtaalamu wa vitendo wa 300M aliyeanzishwa kutoka mwanzo, bilioni 3.3 kwa jumla. Karatasi hiyo inaripoti mafunzo ya awali kwa zaidi ya saa 10,000 za data ya roboti katika usanidi 7 wa roboti na kazi 68. Zaidi katika makala ya pi0.

Pi0.5 (arXiv 2504.16054, 22 Aprili 2025) huweka mfumo huo na kubadilisha mlo wa mafunzo: data ya wavuti, utambuzi wa vitu, maelekezo ya maneno kutoka kwa wanadamu wanaomfundisha roboti, lebo za kazi ndogo, data ya miili mbalimbali kutoka kwa roboti katika nyumba nyingi. Matokeo yake ni roboti inayofanya usafi jikoni katika nyumba ambazo hazikuwa katika seti ya mafunzo. README ya openpi inaongeza maelezo ambayo kichwa hakina: pi0.5 iliyotolewa ilifunzwa kwa kutumia insulation ya maarifa (arXiv 2505.23705).

Nini kulinganisha mtiririko kunabadilisha kuhusu mafunzo na utambuzi

Sera sera unayoweza kufundisha kwenye SO-100 ama hurejesha vitendo moja kwa moja (ACT) au huviweka katika tokeni na kuvifumbua kwa kujirejesha (pi0-FAST). Ulinganishaji wa mtiririko haufanyi mojawapo: hujifunza uga wa vekta unaosafirisha kelele hadi kwenye kifungu cha vitendo, kisha huunganisha. Karatasi ya pi0 hutumia hatua 10 za kuunganisha kwa ukubwa wa hatua 0.1; usanidi wa pi05 wa LeRobot hubeba num_inference_steps: int = 10 sawa.

• Mafunzo: hasara hurejesha kifungu cha vitendo chenye kelele. Hakuna kitokeni cha kurekebisha, hakuna ugawanyaji wa pembe zako za viungo.
• Utabiri: kifungu kimoja hugharimu pasi kumi za mbele kupitia mtaalamu wa vitendo. Hiyo ni kimuundo, si tatizo la kurekebisha.
• Matokeo: vitendo endelevu vya vipimo 32, vilivyojazwa ndani, hasara ikichukuliwa kwenye vipimo ambavyo roboti yako inavyo. Mkono wa 6-DoF pamoja na kishika hutumia 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

Utu wa PaliGemma, na lango lililo mbele yake

PaliGemma (arXiv 2407.07726) ni kirekodi cha kuona cha SigLIP-So400m kwenye modeli ya lugha ya Gemma-2B, yenye takriban vigezo 3B. Pi0.5 hurithi kirekodi chake cha maneno (tokenizer), na kirekodi hicho cha maneno kipo kwenye hazina iliyofungwa. Hii ndiyo njia ya kawaida ambayo jaribio la kwanza hufa, kabla ya hatua ya mafunzo.

Kabla ya kuanza: umbizo la seti ya data, vipindi, maunzi

Pi0.5 katika LeRobot husoma seti ya data ya LeRobot katika mpangilio wa v3.0, ambao ulitolewa na lerobot 0.4.0 mnamo Oktoba 2025: vipindi vingi kwa kila faili ya Parquet na MP4 badala ya faili moja kwa kila kipindi, na mipaka katika meta/episodes/ badala ya majina ya faili. Rekodi kwa kutumia programu ya kompyuta au fuata rekodi seti yako ya kwanza ya data na utakuwa nayo.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Jukwaa linahitaji angalau vipindi 50 kwa Pi0.5, kiwango sawa na GR00T na ACT. Mafunzo ya awali hufanya kazi kubwa, kwa hivyo vipindi 50 safi vinashinda vipindi 200 visivyo nadhifu. Mpya kwa hili? Anza na mwongozo wa ukusanyaji data.

Njia A: fanya marekebisho madogo na hazina ya openpi

Utekelezaji wa marejeleo: JAX kwanza, iliyojaribiwa kwenye Ubuntu 22.04 pekee, inayoendeshwa na vitu vya usanidi badala ya bendera. Njia ya PyTorch iliwasili Septemba 2025, iliyothibitishwa kwenye LIBERO. Hatua tatu: badilisha data yako, bainisha usanidi, funza na utumie.

1. 1
   Nakili na Sakinisha

   openpi inatumia uv. GIT_LFS_SKIP_SMUDGE ndicho kinachoruhusu LeRobot kuingia kama tegemezi bila LFS blobs.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Badilisha data yako kuwa seti ya data ya LeRobot

   Upstream inatoa vibadilishaji kwa LIBERO na DROID na inatarajia urekebishe kimoja. Kazi ni ramani ya funguo.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Ongeza usanidi wa mafunzo

   Usanidi ni viingilio vya TrainConfig katika src/openpi/training/config.py. Huu unarekebisha pi05_droid_finetune, na kipakiaji cha uzito kikiwa kimeelekezwa kwenye pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Kokotoa takwimu za kawaida

   Inaendeshwa dhidi ya jina la usanidi, si seti ya data. Kuiruka ni kosa la kwanza la kawaida hapa.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Funza

   Kigezo huruhusu JAX kutumia asilimia 90 ya kumbukumbu ya GPU badala ya asilimia 75 ya msingi. Kwenye kadi ya 80 GB hiyo huamua kama uendeshaji utaendelea.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Ihudumie

   Seva inasikiliza kwenye bandari 8000 na kujibu maswali ya uchunguzi; mfumo endeshi wa roboti yako ndiye mteja.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Njia B: fanya marekebisho madogo na lerobot pi05

Bandari ya LeRobot inafunga uzito sawa katika CLI unayotumia tayari kwa ACT na SmolVLA. Kila kitu kilicho hapa chini kiliangaliwa dhidi ya lerobot 0.6.1, toleo tangu Agosti 3, 2026, na nyaraka za pi05 mnamo Agosti 23, 2026. Matoleo ni muhimu hapa: hifadhidata za v3.0 ziliwasili na 0.4.0 mnamo Oktoba 2025, blogu ya 0.5.0 ya Machi 9, 2026 inawasilisha pi0-FAST na Real-Time Chunking, na 0.6.0 mnamo Julai 6, 2026 ilifanya kifurushi cha msingi kuwa chepesi na kuhamisha usambazaji kwa lerobot-rollout.

Jambo moja halikuhama: lerobot-train na lerobot-record tayari zilikuwa sehemu za kuingilia katika 0.3.2, Agosti 2025. Mafunzo ambayo bado yanaita python -m lerobot.scripts.train yanatangulia mwaka mmoja wa mabadiliko na hayafai kuaminiwa kwa mengine pia.

1. 1
   Sakinisha na nyongeza sahihi

   Tangu toleo la 0.6.0, usakinishaji wa msingi hubeba tu vitegemezi vya msingi vya ML, na nyongeza ya pi haiongezi data au msimbo wa mafunzo, kwa hivyo urekebishaji mzuri unahitaji nyongeza ya mafunzo pia. Amri za zamani za mstari mmoja hushindwa hapa wakati wa kuingiza.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Thibitisha Utambulisho

   Kubali leseni ya paligemma-3b-pt-224 kwenye kivinjari, kisha ingia kwenye mashine inayofanya mafunzo.

   bash

   hf auth login

3. 3
   Ongeza takwimu za quantile

   Pi0.5 hurekebisha HALI na HATUA kwa kutumia quantiles, kwa hivyo meta/stats.json inahitaji q01 na q99. Seti za data za zamani hubeba tu min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Rekebisha kutoka lerobot/pi05_base

   Weka ukubwa wa bechi kulingana na kile kadi yako inaweza kuhimili; nyaraka hutumia 64 kwenye LIBERO kwa 80 GB. Pitisha bfloat16 waziwazi, chaguo-msingi la usanidi ni float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Endesha kwenye mkono

   Katika 0.6.x hii ni lerobot-rollout: lerobot-record inakataa sera na kukataa majina ya seti za data za eval_. Base huendesha mkono, sentry hurekodi utekelezaji.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Seti tatu za chaguo-msingi, na zipi zinafika kwa mkufunzi

TrainConfig ya openpi ndiyo rejeleo, PI05Config ya LeRobot ndiyo lerobot-train hutumia usiposema chochote, na fomu hapa inatuma seti ya tatu. Kinachoshangaza ni kiwango cha kujifunza: viwango chaguomsingi vya juu vinafikia 2.5e-5, wakati usanidi wa pi05_libero wa openpi na jukwaa hili huipandisha hadi 5e-5.

Je, bandari ni mwaminifu? Timu ya LeRobot iliboresha mfumo msingi wa LIBERO kwa hatua nyingine 6k na kulinganisha na nambari za rejeleo za openpi kwenye seti nne: wastani wa asilimia 97.5 dhidi ya 96.85, mbele kwenye Libero 10, nyuma kwenye Spatial. Njia hii ni chaguo la zana, si la ubora.

Uhalisia wa 485 ms, na mahali inapoacha kutumika

Hii huamua mradi wako, hivyo inakuja kabla ya jedwali la gharama. kwa kila hatua ya kitendo iliyopimwa hapa kwa Pi0.5 ni 485 ms. Ikilinganishwa na zingine nne:

Upstream ina jibu, na nusu yake tayari iko kwenye toleo unaloweza kusakinisha. Real-Time Chunking huzalisha kipande kinachofuata wakati mkono bado unatekeleza cha sasa, kisha huongoza hatua zinazopishana za kipande kipya kukaa karibu na sehemu iliyotekelezwa tayari, ili mkono usisimame au kutetemeka kwenye mshono. Fomu ya wakati wa utoaji wa hitimisho ilisafirishwa katika changelog ya 0.4.2 kwa Pi0, Pi0.5 na SmolVLA na ni bendera ya usambazaji, si mafunzo upya:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Haifanyi mfumo kuwa wa haraka zaidi. Inaficha pengo: milisekunde 485 bado zinatumika, lakini nje ya njia muhimu, hivyo foleni haikauki kati ya vipande. Toleo la wakati wa mafunzo kutoka arXiv 2512.05964 linaenda mbali zaidi: mfumo hujifunza kuweka masharti kwenye kiambishi awali cha kitendo safi, hivyo wakati wa utoaji wa hitimisho mwingiliano huwekwa rangi ngumu na hatua za muda za mtiririko kwa kila kitendo badala ya kuongozwa, na upitishaji wa nyuma wa mwongozo hupotea. Wakati wa mafunzo huchukua urefu wa kiambishi awali kwa kila mfano na huchukua hasara ya mtiririko kwenye kiambishi tamati kilichobaki. Bendera hiyo inapatikana kwenye main pekee, si katika 0.6.1, na ucheleweshaji unaofanyia mafunzo lazima ubaki chini ya chunk_size.

Njia mbili za kupata checkpoint ya Pi0.5

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Wakati haifanyi kazi

• Seti ya data imekataliwa: v3 inahitajika
• Kumbukumbu imejaa wakati wa mafunzo
• Hasara inapungua lakini sera haifanyi chochote
• Sera inaganda katikati ya mwendo
• Sera inafanya kazi katika usanidi mmoja tu
• Kazi ya mafunzo imekwama kwenye foleni

Gharama ya utekelezaji mmoja

Pi0.5 iko kwenye kiwango cha gharama kubwa kwa sababu inahitaji kadi ya 80 GB, na bei za soko hubadilika, kwa hivyo takwimu ni safu badala ya bei. Kwa kazi nyingi za SO-100, funza SmolVLA au ACT kwenye kiwango cha 24 GB kwanza, thibitisha kuwa kazi inaweza kujifunzwa kabisa, kisha tumia masaa ya A100 juu yake. Funza sera yako ya kwanza inaelezea mzunguko huo wa bei nafuu, na bei inaonyesha viwango vya sasa.

Kabla ya kujitolea jioni: GR00T N1.7 dhidi ya Pi0.5 na Pi0.5 dhidi ya SmolVLA huweka namba zilezile uso kwa uso. Uwanja ina mifumo 85 ya VLA yenye matokeo 332 ya vigezo, kila moja ikiwa imeunganishwa na chanzo chake, na maelezo ya familia yanapatikana katika muhtasari wetu wa VLA.