Kaip apmokyti Pi0.5 su savo roboto duomenimis

Pi0.5 yra modelis, kurį pasirenkate, kai politika turi veikti kambaryje, kurio niekada nematė. Tai taip pat yra nepatogiausia iš penkių apmokomos politikos čia, kad tiksliai sureguliuotumėte rankiniu būdu: pirminė saugykla pirmiausia yra JAX, LeRobot prievadas perkėlė diegimą iš lerobot-record 0.6.0 versijoje ir padarė bazinį diegimą per mažą apmokymui, o pilnas tikslus sureguliavimas netelpa į 4090. Žemiau: ką srauto derinimas kainuoja išvados metu, du komandų maršrutai ir 485 ms skaičius, kuris nusprendžia, ar rezultatas yra tinkamas naudoti.

Kas iš tikrųjų yra Pi0.5

Physical Intelligence 2024 m. spalio mėn. paskelbė pi0: srauto derinimo regos-kalbos-veiksmo modelis ant iš anksto apmokyto VLM: PaliGemma su 3 milijardais parametrų plius 300M veiksmo ekspertas, inicializuotas nuo nulio, iš viso 3.3 milijardo. Straipsnyje pranešama apie išankstinį apmokymą naudojant daugiau nei 10 000 valandų roboto duomenų, apimančių 7 robotų konfigūracijas ir 68 užduotis. Daugiau pi0 straipsnyje.

Pi0.5 (arXiv 2504.16054, 2025 m. balandžio 22 d.) išlaiko tą karkasą ir keičia mokymo dietą: žiniatinklio duomenys, objektų aptikimas, žodinės instrukcijos iš žmonių, mokančių robotą, potaskių etiketės, kryžminio įkūnijimo duomenys iš robotų daugelyje namų. Rezultatas – robotas, valantis virtuves namuose, kurie nebuvo mokymo rinkinyje. „openpi README“ prideda detalę, kurios nėra pavadinime: išleistas pi0.5 buvo apmokytas su žinių izoliacija (arXiv 2505.23705).

Ką srauto atitikimas keičia mokyme ir išvadose

Politika, politiką, kurią galite apmokyti SO-100, tiesiogiai regresuoja veiksmus (ACT) arba juos tokenizuoja ir dekoduoja autoregresyviai (pi0-FAST). Srauto derinimas nedaro nei vieno iš šių: jis išmoksta vektorinį lauką, kuris perneša triukšmą į švarų veiksmų fragmentą, tada jį integruoja. pi0 straipsnyje naudojami 10 integravimo žingsnių, kurių žingsnio dydis yra 0.1; LeRobot pi05 konfigūracija turi tą patį `num_inference_steps: int = 10`.

• Apmokymas: nuostolis regresuoja triukšmingą veiksmų fragmentą. Nėra tokenizatoriaus, kurį reikėtų derinti, jokio jūsų sąnarių kampų diskretizavimo.
• Išvada: vienas fragmentas kainuoja dešimt tiesioginių perdavimų per veiksmų ekspertą. Tai yra struktūrinė, o ne derinimo problema.
• Išvestis: tolydūs 32 matmenų veiksmai, viduje užpildyti, nuostolis apskaičiuojamas pagal jūsų roboto matmenis. 6-Laisvės laipsnių ranka plius griebtuvas naudoja 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma pagrindas ir vartai prieš jį

PaliGemma (arXiv 2407.07726) yra SigLIP-So400m vaizdo kodavimo įrenginys, veikiantis su Gemma-2B kalbos modeliu, turinčiu apie 3B parametrų. Pi0.5 paveldi savo tokenizatorių, ir tas tokenizatorius yra uždaroje saugykloje. Tai yra dažniausias būdas, kaip pirmasis paleidimas žlunga, dar prieš pirmąjį mokymo žingsnį.

Prieš pradedant: duomenų rinkinio formatas, epizodai, aparatinė įranga

Pi0.5 LeRobot'e nuskaito LeRobot duomenų rinkinį v3.0 išdėstymu, kuris pasirodė su lerobot 0.4.0 2025 m. spalį: daug epizodų viename Parquet ir MP4 faile, o ne vienas failas vienam epizodui, su ribomis meta/episodes/ kataloge, o ne failų pavadinimuose. Įrašykite naudodami darbalaukio klientą arba sekite įrašykite savo pirmąjį duomenų rinkinį ir turėsite tai.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platforma reikalauja bent 50 epizodų Pi0.5, tas pats minimumas kaip GR00T ir ACT. Išankstinis apmokymas atlieka didžiąją dalį darbo, todėl 50 švarių epizodų yra geriau nei 200 aplaidžių. Naujokas šioje srityje? Pradėkite nuo duomenų rinkimo vadovo.

A maršrutas: tikslinimas naudojant openpi saugyklą

Etaloninė implementacija: pirmiausia JAX, išbandyta tik Ubuntu 22.04, valdoma konfigūracijos objektais, o ne vėliavėlėmis. PyTorch kelias atsirado 2025 m. rugsėjį, patvirtintas LIBERO. Trys žingsniai: konvertuokite duomenis, apibrėžkite konfigūraciją, apmokykite ir paleiskite.

1. 1
   Klonuoti ir įdiegti

   openpi naudoja uv. GIT_LFS_SKIP_SMUDGE leidžia LeRobot būti priklausomybe be LFS didelių dvejetainių failų.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Konvertuokite savo duomenis į LeRobot duomenų rinkinį

   Aukštesnio lygio tiekėjas pateikia konverterius LIBERO ir DROID ir tikisi, kad pritaikysite vieną iš jų. Darbas yra raktų susiejimas.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Pridėti apmokymo konfigūraciją

   Konfigūracijos yra TrainConfig įrašai src/openpi/training/config.py. Ši pritaiko pi05_droid_finetune, o svorio įkėliklis nukreiptas į pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Apskaičiuoti normos statistiką

   Vykdoma pagal konfigūracijos pavadinimą, o ne duomenų rinkinį. Praleidus tai, čia yra klasikinė pirmoji klaida.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Apmokyti

   Šis kintamasis leidžia JAX naudoti 90 procentų GPU atminties vietoj numatytųjų 75. 80 GB kortelėje tai lemia, ar paleidimas išgyvens.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Pateikti

   Serveris klausosi 8000 prievado ir atsako į stebėjimo užklausas; jūsų roboto vykdymo aplinka yra klientas.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

B maršrutas: tikslus derinimas su lerobot pi05

LeRobot prievadas apjungia tuos pačius svorius CLI, kurį jau naudojate ACT ir SmolVLA. Viskas toliau buvo patikrinta su lerobot 0.6.1, išleistu nuo 2026 m. rugpjūčio 3 d., ir pi05 dokumentacija 2026 m. rugpjūčio 23 d. Versijos čia svarbios: v3.0 duomenų rinkiniai pasirodė su 0.4.0 2025 m. spalį, 2026 m. kovo 9 d. 0.5.0 tinklaraštis pristato pi0-FAST ir Real-Time Chunking, o 0.6.0 2026 m. liepos 6 d. padarė bazinį paketą lengvą ir perkėlė diegimą į lerobot-rollout.

Vienas dalykas nepasikeitė: lerobot-train ir lerobot-record jau buvo įėjimo taškai 0.3.2 versijoje, 2025 m. rugpjūtį. Mokomoji medžiaga, kuri vis dar naudoja python -m lerobot.scripts.train, yra senesnė nei metų pokyčiai ir ja neverta pasitikėti ir dėl kitų dalykų.

1. 1
   Įdiekite su tinkamais priedais

   Nuo 0.6.0 bazinis diegimas apima tik pagrindines ML priklausomybes, o „pi“ priedas neprideda duomenų rinkinio ar mokymo kodo, todėl smulkiam derinimui reikalingas ir mokymo priedas. Senesnės vienos eilutės komandos čia nepavyksta importavimo metu.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentifikuoti

   Naršyklėje priimkite paligemma-3b-pt-224 licenciją, tada prisijunkite prie mašinos, kuri treniruoja.

   bash

   hf auth login

3. 3
   Pridėti kvantilių statistiką

   Pi0.5 normalizuoja STATE ir ACTION su kvantiliais, todėl meta/stats.json reikalingi q01 ir q99. Senesni duomenų rinkiniai turi tik min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Smulkus derinimas iš lerobot/pi05_base

   Nustatykite paketo dydį pagal tai, ką jūsų kortelė gali atlaikyti; dokumentuose naudojama 64 LIBERO su 80 GB. Aiškiai nurodykite bfloat16, numatytasis konfigūracijos nustatymas yra float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Paleiskite ant roboto rankos

   0.6.x versijoje tai yra lerobot-rollout: lerobot-record atmeta politiką ir atmeta eval_ duomenų rinkinių pavadinimus. Bazė valdo ranką, sentry įrašo išleidimą.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Trys numatytųjų nustatymų rinkiniai ir kurie iš jų pasiekia treniruoklį

openpi TrainConfig yra etalonas, LeRobot PI05Config yra tai, ką lerobot-train naudoja, kai nieko nenurodote, o čia esanti forma siunčia trečią rinkinį. Staigmena yra mokymosi sparta: abi aukštesnio lygio numatytosios reikšmės pasiekia 2.5e-5, o openpi pi05_libero konfigūracija ir ši platforma ją padidina iki 5e-5.

Ar perkėlimas yra tikslus? LeRobot komanda toliau derino LIBERO bazinį modelį 6 tūkst. žingsnių ir palygino su openpi etaloniniais skaičiais keturiuose rinkiniuose: 97.5 procento vidurkis prieš 96.85, pirmauja Libero 10, atsilieka Spatial. Kelias yra įrankių, o ne kokybės pasirinkimas.

485 ms realybė ir kur ji nustoja būti tinkama naudoti

Tai lemia jūsų projektą, todėl tai pateikiama prieš išlaidų lentelę. vienam veiksmo žingsniui, išmatuotas čia Pi0.5 modeliui, yra 485 ms. Palyginus su kitais keturiais:

Aukštesnis lygis turi atsakymą, ir pusė jo jau yra leidime, kurį galite įdiegti. Realaus laiko skaidymas (Real-Time Chunking) generuoja kitą dalį, kol ranka dar vykdo dabartinę, tada nukreipia persidengiančius naujos dalies žingsnius, kad jie liktų arti jau įvykdytos dalies, todėl ranka nestringa ir netrūkčioja ties sujungimu. Išvadų laiko forma, pristatyta 0.4.2 pakeitimų žurnale, skirta Pi0, Pi0.5 ir SmolVLA, yra diegimo (rollout) vėliavėlė, o ne pertrainavimas:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Tai nepagreitina modelio. Tai paslepia tarpą: 485 ms vis dar išleidžiama, bet ne kritiniame kelyje, todėl eilė neišsenka tarp dalių. Mokymo laiko variantas iš arXiv 2512.05964 eina toliau: modelis mokosi sąlygoti švarų veiksmo prefiksą, todėl išvadų metu persidengimas yra griežtai įterpiamas su veiksmo srauto laiko žingsniais, o ne nukreipiamas, ir nukreipimo atgalinis perdavimas dingsta. Mokymo metu jis pavyzdžiui parenka prefikso ilgį ir apskaičiuoja srauto nuostolius likusiam postfiksui. Ši vėliavėlė yra tik pagrindinėje versijoje, ne 0.6.1, ir vėlavimas, kuriam treniruojate, turi likti mažesnis nei chunk_size.

Du būdai gauti Pi0.5 kontrolinį tašką

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Kai neveikia

• Duomenų rinkinys atmestas: reikalinga v3
• Trūksta atminties apmokymo metu
• Nuostolis mažėja, bet politika nieko nedaro
• Politika sustingsta judesio viduryje
• Politika veikia tik vienoje konfigūracijoje
• Apmokymo užduotis įstrigo eilėje

Kiek kainuoja vienas vykdymas

Pi0.5 patenka į brangią pakopą, nes jam reikalinga 80 GB kortelė, o momentinės kainos kinta, todėl nurodyta suma yra diapazonas, o ne konkreti kaina. Daugeliui SO-100 užduočių, pirmiausia apmokykite SmolVLA arba ACT 24 GB pakopoje, patvirtinkite, kad užduotis apskritai yra išmokstama, tada skirkite jai A100 valandų. Apmokykite savo pirmąją politiką paaiškina tą pigesnį ciklą, o kainodara nurodo dabartines pakopas.

Prieš skiriant vakarą: GR00T N1.7 prieš Pi0.5 ir Pi0.5 prieš SmolVLA pateikia tuos pačius skaičius palyginimui. Arena talpina 85 VLA modelius su 332 etaloniniais rezultatais, kiekvienas susietas su savo šaltiniu, o informacija apie šeimą yra mūsų VLA apžvalgoje.