Kā apmācīt Pi0.5 ar saviem robota datiem

Pi0.5 ir modelis, ko izvēlas, ja politikai jādarbojas telpā, ko tā nekad nav redzējusi. Tas ir arī visneērtākais no piecām apmācāmām politikām šeit, lai precizētu manuāli: augšupējais repozitorijs vispirms ir JAX, LeRobot ports pārvietoja izvietošanu ārpus lerobot-record versijā 0.6.0 un padarīja bāzes instalāciju pārāk mazu apmācībai, un pilna precizēšana neietilpst 4090. Zemāk: ko plūsmas saskaņošana maksā secinājumu posmā, divi komandu maršruti un 485 ms skaitlis, kas nosaka, vai rezultāts ir izmantojams.

Kas Pi0.5 patiesībā ir

Physical Intelligence publicēja pi0 2024. gada oktobrī: plūsmas saskaņošanas redzes-valodas-darbības modelis uz iepriekš apmācīta VLM: PaliGemma ar 3 miljardiem parametru plus 300M darbības eksperts, inicializēts no nulles, kopā 3.3 miljardi. Rakstā ziņots par iepriekšēju apmācību vairāk nekā 10 000 stundu robotu datu apjomā, izmantojot 7 robotu konfigurācijas un 68 uzdevumus. Vairāk pi0 rakstā.

Pi0.5 (arXiv 2504.16054, 2025. gada 22. aprīlis) saglabā šo skeletu un maina apmācības diētu: tīmekļa dati, objektu noteikšana, verbālas instrukcijas no cilvēkiem, kas apmāca robotu, apakšuzdevumu marķējumi, starp-ķermeņu dati no robotiem daudzās mājās. Rezultāts ir robots, kas tīra virtuves mājās, kuras nebija apmācības kopā. openpi README pievieno detaļu, ko nosaukums neietver: izlaistais pi0.5 tika apmācīts ar zināšanu izolāciju (arXiv 2505.23705).

Ko plūsmas saskaņošana maina apmācībā un secinājumos

A politika ko var apmācīt uz SO-100, vai nu tieši regresē darbības (ACT) vai tokenizē tās un dekodē autoregresīvi (pi0-FAST). Plūsmas saskaņošana nedara nevienu no šiem: tā iemācās vektoru lauku, kas transportē troksni uz tīru darbību bloku, pēc tam to integrē. pi0 rakstā tiek izmantoti 10 integrācijas soļi ar soļa lielumu 0.1; LeRobot pi05 konfigurācija satur to pašu num_inference_steps: int = 10.

• Apmācība: zudums regresē trokšņainu darbību bloku. Nav jāpielāgo tokenizators, nav jādiskretizē jūsu locītavu leņķi.
• Secinājums: viens bloks maksā desmit pārejas caur darbības ekspertu. Tas ir strukturāli, nevis pielāgošanas problēma.
• Izvade: nepārtrauktas darbības ar 32 dimensijām, iekšēji polsterētas, zudums tiek ņemts no robota dimensijām. 6-DoF roka plus satvērējs izmanto 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma mugurkauls un vārti tā priekšā

PaliGemma (arXiv 2407.07726) ir SigLIP-So400m redzes kodētājs uz Gemma-2B valodu modeļa, aptuveni 3B parametri. Pi0.5 manto savu tokenizatoru, un šis tokenizators atrodas slēgtā repozitorijā. Tas ir visbiežākais veids, kā pirmais izpildījums beidzas neveiksmīgi, pirms pirmā apmācības soļa.

Pirms sākat: datu kopas formāts, epizodes, aparatūra

Pi0.5 LeRobot lasa LeRobot datu kopu v3.0 izkārtojumā, kas parādījās ar lerobot 0.4.0 2025. gada oktobrī: daudzas epizodes katrā Parquet un MP4 failā, nevis viens fails katrai epizodei, ar robežām meta/episodes/ nevis failu nosaukumos. Ierakstiet ar darbvirsmas klientu vai sekojiet ierakstiet savu pirmo datu kopu un jums tas būs.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platforma vēlas vismaz 50 epizodes Pi0.5, tas pats minimums kā GR00T un ACT. Pirmapmācība veic lielāko darbu, tāpēc 50 tīras epizodes ir labākas par 200 paviršām. Jauns šajā jomā? Sāciet ar datu vākšanas ceļvedi.

A maršruts: precizēšana ar openpi repozitoriju

Atsauces implementācija: vispirms JAX, testēta tikai uz Ubuntu 22.04, vadīta ar konfigurācijas objektiem, nevis karodziņiem. PyTorch ceļš parādījās 2025. gada septembrī, validēts uz LIBERO. Trīs soļi: konvertējiet savus datus, definējiet konfigurāciju, apmāciet un apkalpojiet.

1. 1
   Klonēt un instalēt

   openpi izmanto uv. GIT_LFS_SKIP_SMUDGE ir tas, kas ļauj LeRobot ienākt kā atkarībai bez LFS binārajiem objektiem.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Konvertējiet savus datus uz LeRobot datu kopu

   Augšpusē tiek piegādāti konvertētāji LIBERO un DROID un tiek sagaidīts, ka jūs pielāgosiet vienu. Darbs ir atslēgu kartēšana.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Pievienot apmācības konfigurāciju

   Konfigurācijas ir TrainConfig ieraksti src/openpi/training/config.py. Šis pielāgo pi05_droid_finetune, ar svara ielādētāju, kas norādīts uz pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Aprēķināt normēšanas statistiku

   Darbojas pret konfigurācijas nosaukumu, nevis datu kopu. Tā izlaišana ir klasiska pirmā kļūda šeit.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Apmācīt

   Šis mainīgais ļauj JAX izmantot 90 procentus GPU atmiņas, nevis noklusējuma 75. Uz 80 GB kartes tas nosaka, vai izpilde izdzīvos.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Apkalpot

   Serveris klausās uz portu 8000 un atbild uz novērojumu vaicājumiem; jūsu robota izpildlaiks ir klients.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

B maršruts: precizēt ar lerobot pi05

LeRobot ports ietver tos pašus svarus CLI, ko jau izmantojat priekš ACT un SmolVLA. Viss zemāk minētais tika pārbaudīts ar lerobot 0.6.1, izlaidumu kopš 2026. gada 3. augusta, un pi05 dokumentāciju 2026. gada 23. augustā. Versijām šeit ir nozīme: v3.0 datu kopas parādījās ar 0.4.0 2025. gada oktobrī, 0.5.0 emuārs 2026. gada 9. martā iepazīstina ar pi0-FAST un Real-Time Chunking, un 0.6.0 2026. gada 6. jūlijā padarīja bāzes pakotni vieglu un pārcēla izvietošanu uz lerobot-rollout.

Viena lieta nemainījās: lerobot-train un lerobot-record jau bija ieejas punkti 0.3.2 versijā, 2025. gada augustā. Apmācība, kas joprojām izsauc python -m lerobot.scripts.train ir pirms gada izmaiņām un ir vērts neuzticēties arī pārējam.

1. 1
   Instalēt ar pareizajiem papildinājumiem

   Kopš 0.6.0 pamata instalācija ietver tikai galvenās ML atkarības, un `pi` papildinājums nepievieno datu kopas vai apmācības kodu, tāpēc precizēšanai ir nepieciešams arī apmācības papildinājums. Vecākas vienrindas komandas šeit neizdodas importēšanas laikā.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentificēties

   Pārlūkprogrammā pieņemiet paligemma-3b-pt-224 licenci, pēc tam piesakieties mašīnā, kas veic apmācību.

   bash

   hf auth login

3. 3
   Pievienot kvantiļu statistiku

   Pi0.5 normalizē STATE un ACTION ar kvantilēm, tāpēc meta/stats.json ir nepieciešami q01 un q99. Vecākas datu kopas satur tikai min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Precizēt no lerobot/pi05_base

   Iestatiet pakešu izmēru atbilstoši tam, ko jūsu karte spēj apstrādāt; dokumentācijā tiek izmantots 64 uz LIBERO ar 80 GB. Eksplicīti norādiet bfloat16, konfigurācijas noklusējums ir float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Palaist to uz rokas

   Versijā 0.6.x tas ir lerobot-rollout: lerobot-record atsakās no politikas un noraida `eval_` datu kopu nosaukumus. `Base` vada robotu roku, `sentry` ieraksta izpildi.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Trīs noklusējuma iestatījumu kopas un kuras no tām sasniedz apmācītāju

openpi TrainConfig ir atsauce, LeRobot PI05Config ir tas, ko lerobot-train izmanto, ja neko nesakāt, un šeit esošā forma nosūta trešo kopu. Pārsteigums ir mācīšanās ātrums: abas augšupējās noklusējuma vērtības sasniedz 2.5e-5, savukārt openpi paša pi05_libero konfigurācija un šī platforma to paaugstina līdz 5e-5.

Vai ports ir uzticams? LeRobot komanda precizēja LIBERO bāzes modeli vēl 6k soļus un salīdzināja ar openpi atsauces skaitļiem četrās komplektās: 97.5 procentu vidējais pret 96.85, priekšā Libero 10, atpaliek Spatial. Maršruts ir rīku izvēle, nevis kvalitātes izvēle.

485 ms realitāte un tas, kur tā kļūst nelietojama

Tas nosaka jūsu projektu, tāpēc tas ir pirms izmaksu tabulas. uz darbības soli, kas šeit izmērīts Pi0.5, ir 485 ms. Salīdzinājumā ar pārējiem četriem:

Augšupējā plūsma piedāvā risinājumu, un puse no tā jau ir pieejama izlaidumā, ko varat instalēt. Reāllaika sadalīšana fragmentos (Real-Time Chunking) ģenerē nākamo fragmentu, kamēr roka vēl izpilda pašreizējo, un pēc tam vada jaunā fragmenta pārklājošos soļus, lai tie paliktu tuvu jau izpildītajai daļai, tādējādi roka neapstājas un neraustās savienojuma vietā. Secināšanas laika forma, kas iekļauta 0.4.2 izmaiņu žurnālā Pi0, Pi0.5 un SmolVLA, ir izvēršanas karogs, nevis atkārtota apmācība:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Tas nepadara modeli ātrāku. Tas paslēpj atstarpi: 485 ms joprojām tiek patērētas, bet ārpus kritiskā ceļa, lai rinda neiztukšotos starp fragmentiem. Apmācības laika variants no arXiv 2512.05964 iet vēl tālāk: modelis iemācās nosacīt tīru darbības prefiksu, tāpēc secināšanas laikā pārklājums tiek stingri iekrāsots ar katras darbības plūsmas laika soļiem, nevis vadīts, un vadības atpakaļejošā pāreja pazūd. Apmācības laikā tas paraugo prefiksa garumu katram piemēram un aprēķina plūsmas zudumu atlikušajai pēcfiksai. Šis karogs ir pieejams tikai galvenajā versijā, nevis 0.6.1, un apmācības aizkavei ir jāpaliek zem chunk_size.

Divi veidi, kā iegūt Pi0.5 kontrolpunktu

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Kad tas nedarbojas

• Datu kopa noraidīta: nepieciešama v3
• Atmiņas trūkums apmācības laikā
• Zudums samazinās, bet politika neko nedara
• Politika sastingst kustības vidū
• Politika darbojas tikai vienā iestatījumā
• Apmācības darbs iestrēdzis rindā

Cik maksā viens izpildes cikls

Pi0.5 atrodas dārgajā līmenī, jo tam nepieciešama 80 GB karte, un spot cenas mainās, tāpēc skaitlis ir diapazons, nevis precīza cena. Daudziem SO-100 uzdevumiem vispirms apmāciet SmolVLA vai ACT 24 GB līmenī, vispirms pārliecinieties, ka uzdevums vispār ir apgūstams, un tikai tad tērējiet tam A100 stundas. Apmāciet savu pirmo politiku izskaidro šo lētāko ciklu, un cenrādis satur pašreizējos līmeņus.

Pirms veltīt vakaru: un salīdzina tos pašus skaitļus. satur 85 VLA modeļus ar 332 etalonu rezultātiem, katrs ir saistīts ar savu avotu, un informācija par saimi ir atrodama .