Како да тренирате Pi0.5 на сопствени роботски податоци

Pi0.5 е моделот по кој посегнувате кога политиката треба да работи во просторија што никогаш не ја видела. Исто така е најнезгодниот од петте политики за тренирање тука за фино подесување рачно: изворното складиште е прво JAX, LeRobot портот го премести распоредувањето надвор од lerobot-record во 0.6.0 и ја направи основната инсталација премала за тренирање, а целосното фино подесување не се вклопува на 4090. Подолу: што усогласување на проток чини при заклучување, двете командни рути и бројката од 485 ms што одлучува дали резултатот е употреблив.

Што всушност е Pi0.5

Physical Intelligence го објави pi0 во октомври 2024 година: модел за усогласување на проток визуелно-јазично-акционен модел на претходно трениран VLM: PaliGemma со 3 милијарди параметри плус 300M акционен експерт иницијализиран од нула, вкупно 3.3 милијарди. Трудот известува за претходно тренирање на над 10,000 часа роботски податоци низ 7 роботски конфигурации и 68 задачи. Повеќе во статијата за pi0.

Pi0.5 (arXiv 2504.16054, 22 април 2025) го задржува тој скелет и ја менува диетата за тренирање: веб податоци, детекција на објекти, вербални инструкции од луѓе кои го тренираат роботот, ознаки за подзадачи, податоци од вкрстено отелотворување од роботи во многу домови. Резултатот е робот кој чисти кујни во куќи кои не биле во сетот за тренирање. README-то на openpi додава детал што насловот не го прави: објавениот pi0.5 беше трениран со изолација на знаење (arXiv 2505.23705).

Што менува совпаѓањето на протокот во врска со тренирањето и инференцијата

Политика политика што можете да ја тренирате на SO-100 или директно ги регресира дејствата (ACT) или ги токенизира и декодира авторегресивно (pi0-FAST). Поклопувањето на тековите не прави ниту едно од овие: тоа учи векторско поле кое го пренесува шумот до чист акционен блок, а потоа го интегрира. Трудот за pi0 користи 10 чекори на интеграција со големина на чекор 0.1; конфигурацијата pi05 на LeRobot го носи истиот num_inference_steps: int = 10.

• Тренинг: загубата регресира шумовит акционен блок. Нема токенизатор за подесување, нема дискретизација на вашите агли на зглобовите.
• Инференца: еден блок чини десет пропуштања нанапред низ акциониот експерт. Тоа е структурно, а не проблем со подесувањето.
• Излез: континуирани дејства со димензија 32, интерно пополнети, загубата е земена на димензиите што ги има вашиот робот. Рака со 6-DoF плус грабнувач користи 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

Основата PaliGemma и портата пред неа

PaliGemma (arXiv 2407.07726) е SigLIP-So400m визиски енкодер на јазичен модел Gemma-2B, со околу 3 милијарди параметри. Pi0.5 го наследува својот токенизатор, а тој токенизатор се наоѓа во затворен репозиториум. Ова е најчестиот начин на кој првото извршување пропаѓа, пред првиот чекор на обука.

Пред да започнете: формат на податочно множество, епизоди, хардвер

Pi0.5 во LeRobot чита LeRobot податочно множество во распоред v3.0, кој пристигна со lerobot 0.4.0 во октомври 2025: многу епизоди по Parquet и MP4 датотека наместо една датотека по епизода, со граници во meta/episodes/ наместо во имињата на датотеките. Снимајте со десктоп клиент или следете снимање на вашето прво податочно множество и ќе го имате.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Платформата бара најмалку 50 епизоди за Pi0.5, истиот минимум како за GR00T и ACT. Пред-обуката ја врши најголемата работа, така што 50 чисти епизоди се подобри од 200 невешти. Нови сте во ова? Започнете со водичот за собирање податоци.

Рута А: фино подесување со openpi складиштето

Референтната имплементација: прво JAX, тестирана само на Ubuntu 22.04, водена од конфигурациски објекти наместо знаменца. Патека за PyTorch пристигна во септември 2025 година, валидирана на LIBERO. Три чекори: конвертирајте ги вашите податоци, дефинирајте конфигурација, тренирајте и сервирајте.

1. 1
   Клонирај и инсталирај

   openpi користи uv. GIT_LFS_SKIP_SMUDGE е она што му овозможува на LeRobot да дојде како зависност без LFS блобови.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Конвертирај ги твоите податоци во LeRobot податочно множество

   Upstream испорачува конвертори за LIBERO и DROID и очекува од вас да прилагодите еден. Работата е мапирањето на клучевите.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Додај конфигурација за тренирање

   Конфигурациите се записи на TrainConfig во src/openpi/training/config.py. Оваа ја прилагодува pi05_droid_finetune, со вчитувачот на тежини насочен кон pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Пресметај нормални статистики

   Се извршува според името на конфигурацијата, а не според податочното множество. Прескокнувањето е класичен прв неуспех овде.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Тренирај

   Променливата му овозможува на JAX да користи 90 проценти од меморијата на графичкиот процесор наместо стандардните 75. На картичка од 80 GB тоа одлучува дали извршувањето ќе преживее.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Сервирај го

   Серверот слуша на порта 8000 и одговара на барања за набљудување; вашето роботско извршување е клиентот.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Рута Б: фино подесување со lerobot pi05

Портот на LeRobot ги обвиткува истите тежини во CLI што веќе го користите за ACT и SmolVLA. Сè подолу беше проверено наспроти lerobot 0.6.1, изданието од 3 август 2026 година, и документите за pi05 на 23 август 2026 година. Верзиите се важни овде: v3.0 податочните множества пристигнаа со 0.4.0 во октомври 2025 година, блогот 0.5.0 од 9 март 2026 година ги претставува pi0-FAST и Real-Time Chunking, а 0.6.0 на 6 јули 2026 година го направи основниот пакет лесен и го премести распоредувањето на lerobot-rollout.

Една работа не се промени: lerobot-train и lerobot-record веќе беа влезни точки во 0.3.2, август 2025 година. Упатство што сè уште повикува python -m lerobot.scripts.train претходи на една година промени и вреди да не му се верува и за останатото.

1. 1
   Инсталирајте со соодветните додатоци

   Од верзија 0.6.0, основната инсталација содржи само основни ML зависности, а додатокот pi не додава код за податоци или обука, така што за фино подесување е потребен и додатокот за обука. Постарите еднолиниски команди не успеваат овде при увоз.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Автентицирајте се

   Прифатете ја лиценцата paligemma-3b-pt-224 во прелистувач, потоа најавете се на машината што тренира.

   bash

   hf auth login

3. 3
   Додадете квантилни статистики

   Pi0.5 ги нормализира STATE и ACTION со квантили, така што meta/stats.json бара q01 и q99. Постарите множества на податоци содржат само min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Фино подесување од lerobot/pi05_base

   Поставете ја големината на пакетот на она што вашата картичка може да го издржи; документацијата користи 64 на LIBERO со 80 GB. Предадете bfloat16 експлицитно, стандардната конфигурација е float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Извршете го на роботската рака

   Во 0.6.x ова е lerobot-rollout: lerobot-record одбива политика и ги отфрла имињата на множествата податоци eval_. Base го управува роботската рака, sentry го снима извршувањето.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Три групи на стандардни вредности и кои од нив стигнуваат до тренерот

TrainConfig на openpi е референца, PI05Config на LeRobot е она што lerobot-train го користи кога ништо не кажувате, а формата овде испраќа трет сет. Изненадувањето е стапката на учење: двете стандардни поставки нагоре достигнуваат максимум 2.5e-5, додека сопствената pi05_libero конфигурација на openpi и оваа платформа ја зголемуваат на 5e-5.

Дали портот е верен? Тимот на LeRobot го дотера основниот модел LIBERO за дополнителни 6k чекори и го спореди со референтните бројки на openpi на четири пакети: 97.5 проценти просек наспроти 96.85, понапред на Libero 10, поназад на Spatial. Рутата е избор на алатки, а не избор на квалитет.

Реалноста од 485 ms и каде престанува да биде употреблива

Ова го одлучува вашиот проект, па затоа доаѓа пред табелата со трошоци. по чекор на акција измерен овде за Pi0.5 е 485 ms. Во споредба со другите четири:

Upstream има одговор, а половина од него е веќе во изданието што можете да го инсталирате. Real-Time Chunking го генерира следниот дел додека раката сè уште го извршува тековниот, потоа ги води преклопувачките чекори на новиот дел да останат блиску до веќе извршениот дел, така што раката не застанува или не се грчи на спојот. Формата за време на инференс е испорачана во дневникот за промени 0.4.2 за Pi0, Pi0.5 и SmolVLA и е знаменце за распоредување, а не за претренирање:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Тоа не го прави моделот побрз. Тоа ја крие празнината: 485 ms сè уште се трошат, но надвор од критичната патека, така што редот не се празни помеѓу деловите. Варијантата за време на тренирање од arXiv 2512.05964 оди подалеку: моделот учи да се условува на чист префикс на акција, така што при инференс преклопувањето е цврсто вметнато со временски чекори на проток по акција наместо водено, а повратниот премин на водење исчезнува. За време на тренирањето, тој зема должина на префикс по пример и ја пресметува загубата на проток на преостанатиот постфикс. Тоа знаменце постои само на main, не во 0.6.1, а доцнењето за кое тренирате мора да остане под chunk_size.

Два начини да добиете Pi0.5 контролна точка

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Кога не работи

• Одбиен сет на податоци: потребна е v3
• Нема доволно меморија за време на обуката
• Загубата паѓа, но политиката не прави ништо
• Политиката замрзнува среде движење
• Политиката работи само во една поставка
• Задачата за обука заглавена во редица

Колку чини едно извршување

Pi0.5 се наоѓа во скапиот слој бидејќи му треба картичка од 80 GB, а спот цените се менуваат, па бројката е опсег наместо цена. За многу SO-100 задачи, обучете SmolVLA или ACT на слојот од 24 GB прво, потврдете дека задачата е воопшто научлива, а потоа потрошете A100 часови на неа. Обучете ја вашата прва политика го поминува тој поевтин циклус, и цени ги содржи тековните слоеви.

Пред да посветите една вечер: GR00T N1.7 против Pi0.5 и Pi0.5 против SmolVLA ги прикажуваат истите бројки еден до еден. Арената содржи 85 VLA модели со 332 резултати од бенчмарк, секој поврзан со неговиот извор, а позадината за семејството е во нашиот преглед на VLA.