Как да обучите Pi0.5 върху собствени данни от робот

Pi0.5 е моделът, към който посягате, когато дадена политика трябва да работи в стая, която никога не е виждала. Това е и най-неудобният от петте обучаеми политики тук, за да фино настроите на ръка: горното хранилище е предимно JAX, портът на LeRobot премести разгръщането извън lerobot-record във версия 0.6.0 и направи базовата инсталация твърде малка за обучение, а пълна фина настройка не се побира на 4090. По-долу: какво съпоставяне на потоци струва при инференция, двата командни маршрута и числото 485 ms, което решава дали резултатът е използваем.

Какво всъщност е Pi0.5

Physical Intelligence публикува pi0 през октомври 2024 г.: модел за съпоставяне на потоци визуално-езиково-акционен модел върху предварително обучен VLM: PaliGemma с 3 милиарда параметри плюс 300M експерт по действия, инициализиран от нулата, общо 3.3 милиарда. Докладът описва предварително обучение върху над 10 000 часа данни от роботи в 7 конфигурации на роботи и 68 задачи. Повече в статията за pi0.

Pi0.5 (arXiv 2504.16054, 22 април 2025 г.) запазва този скелет и променя диетата за обучение: уеб данни, откриване на обекти, вербални инструкции от хора, обучаващи робота, етикети на подзадачи, данни за кръстосано въплъщение от роботи в много домове. Резултатът е робот, почистващ кухни в къщи, които не са били в набора за обучение. README файлът на openpi добавя детайл, който заглавието не съдържа: пуснатият pi0.5 е обучен с изолация на знания (arXiv 2505.23705).

Какво променя съвпадението на потока в обучението и извода

Една политика която можете да обучите на SO-100, или регресира действия директно (ACT) или ги токенизира и декодира авторегресивно (pi0-FAST). Потоковото съвпадение не прави нито едно от двете: то научава векторно поле, което пренася шум до чист парче действие, след което го интегрира. Документът за pi0 използва 10 стъпки на интегриране с размер на стъпката 0.1; конфигурацията pi05 на LeRobot съдържа същия num_inference_steps: int = 10.

• Обучение: загубата регресира шумно парче действие. Няма токенизатор за настройка, няма дискретизация на ъглите на ставите ви.
• Извод: едно парче струва десет преминавания напред през експерта по действия. Това е структурно, а не проблем с настройката.
• Изход: непрекъснати действия с размерност 32, вътрешно подплатени, загуба, взета върху измеренията, които има вашият робот. Една 6-DoF ръка плюс хващач използва 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

Гръбнакът на PaliGemma и портата пред него

PaliGemma (arXiv 2407.07726) е SigLIP-So400m визуален енкодер върху езиков модел Gemma-2B, с около 3B параметъра. Pi0.5 наследява своя токенизатор, който се намира в затворено хранилище. Това е най-честият начин първоначалното изпълнение да се провали, преди първата стъпка на обучение.

Преди да започнете: формат на набора от данни, епизоди, хардуер

Pi0.5 в LeRobot чете набор от данни на LeRobot във v3.0 оформление, което се появи с lerobot 0.4.0 през октомври 2025 г.: много епизоди на Parquet и MP4 файл вместо един файл на епизод, с граници в meta/episodes/ вместо в имената на файловете. Записвайте с десктоп клиента или следвайте запишете първия си набор от данни и ще го имате.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Платформата изисква поне 50 епизода за Pi0.5, същия минимум като GR00T и ACT. Предварителното обучение върши по-голямата част от работата, така че 50 чисти епизода са по-добри от 200 небрежни. Нови ли сте в това? Започнете с ръководството за събиране на данни.

Маршрут А: фина настройка с хранилището openpi

Референтната имплементация: първо JAX, тествана само на Ubuntu 22.04, управлявана от конфигурационни обекти, а не от флагове. Път за PyTorch пристигна през септември 2025 г., валидиран на LIBERO. Три стъпки: конвертирайте данните си, дефинирайте конфигурация, обучете и обслужвайте.

1. 1
   Клониране и инсталиране

   openpi използва uv. GIT_LFS_SKIP_SMUDGE е това, което позволява на LeRobot да бъде зависимост без LFS блобове.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Конвертирайте данните си в набор от данни на LeRobot

   Upstream предоставя конвертори за LIBERO и DROID и очаква от вас да адаптирате един. Работата е в картографирането на ключовете.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Добавяне на конфигурация за обучение

   Конфигурациите са записи на TrainConfig в src/openpi/training/config.py. Тази адаптира pi05_droid_finetune, като зареждащото устройство за тежести е насочено към pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Изчисляване на нормализиращи статистики

   Изпълнява се спрямо името на конфигурацията, а не на набора от данни. Пропускането му е класическата първа грешка тук.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Обучение

   Променливата позволява на JAX да използва 90 процента от паметта на GPU вместо стандартните 75. На 80 GB карта това решава дали изпълнението ще оцелее.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Обслужване

   Сървърът слуша на порт 8000 и отговаря на заявки за наблюдения; вашата роботска среда за изпълнение е клиентът.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Маршрут Б: фина настройка с lerobot pi05

Портът на LeRobot обвива същите тегла в CLI, който вече използвате за ACT и SmolVLA. Всичко по-долу е проверено спрямо lerobot 0.6.1, изданието от 3 август 2026 г., и документацията за pi05 от 23 август 2026 г. Версиите са от значение тук: набори от данни v3.0 пристигнаха с 0.4.0 през октомври 2025 г., блогът 0.5.0 от 9 март 2026 г. представя pi0-FAST и Real-Time Chunking, а 0.6.0 от 6 юли 2026 г. направи базовия пакет лек и премести разгръщането към lerobot-rollout.

Едно нещо не се промени: lerobot-train и lerobot-record вече бяха входни точки във версия 0.3.2, август 2025 г. Урок, който все още извиква python -m lerobot.scripts.train, предхожда една година промени и заслужава да не му се доверявате и за останалото.

1. 1
   Инсталиране с правилните допълнения

   Тъй като версия 0.6.0, базовата инсталация включва само основни ML зависимости, а допълнението pi не добавя код за данни или обучение, така че за фино настройване е необходимо и допълнението за обучение. По-старите едноредови команди се провалят тук по време на импортиране.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Удостоверяване

   Приемете лиценза на paligemma-3b-pt-224 в браузър, след което влезте в машината, която извършва обучението.

   bash

   hf auth login

3. 3
   Добавяне на квантилни статистики

   Pi0.5 нормализира STATE и ACTION с квантили, така че meta/stats.json се нуждае от q01 и q99. По-старите набори от данни съдържат само min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Фино настройване от lerobot/pi05_base

   Задайте размера на пакета според възможностите на вашата карта; документацията използва 64 на LIBERO при 80 GB. Подайте bfloat16 изрично, тъй като стандартната конфигурация е float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Изпълнение на ръката

   Във версия 0.6.x това е lerobot-rollout: lerobot-record отказва политика и отхвърля имена на набори от данни eval_. Base управлява ръката, sentry записва изпълнението.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Три набора от настройки по подразбиране и кои от тях достигат до обучителя

TrainConfig на openpi е референцията, PI05Config на LeRobot е това, което lerobot-train използва, когато не посочите нищо, а формата тук изпраща трети набор. Изненадата е скоростта на обучение: и двете стандартни настройки достигат връх от 2.5e-5, докато собствената конфигурация pi05_libero на openpi и тази платформа я повишават до 5e-5.

Надежден ли е портът? Екипът на LeRobot донастрои базовия модел LIBERO за още 6k стъпки и сравни резултатите с референтните числа на openpi по четири набора: 97.5 процента средно срещу 96.85, напред при Libero 10, назад при Spatial. Изборът на маршрут е избор на инструменти, а не на качество.

Реалността от 485 ms и къде спира да бъде използваема

Това решава вашия проект, затова идва преди таблицата с разходите. на стъпка на действие, измерена тук за Pi0.5, е 485 ms. Спрямо останалите четири:

Upstream има отговор и половината от него вече е в изданието, което можете да инсталирате. Real-Time Chunking генерира следващата част, докато ръката все още изпълнява текущата, след което насочва припокриващите се стъпки на новата част да останат близо до вече изпълнената част, така че ръката да не спира или да не се движи рязко на мястото на свързване. Формата за време на извод е включена в промените на версия 0.4.2 за Pi0, Pi0.5 и SmolVLA и е флаг за разгръщане, а не за преобучение:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Това не прави модела по-бърз. То скрива пролуката: 485 ms все още се изразходват, но извън критичния път, така че опашката да не изсъхва между частите. Вариантът за време на обучение от arXiv 2512.05964 отива по-далеч: моделът се научава да се обуславя от чист префикс на действие, така че при извод припокриването е твърдо запълнено с времеви стъпки на потока за всяко действие, вместо да е насочено, и обратният проход на насочването изчезва. По време на обучението той избира дължина на префикса за всеки пример и изчислява загубата на потока върху оставащия постфикс. Този флаг съществува само в основната версия, не и в 0.6.1, и забавянето, за което тренирате, трябва да остане под chunk_size.

Два начина да получите Pi0.5 контролна точка

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Когато не работи

• Набор от данни отхвърлен: изисква се v3
• Недостиг на памет по време на обучение
• Загубата намалява, но политиката не прави нищо
• Политиката замръзва по средата на движение
• Политиката работи само в една настройка
• Задачата за обучение е заседнала в опашка

Какво струва едно изпълнение

Pi0.5 е в скъпия клас, защото има нужда от 80 GB карта, а спот цените се променят, така че цифрата е диапазон, а не цена. За много SO-100 задачи, обучете SmolVLA или ACT на 24 GB клас първо, потвърдете, че задачата е изобщо научима, след това прекарайте A100 часове върху нея. Обучете първата си политика описва този по-евтин цикъл, и ценообразуване съдържа текущите класове.

Преди да отделите една вечер: и представят същите числа едно до друго. съдържа 85 VLA модела с 332 резултата от бенчмаркове, всеки свързан с източника си, а информация за семейството е в .