Pi0.5 ni O'z Robotingiz Ma'lumotlari Bo'yicha Qanday O'rgatish Kerak

Pi0.5 - bu siyosat hech qachon ko'rmagan xonada ishlashi kerak bo'lganda foydalanadigan modeldir. Bu yerda mavjud bo'lgan beshta o'rgatiladigan siyosatlar orasida qo'lda nozik sozlash uchun eng noqulayidir: yuqori oqimdagi omborxona birinchi navbatda JAX, LeRobot porti 0.6.0 versiyasida joylashtirishni lerobot-record'dan tashqariga ko'chirdi va asosiy o'rnatishni o'qitish uchun juda kichik qildi, to'liq nozik sozlash esa 4090 ga sig'maydi. Quyida: oqim moslashuvi inferensiyada qancha turadi, ikkita buyruq yo'li va natijaning foydalanishga yaroqliligini hal qiluvchi 485 ms raqami.

Pi0.5 aslida nima

Physical Intelligence 2024-yil oktabr oyida pi0'ni nashr etdi: bu oldindan o'qitilgan VLM ustida oqim moslashuvchi ko'rish-til-harakat modeli: 3 milliard parametrli PaliGemma va noldan boshlangan 300M harakat eksperti, jami 3.3 milliard. Maqolada 7 ta robot konfiguratsiyasi va 68 ta vazifa bo'yicha 10,000 soatdan ortiq robot ma'lumotlarida oldindan o'qitish haqida xabar berilgan. Batafsil pi0 maqolasida.

Pi0.5 (arXiv 2504.16054, 22 April 2025) o'sha skeletni saqlab qoladi va o'qitish ratsionini o'zgartiradi: veb ma'lumotlar, obyektlarni aniqlash, robotga murabbiylik qilayotgan insonlarning og'zaki ko'rsatmalari, kichik vazifa yorliqlari, ko'plab uylardagi robotlardan olingan turli xil mujassamlash ma'lumotlari. Natijada, o'qitish to'plamiga kirmagan uylarda oshxonalarni tozalaydigan robot paydo bo'ladi. openpi README sarlavhada bo'lmagan bir tafsilotni qo'shadi: chiqarilgan pi0.5 bilim izolyatsiyasi bilan o'qitilgan (arXiv 2505.23705).

Oqim moslash o'qitish va xulosa chiqarishda nimani o'zgartiradi

SO-100 da o'rgatishingiz mumkin bo'lgan siyosat harakatlarni to'g'ridan-to'g'ri regressiya qiladi (ACT) yoki ularni tokenizatsiya qilib, avtoregressiv tarzda dekodlaydi (pi0-FAST). Oqim moslashuvi ikkalasini ham qilmaydi: u shovqinni toza harakat bo'lagiga olib boradigan vektor maydonini o'rganadi, keyin uni integratsiyalaydi. pi0 maqolasi 0.1 qadam o'lchamida 10 ta integratsiya qadamini ishlatadi; LeRobot'ning pi05 konfiguratsiyasi xuddi shu num_inference_steps: int = 10 ni o'z ichiga oladi.

• O'qitish: yo'qotish shovqinli harakat bo'lagini regressiya qiladi. Sozlash uchun tokenizer yo'q, bo'g'in burchaklaringizni diskretizatsiya qilish yo'q.
• Xulosa chiqarish: bitta bo'lak harakat eksperti orqali o'nta oldinga o'tishni talab qiladi. Bu tuzilmaviy, sozlash muammosi emas.
• Chiqish: 32 o'lchamli uzluksiz harakatlar, ichki qismida to'ldirilgan, yo'qotish robotlaringiz ega bo'lgan o'lchamlar bo'yicha olinadi. 6-DoF qo'l va tutqich 7 tadan foydalanadi.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma tayanch tarmog'i va uning oldidagi darvoza

PaliGemma (arXiv 2407.07726) SigLIP-So400m vizual kodlovchisi boʻlib, Gemma-2B til modelida, taxminan 3B parametrga ega. Pi0.5 oʻzining tokenizatorini meros qilib oladi va bu tokenizator yopiq (gated) omborda joylashgan. Bu birinchi ishga tushirishning, birinchi o'qitish bosqichidan oldin, eng keng tarqalgan o'lim usulidir.

Boshlashdan oldin: ma'lumotlar to'plami formati, epizodlar, apparat

LeRobot'dagi Pi0.5 LeRobot ma'lumotlar to'plamini v3.0 tartibida o'qiydi, bu lerobot 0.4.0 bilan 2025-yil oktyabr oyida paydo bo'lgan: har bir Parquet va MP4 faylida ko'plab epizodlar, har bir epizod uchun bitta fayl o'rniga, chegaralar fayl nomlarida emas, balki meta/episodes/ ichida joylashgan. Ish stoli mijozi yordamida yozib oling yoki birinchi ma'lumotlar to'plamingizni yozib oling ko'rsatmalariga amal qiling va sizda u bo'ladi.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Platform Pi0.5 uchun kamida 50 ta epizodni talab qiladi, bu GR00T va ACT bilan bir xil minimal talab. Oldindan o'qitish asosiy ishni bajaradi, shuning uchun 50 ta toza epizod 200 ta tartibsiz epizoddan ustun turadi. Bu sohada yangimisiz? Boshlang ma'lumotlarni yig'ish bo'yicha qo'llanma.

A yo'nalishi: openpi repozitoriysi bilan nozik sozlash

Ma'lumotnoma implementatsiyasi: avval JAX, faqat Ubuntu 22.04 da sinovdan o'tkazilgan, bayroqlar o'rniga konfiguratsiya obyektlari orqali boshqariladi. PyTorch yo'li 2025-yil sentabr oyida keldi, LIBERO da tasdiqlangan. Uch bosqich: ma'lumotlaringizni konvertatsiya qiling, konfiguratsiyani aniqlang, o'qiting va xizmat ko'rsating.

1. 1
   Klonlash va o'rnatish

   openpi uv dan foydalanadi. GIT_LFS_SKIP_SMUDGE LeRobotni LFS blob'larisiz bog'liqlik sifatida kirishiga imkon beradi.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Ma'lumotlaringizni LeRobot ma'lumotlar to'plamiga aylantirish

   Upstream LIBERO va DROID uchun konvertorlarni taqdim etadi va sizdan birini moslashtirishingizni kutadi. Ish kalit xaritalashdan iborat.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   O'qitish konfiguratsiyasini qo'shish

   Konfiguratsiyalar src/openpi/training/config.py dagi TrainConfig yozuvlaridir. Bu konfiguratsiya pi05_droid_finetune ni moslashtiradi, og'irlik yuklovchisi pi05_base ga yo'naltirilgan.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Norm statistikalarini hisoblash

   Konfiguratsiya nomi bo'yicha ishlaydi, ma'lumotlar to'plami bo'yicha emas. Uni o'tkazib yuborish bu yerda klassik birinchi xatodir.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   O'qitish

   O'zgaruvchi JAX ga standart 75 foiz o'rniga GPU xotirasining 90 foizini ishlatishga imkon beradi. 80 GB kartada bu ishning davom etishini hal qiladi.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Xizmat ko'rsatish

   Server 8000-portda tinglaydi va kuzatuv so'rovlariga javob beradi; sizning robot ish vaqtingiz mijoz hisoblanadi.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

B yo'li: lerobot pi05 bilan nozik sozlash

LeRobot porti siz allaqachon foydalanadigan CLI'dagi bir xil og'irliklarni o'z ichiga oladi: ACT va SmolVLA. Quyida keltirilganlarning barchasi lerobot 0.6.1 (2026-yil 3-avgustdan beri chiqarilgan versiya) va 2026-yil 23-avgustdagi pi05 hujjatlariga qarshi tekshirildi. Bu yerda versiyalar muhim: v3.0 ma'lumotlar to'plamlari 2025-yil oktyabr oyida 0.4.0 bilan keldi, 2026-yil 9-martdagi 0.5.0 blogi pi0-FAST va Real-Time Chunking'ni taqdim etadi, va 2026-yil 6-iyuldagi 0.6.0 asosiy paketni yengil qildi va joylashtirishni lerobot-rollout'ga ko'chirdi.

Bir narsa o'zgarmadi: lerobot-train va lerobot-record 2025-yil avgust oyida, 0.3.2 versiyasida allaqachon kirish nuqtalari edi. Hali ham python -m lerobot.scripts.train buyrug'ini chaqiradigan qo'llanma bir yillik o'zgarishlardan oldingi davrga tegishli va qolgan qismiga ham ishonmaslikka arziydi.

1. 1
   Kerakli qoʻshimchalar bilan oʻrnatish

   0.6.0 versiyasidan boshlab asosiy oʻrnatish faqat asosiy ML bogʻliqliklarini oʻz ichiga oladi, va pi qoʻshimchasi hech qanday maʼlumotlar toʻplami yoki oʻqitish kodini qoʻshmaydi, shuning uchun nozik sozlash uchun ham oʻqitish qoʻshimchasi kerak boʻladi. Eskiroq bir qatorli buyruqlar import vaqtida ishlamaydi.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Autentifikatsiya qilish

   Brauzerda paligemma-3b-pt-224 litsenziyasini qabul qiling, soʻngra oʻqitish amalga oshiriladigan mashinaga kiring.

   bash

   hf auth login

3. 3
   Kvantil statistikalarini qoʻshish

   Pi0.5 STATE va ACTIONni kvantillar bilan normallashtiradi, shuning uchun meta/stats.json q01 va q99 qiymatlariga muhtoj. Eskiroq maʼlumotlar toʻplamlari faqat min, max, mean, std qiymatlarini oʻz ichiga oladi.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   lerobot/pi05_base dan nozik sozlash

   Paket hajmini kartangiz bardosh bera oladigan darajada oʻrnating; hujjatlarda LIBEROda 80 GB bilan 64 ishlatiladi. bfloat16 ni aniq koʻrsating, konfiguratsiya sukut boʻyicha float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Uni qoʻlda ishga tushirish

   0.6.x versiyasida bu lerobot-rollout: lerobot-record siyosatni rad etadi va eval_ maʼlumotlar toʻplami nomlarini qabul qilmaydi. Base qoʻlni boshqaradi, sentry esa rolloutni yozib oladi.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Uchta sukut boʻyicha sozlamalar toʻplami va ulardan qaysilari oʻqituvchiga yetib boradi

openpi's TrainConfig mos yozuvdir, LeRobot's PI05Config esa siz hech narsa demaganingizda lerobot-train foydalanadigan konfiguratsiyadir va bu yerdagi shakl uchinchi to'plamni yuboradi. Ajablanarlisi shundaki, o'rganish tezligi: ikkala yuqori oqim sukut bo'yicha 2.5e-5 ga yetadi, openpi'ning o'z pi05_libero konfiguratsiyasi va ushbu platforma esa uni 5e-5 ga ko'taradi.

Port ishonchlimi? LeRobot jamoasi LIBERO bazaviy modelini qo'shimcha 6 ming qadam uchun nozik sozlab, openpi'ning to'rtta to'plamdagi mos yozuv raqamlari bilan solishtirdi: 97.5 foiz o'rtacha 96.85 ga qarshi, Libero 10 da oldinda, Spatial da orqada. Yo'l asbob tanlovi, sifat tanlovi emas.

485 ms haqiqat va u qayerda yaroqsiz bo'lib qoladi

Bu sizning loyihangizni hal qiladi, shuning uchun u xarajatlar jadvalidan oldin keladi. Pi0.5 uchun bu yerda o'lchangan har bir harakat bosqichi uchun 485 ms. Qolgan to'rttasiga qarshi:

Yuqori oqimda javob bor va uning yarmi siz o'rnatishingiz mumkin bo'lgan relizda allaqachon mavjud. Real-Time Chunking qo'l hozirgi bo'lakni bajarayotgan paytda keyingi bo'lakni yaratadi, so'ngra yangi bo'lakning bir-biriga mos keladigan qadamlarini allaqachon bajarilgan qismga yaqin turishga yo'naltiradi, shunda qo'l birikma joyida to'xtab qolmaydi yoki silkinmaydi. Xulosa chiqarish vaqtidagi shakl Pi0, Pi0.5 va SmolVLA uchun 0.4.2 o'zgarishlar jurnalida chiqarilgan va bu qayta o'qitish emas, balki rollout flagidir:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Bu modelni tezlashtirmaydi. Bu bo'shliqni yashiradi: 485 ms hali ham sarflanadi, ammo muhim yo'ldan tashqarida, shuning uchun navbat bo'laklar orasida qurib qolmaydi. arXiv 2512.05964 dagi o'qitish vaqtidagi variant yanada uzoqroqqa boradi: model toza harakat prefiksiga shart qo'yishni o'rganadi, shuning uchun xulosa chiqarishda bir-biriga mos kelish yo'naltirilgan o'rniga har bir harakat uchun oqim vaqt qadamlari bilan qattiq bo'yaladi va yo'naltirishning orqaga o'tishi yo'qoladi. O'qitish davomida u har bir misol uchun prefiks uzunligini tanlaydi va qolgan postfiksda oqim yo'qotishini oladi. Bu flag faqat mainda mavjud, 0.6.1 da emas, va siz o'qitadigan kechikish chunk_size dan past bo'lishi kerak.

Pi0.5 checkpoint olishning ikki yo'li

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Ishlamaganda

• Ma'lumotlar to'plami rad etildi: v3 talab qilinadi
• O'qitish jarayonida xotira yetishmovchiligi
• Yo'qotish kamayadi, lekin siyosat hech narsa qilmaydi
• Siyosat harakat o'rtasida muzlab qoladi
• Siyosat faqat bitta sozlamada ishlaydi
• O'qitish ishi navbatda qolib ketdi

Bitta ishlanmaning narxi

Pi0.5 qimmat toifaga kiradi, chunki unga 80 GB karta kerak va spot narxlar o'zgaruvchan, shuning uchun ko'rsatkich narx emas, balki diapazon hisoblanadi. Ko'pgina SO-100 vazifalari uchun avval 24 GB toifasida SmolVLA yoki ACT ni o'rgating, vazifaning umuman o'rganilishi mumkinligini tasdiqlang, keyin unga A100 soat sarflang. Birinchi siyosatingizni o'rgating o'sha arzonroq siklni ko'rsatadi, va narxlar joriy toifalarni o'z ichiga oladi.

Bir kechani sarflashdan oldin: GR00T N1.7 against Pi0.5 va Pi0.5 against SmolVLA bir xil raqamlarni yonma-yon taqqoslaydi. Arena 332 ta benchmark natijasi bilan 85 ta VLA modelini o'z ichiga oladi, ularning har biri o'z manbasiga bog'langan va oila haqida ma'lumot bizning VLA umumiy ko'rinishimizda.