اپنے روبوٹ ڈیٹا پر Pi0.5 کو کیسے تربیت دیں

Pi0.5 وہ ماڈل ہے جسے آپ اس وقت استعمال کرتے ہیں جب کسی پالیسی کو ایسے کمرے میں کام کرنا ہو جو اس نے پہلے کبھی نہ دیکھا ہو۔ یہ پانچ میں سے سب سے مشکل بھی ہے قابل تربیت پالیسیاں یہاں فائن ٹیون دستی طور پر: اپ اسٹریم ریپوزٹری پہلے JAX ہے، LeRobot پورٹ نے 0.6.0 میں lerobot-record سے تعیناتی کو ہٹا دیا اور بیس انسٹال کو تربیت کے لیے بہت چھوٹا بنا دیا، اور ایک مکمل فائن ٹیون 4090 پر فٹ نہیں ہوتا۔ ذیل میں: کیا فلو میچنگ انفرنس پر لاگت آتی ہے، دو کمانڈ روٹس، اور 485 ms کا وہ نمبر جو فیصلہ کرتا ہے کہ آیا نتیجہ قابل استعمال ہے۔

Pi0.5 دراصل کیا ہے

فزیکل انٹیلی جنس نے اکتوبر 2024 میں pi0 شائع کیا: ایک فلو میچنگ ویژن-لینگویج-ایکشن ماڈل ایک پری ٹرینڈ VLM پر: PaliGemma 3 بلین پیرامیٹرز کے ساتھ اور ایک 300M ایکشن ایکسپرٹ جو شروع سے انیشلائز کیا گیا، کل 3.3 بلین۔ یہ مقالہ 7 روبوٹ کنفیگریشنز اور 68 ٹاسکس پر 10,000 گھنٹوں سے زیادہ روبوٹ ڈیٹا پر پری ٹریننگ کی اطلاع دیتا ہے۔ مزید pi0 مضمون میں۔

Pi0.5 (arXiv 2504.16054, 22 April 2025) اس ڈھانچے کو برقرار رکھتا ہے اور تربیت کی خوراک کو تبدیل کرتا ہے: ویب ڈیٹا، آبجیکٹ ڈیٹیکشن، انسانوں کی طرف سے روبوٹ کو کوچنگ دینے والی زبانی ہدایات، سب ٹاسک لیبلز، اور کئی گھروں میں روبوٹس سے کراس-ایمباڈیمنٹ ڈیٹا۔ اس کا نتیجہ ایک ایسا روبوٹ ہے جو ان گھروں میں کچن صاف کرتا ہے جو تربیتی سیٹ میں شامل نہیں تھے۔ openpi README ایک تفصیل کا اضافہ کرتا ہے جو عنوان میں نہیں ہے: جاری کردہ pi0.5 کو نالج انسولیشن (arXiv 2505.23705) کے ساتھ تربیت دی گئی تھی۔

فلو میچنگ تربیت اور انفرنس کے بارے میں کیا تبدیلیاں لاتی ہے

ایک پالیسی جسے آپ SO-100 پر تربیت دے سکتے ہیں یا تو براہ راست اعمال کو ریگریس کرتا ہے (ACT) یا انہیں ٹوکنائز کرتا ہے اور خودکار طریقے سے ڈی کوڈ کرتا ہے (pi0-FAST)۔ فلو میچنگ ان میں سے کوئی بھی نہیں کرتا: یہ ایک ویکٹر فیلڈ سیکھتا ہے جو شور کو ایک صاف ستھرے ایکشن چنک میں منتقل کرتا ہے، پھر اسے مربوط کرتا ہے۔ pi0 پیپر 0.1 کے سٹیپ سائز پر 10 انٹیگریشن سٹیپس استعمال کرتا ہے؛ LeRobot کی pi05 کنفیگریشن میں وہی num_inference_steps: int = 10 شامل ہے۔

• ٹریننگ: نقصان ایک شور زدہ ایکشن چنک کو ریگریس کرتا ہے۔ ٹون کرنے کے لیے کوئی ٹوکنائزر نہیں، آپ کے جوائنٹ اینگلز کی کوئی ڈسکریٹائزیشن نہیں۔
• انفرنس: ایک چنک پر ایکشن ایکسپرٹ کے ذریعے دس فارورڈ پاسز کی لاگت آتی ہے۔ یہ ساختی ہے، کوئی ٹیوننگ کا مسئلہ نہیں۔
• آؤٹ پٹ: 32 ڈائمینشن کے مسلسل اعمال، اندرونی طور پر پیڈڈ، نقصان ان ڈائمینشنز پر لیا جاتا ہے جو آپ کے روبوٹ کے پاس ہیں۔ ایک 6-DoF بازو اور گریپر 7 استعمال کرتا ہے۔

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

پالیجیما بیک بون، اور اس کے سامنے کا گیٹ

PaliGemma (arXiv 2407.07726) ایک SigLIP-So400m ویژن انکوڈر ہے جو Gemma-2B لینگویج ماڈل پر مبنی ہے، جس میں تقریباً 3B پیرامیٹرز ہیں۔ Pi0.5 اس کے ٹوکنائزر کو وراثت میں لیتا ہے، اور وہ ٹوکنائزر ایک گیٹڈ ریپوزٹری میں موجود ہے۔ یہ سب سے عام طریقہ ہے جس سے پہلی رن ناکام ہو جاتی ہے، پہلے ٹریننگ سٹیپ۔

شروع کرنے سے پہلے: ڈیٹا سیٹ فارمیٹ، ایپی سوڈز، ہارڈویئر

LeRobot میں Pi0.5 ایک LeRobot ڈیٹا سیٹ v3.0 لے آؤٹ میں پڑھتا ہے، جو اکتوبر 2025 میں lerobot 0.4.0 کے ساتھ آیا تھا: ہر Parquet اور MP4 فائل میں کئی ایپی سوڈز، بجائے اس کے کہ ہر ایپی سوڈ کے لیے ایک فائل کے۔ باؤنڈریز meta/episodes/ میں ہیں بجائے فائل ناموں کے۔ ڈیسک ٹاپ کلائنٹ کے ساتھ ریکارڈ کریں یا اپنا پہلا ڈیٹا سیٹ ریکارڈ کریں کی پیروی کریں اور آپ کے پاس یہ ہوگا۔

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

پلیٹ فارم Pi0.5 کے لیے کم از کم 50 ایپی سوڈز چاہتا ہے، جو GR00T اور ACT کے لیے بھی یہی حد ہے۔ پری ٹریننگ زیادہ تر کام کرتی ہے، لہذا 50 صاف ایپی سوڈز 200 بے ترتیب ایپی سوڈز سے بہتر ہیں۔ اس میں نئے ہیں؟ یہاں سے شروع کریں: ڈیٹا اکٹھا کرنے کی گائیڈ.

روٹ A: openpi ریپوزٹری کے ساتھ فائن ٹیون کریں

حوالہ جاتی نفاذ: پہلے JAX، صرف Ubuntu 22.04 پر ٹیسٹ کیا گیا، جو فلیگز کے بجائے کنفگ آبجیکٹس سے چلتا ہے۔ ستمبر 2025 میں ایک PyTorch پاتھ آیا، جسے LIBERO پر توثیق کیا گیا۔ تین مراحل: اپنے ڈیٹا کو تبدیل کریں، ایک کنفگ کی تعریف کریں، تربیت دیں اور سروس فراہم کریں۔

1. 1
   کلون کریں اور انسٹال کریں

   openpi uv استعمال کرتا ہے۔ GIT_LFS_SKIP_SMUDGE وہ ہے جو LeRobot کو LFS بلابز کے بغیر ایک ڈیپینڈنسی کے طور پر آنے دیتا ہے۔

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   اپنے ڈیٹا کو LeRobot ڈیٹاسیٹ میں تبدیل کریں

   اپ اسٹریم LIBERO اور DROID کے لیے کنورٹرز فراہم کرتا ہے اور توقع کرتا ہے کہ آپ ان میں سے کسی ایک کو اپنائیں گے۔ کام کی میپنگ ہے۔

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   ایک ٹریننگ کنفگ شامل کریں

   کنفگز src/openpi/training/config.py میں TrainConfig اندراجات ہیں۔ یہ pi05_droid_finetune کو اپناتا ہے، جس میں ویٹ لوڈر pi05_base کی طرف اشارہ کرتا ہے۔

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   نارمل اعدادوشمار کا حساب لگائیں

   کنفگ نام کے خلاف چلتا ہے، ڈیٹاسیٹ کے خلاف نہیں۔ اسے چھوڑنا یہاں کی کلاسک پہلی ناکامی ہے۔

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   تربیت دیں

   یہ ویری ایبل JAX کو ڈیفالٹ 75 کے بجائے 90 فیصد GPU میموری استعمال کرنے دیتا ہے۔ 80 GB کارڈ پر یہ فیصلہ کرتا ہے کہ رن کامیاب ہوتا ہے یا نہیں۔

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   اسے سروس فراہم کریں

   سرور پورٹ 8000 پر سنتا ہے اور آبزرویشن کوئریز کا جواب دیتا ہے؛ آپ کا روبوٹ رن ٹائم کلائنٹ ہے۔

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

روٹ B: lerobot pi05 کے ساتھ فائن ٹیون کریں

LeRobot پورٹ وہی ویٹس CLI میں لپیٹتا ہے جو آپ پہلے ہی ACT اور SmolVLA کے لیے استعمال کرتے ہیں۔ نیچے دی گئی ہر چیز کو lerobot 0.6.1 کے خلاف چیک کیا گیا تھا، جو 3 اگست 2026 سے ریلیز ہوئی ہے، اور 23 اگست 2026 کو pi05 دستاویزات کے خلاف۔ یہاں ورژنز اہمیت رکھتے ہیں: v3.0 ڈیٹا سیٹس اکتوبر 2025 میں 0.4.0 کے ساتھ آئے تھے، 9 مارچ 2026 کے 0.5.0 بلاگ میں pi0-FAST اور Real-Time Chunking پیش کیے گئے ہیں، اور 6 جولائی 2026 کو 0.6.0 نے بیس پیکیج کو ہلکا پھلکا بنایا اور تعیناتی کو lerobot-rollout پر منتقل کر دیا۔

ایک چیز جو منتقل نہیں ہوئی: lerobot-train اور lerobot-record اگست 2025 میں 0.3.2 میں پہلے ہی انٹری پوائنٹس تھے۔ ایک ٹیوٹوریل جو اب بھی python -m lerobot.scripts.train کال کرتا ہے وہ ایک سال کی تبدیلیوں سے پہلے کا ہے اور باقی کے بارے میں بھی قابل اعتبار نہیں ہے۔

1. 1
   صحیح ایکسٹرا کے ساتھ انسٹال کریں

   0.6.0 کے بعد سے، بیس انسٹال صرف بنیادی ML انحصار رکھتا ہے، اور pi ایکسٹرا کوئی ڈیٹا سیٹ یا ٹریننگ کوڈ شامل نہیں کرتا، لہذا فائن ٹیون کے لیے ٹریننگ ایکسٹرا کی بھی ضرورت ہوتی ہے۔ پرانے ون لائنرز یہاں امپورٹ کے وقت ناکام ہو جاتے ہیں۔

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   تصدیق کریں

   براؤزر میں paligemma-3b-pt-224 لائسنس قبول کریں، پھر اس مشین پر لاگ ان کریں جو ٹرین کرتی ہے۔

   bash

   hf auth login

3. 3
   کوانٹائل شماریات شامل کریں

   Pi0.5 STATE اور ACTION کو کوانٹائلز کے ساتھ نارملائز کرتا ہے، لہذا meta/stats.json کو q01 اور q99 کی ضرورت ہوتی ہے۔ پرانے ڈیٹا سیٹس میں صرف min، max، mean، std ہوتے ہیں۔

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   lerobot/pi05_base سے فائن ٹیون کریں

   بیچ سائز کو اتنا سیٹ کریں جتنا آپ کا کارڈ برداشت کر سکے؛ دستاویزات LIBERO پر 80 GB پر 64 استعمال کرتی ہیں۔ bfloat16 کو واضح طور پر پاس کریں، کنفگ کا ڈیفالٹ float32 ہے۔

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   اسے بازو پر چلائیں

   0.6.x میں یہ lerobot-rollout ہے: lerobot-record ایک پالیسی کو مسترد کرتا ہے اور eval_ ڈیٹا سیٹ کے ناموں کو رد کرتا ہے۔ بیس بازو کو چلاتا ہے، سینٹری رول آؤٹ کو ریکارڈ کرتا ہے۔

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

ڈیفالٹس کے تین سیٹ، اور کون سے ٹرینر تک پہنچتے ہیں

openpi کا TrainConfig حوالہ ہے، LeRobot کا PI05Config وہ ہے جو lerobot-train استعمال کرتا ہے جب آپ کچھ نہیں کہتے، اور یہاں کا فارم ایک تیسرا سیٹ بھیجتا ہے۔ حیرت کی بات لرننگ ریٹ ہے: دونوں اپ اسٹریم ڈیفالٹس 2.5e-5 پر پہنچتے ہیں، جبکہ openpi کی اپنی pi05_libero کنفگ اور یہ پلیٹ فارم اسے 5e-5 تک بڑھا دیتے ہیں۔

کیا پورٹ وفادار ہے؟ LeRobot ٹیم نے LIBERO بیس ماڈل کو مزید 6k سٹیپس کے لیے فائن ٹیون کیا اور openpi کے حوالہ نمبروں سے چار سوئیٹس پر موازنہ کیا: 96.85 کے مقابلے میں 97.5 فیصد اوسط، Libero 10 پر آگے، Spatial پر پیچھے۔ یہ راستہ ٹولنگ کا انتخاب ہے، معیار کا نہیں۔

485 ملی سیکنڈ کی حقیقت، اور جہاں یہ قابل استعمال نہیں رہتی

یہ آپ کے منصوبے کا فیصلہ کرتا ہے، لہذا یہ لاگت کی جدول سے پہلے آتا ہے۔ فی ایکشن سٹیپ جو یہاں Pi0.5 کے لیے ماپا گیا ہے وہ 485 ملی سیکنڈ ہے۔ باقی چار کے مقابلے میں:

اپ اسٹریم کے پاس ایک جواب ہے، اور اس کا آدھا حصہ پہلے ہی اس ریلیز میں موجود ہے جسے آپ انسٹال کر سکتے ہیں۔ ریئل ٹائم چنکنگ اگلا چنک اس وقت تیار کرتی ہے جب بازو موجودہ چنک کو ابھی بھی چلا رہا ہوتا ہے، پھر نئے چنک کے اوورلیپنگ مراحل کی رہنمائی کرتی ہے تاکہ پہلے سے چلائے گئے حصے کے قریب رہیں، تاکہ بازو جوڑ پر رکے یا جھٹکا نہ کھائے۔ انفرنس ٹائم فارم Pi0, Pi0.5 اور SmolVLA کے لیے 0.4.2 چینج لاگ میں شامل کیا گیا تھا اور یہ ایک رول آؤٹ فلیگ ہے، ری ٹرین نہیں:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

یہ ماڈل کو تیز نہیں بناتا۔ یہ خلا کو چھپاتا ہے: 485 ملی سیکنڈ اب بھی خرچ ہوتے ہیں، لیکن اہم راستے سے ہٹ کر، تاکہ چنکس کے درمیان قطار خشک نہ ہو۔ arXiv 2512.05964 سے ٹریننگ ٹائم ویرینٹ مزید آگے جاتا ہے: ماڈل ایک صاف ایکشن پریفکس پر کنڈیشن کرنا سیکھتا ہے، لہذا انفرنس پر اوورلیپ کو گائیڈڈ کے بجائے فی ایکشن فلو ٹائم سٹیپس کے ساتھ ہارڈ-ان پینٹ کیا جاتا ہے، اور گائیڈنس بیک ورڈ پاس غائب ہو جاتا ہے۔ ٹریننگ کے دوران یہ ہر مثال کے لیے ایک پریفکس لمبائی کا نمونہ لیتا ہے اور باقی پوسٹ فکس پر فلو لاس لیتا ہے۔ یہ فلیگ صرف مین پر موجود ہے، 0.6.1 میں نہیں، اور جس تاخیر کے لیے آپ ٹرین کرتے ہیں اسے chunk_size سے کم رہنا چاہیے۔

Pi0.5 چیک پوائنٹ حاصل کرنے کے دو طریقے

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

جب یہ کام نہیں کرتا

• ڈیٹا سیٹ مسترد کر دیا گیا: v3 درکار ہے
• تربیت کے دوران میموری ختم ہو گئی
• نقصان کم ہوتا ہے لیکن پالیسی کچھ نہیں کرتی
• پالیسی حرکت کے درمیان منجمد ہو جاتی ہے
• پالیسی صرف ایک سیٹ اپ میں کام کرتی ہے
• تربیتی کام قطار میں پھنسا ہوا ہے

ایک رن کی لاگت کیا ہے

Pi0.5 مہنگے درجے میں آتا ہے کیونکہ اسے 80 GB کارڈ کی ضرورت ہوتی ہے، اور اسپاٹ کی قیمتیں بدلتی رہتی ہیں، اس لیے یہ ایک قیمت کے بجائے ایک رینج ہے۔ بہت سے SO-100 کاموں کے لیے، پہلے تربیت دیں SmolVLA یا ACT کو پہلے 24 GB درجے پر، تصدیق کریں کہ کام سیکھنے کے قابل ہے، پھر اس پر A100 گھنٹے خرچ کریں۔ اپنی پہلی پالیسی کی تربیت دیں اس سستے لوپ کی وضاحت کرتا ہے، اور قیمتوں کا تعین موجودہ درجے دکھاتا ہے۔

ایک شام وقف کرنے سے پہلے: GR00T N1.7 بمقابلہ Pi0.5 اور Pi0.5 بمقابلہ SmolVLA وہی اعداد و شمار کا آمنے سامنے موازنہ کرتے ہیں۔ ایرینا میں 85 VLA ماڈلز ہیں جن کے 332 بینچ مارک نتائج ہیں، ہر ایک اپنے ماخذ سے منسلک ہے، اور اس فیملی کے بارے میں پس منظر ہمارے VLA جائزہ میں ہے۔