আপনার নিজস্ব রোবট ডেটা ব্যবহার করে Pi0.5-কে কীভাবে প্রশিক্ষণ দেবেন

Pi0.5 হল সেই মডেল যা আপনি ব্যবহার করবেন যখন একটি নীতি এমন একটি ঘরে কাজ করতে হবে যা এটি আগে কখনও দেখেনি। এটি এখানে পাঁচটি প্রশিক্ষণযোগ্য নীতির মধ্যে সবচেয়ে জটিল যা হাতে ফাইন-টিউন করতে হয়: আপস্ট্রিম রিপোজিটরি প্রথমে JAX, LeRobot পোর্ট 0.6.0 সংস্করণে lerobot-record থেকে ডিপ্লয়মেন্ট সরিয়ে দিয়েছে এবং বেস ইনস্টলকে প্রশিক্ষণের জন্য খুব ছোট করে দিয়েছে, এবং একটি সম্পূর্ণ ফাইন-টিউন 4090-এ ফিট করে না। নিচে: ইনফারেন্সে ফ্লো ম্যাচিং এর খরচ, দুটি কমান্ড রুট, এবং 485 ms সংখ্যা যা ফলাফল ব্যবহারযোগ্য কিনা তা নির্ধারণ করে।

Pi0.5 আসলে কী

ফিজিক্যাল ইন্টেলিজেন্স 2024 সালের অক্টোবরে pi0 প্রকাশ করেছে: একটি প্রিট্রেইনড VLM-এর উপর ভিত্তি করে একটি ফ্লো ম্যাচিং ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেল: 3 বিলিয়ন প্যারামিটার সহ PaliGemma এবং স্ক্র্যাচ থেকে ইনিশিয়ালাইজ করা একটি 300M অ্যাকশন এক্সপার্ট, মোট 3.3 বিলিয়ন। এই গবেষণাপত্রটি 7টি রোবট কনফিগারেশন এবং 68টি টাস্ক জুড়ে 10,000 ঘণ্টারও বেশি রোবট ডেটার উপর প্রি-ট্রেনিংয়ের কথা জানায়। আরও জানতে দেখুন pi0 নিবন্ধটি।

Pi0.5 (arXiv 2504.16054, 22 এপ্রিল 2025) সেই কাঠামোটি ধরে রাখে এবং প্রশিক্ষণের পদ্ধতি পরিবর্তন করে: ওয়েব ডেটা, অবজেক্ট ডিটেকশন, রোবটকে প্রশিক্ষণ দেওয়া মানুষের মৌখিক নির্দেশাবলী, সাবটাস্ক লেবেল, এবং বিভিন্ন বাড়িতে থাকা রোবট থেকে প্রাপ্ত ক্রস-এমবডিমেন্ট ডেটা। এর ফলস্বরূপ, রোবট এমন বাড়িতে রান্নাঘর পরিষ্কার করতে সক্ষম হয় যা প্রশিক্ষণের সেটে ছিল না। openpi README একটি বিস্তারিত তথ্য যোগ করে যা শিরোনামে নেই: প্রকাশিত pi0.5 জ্ঞান নিরোধক (knowledge insulation) (arXiv 2505.23705) ব্যবহার করে প্রশিক্ষিত হয়েছিল।

ফ্লো ম্যাচিং প্রশিক্ষণ এবং ইনফারেন্স সম্পর্কে কী পরিবর্তন করে

একটি পলিসি যা আপনি একটি SO-100-এ প্রশিক্ষণ দিতে পারেন, হয় সরাসরি অ্যাকশনগুলিকে রিগ্রেস করে (ACT) অথবা সেগুলিকে টোকেনাইজ করে এবং অটোরেগ্রেসিভভাবে ডিকোড করে (pi0-FAST)। ফ্লো ম্যাচিং এর কোনটিই করে না: এটি একটি ভেক্টর ফিল্ড শেখে যা নয়েজকে একটি পরিষ্কার অ্যাকশন চাঙ্কে, তারপর সেটিকে ইন্টিগ্রেট করে। pi0 পেপারটি 0.1 স্টেপ সাইজে 10টি ইন্টিগ্রেশন স্টেপ ব্যবহার করে; LeRobot-এর pi05 কনফিগে একই `num_inference_steps: int = 10` থাকে।

• প্রশিক্ষণ: লস একটি নয়েজড অ্যাকশন চাঙ্ককে রিগ্রেস করে। কোনো টোকেনাইজার টিউন করার প্রয়োজন নেই, আপনার জয়েন্ট অ্যাঙ্গেলের কোনো ডিসক্রিটাইজেশন নেই।
• ইনফারেন্স: একটি চাঙ্কের জন্য অ্যাকশন এক্সপার্টের মাধ্যমে দশটি ফরওয়ার্ড পাস লাগে। এটি কাঠামোগত, কোনো টিউনিং সমস্যা নয়।
• আউটপুট: 32 মাত্রার অবিচ্ছিন্ন অ্যাকশন, অভ্যন্তরীণভাবে প্যাড করা, আপনার রোবটের মাত্রাগুলির উপর লস নেওয়া হয়। একটি 6-DoF আর্ম এবং গ্রিপার 7টি ব্যবহার করে।

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

পালিজেমা ব্যাকবোন, এবং এর সামনের গেট

PaliGemma (arXiv 2407.07726) হল একটি Gemma-2B ল্যাঙ্গুয়েজ মডেলের উপর ভিত্তি করে একটি SigLIP-So400m ভিশন এনকোডার, যা প্রায় 3B প্যারামিটার নিয়ে গঠিত। Pi0.5 এর টোকেনাইজার উত্তরাধিকার সূত্রে পায়, এবং সেই টোকেনাইজারটি একটি গেটেড রিপোজিটরিতে থাকে। প্রথম রান ব্যর্থ হওয়ার এটিই সবচেয়ে সাধারণ কারণ, প্রথম প্রশিক্ষণ ধাপ-এর আগে।

শুরু করার আগে: ডেটাসেট ফরম্যাট, এপিসোড, হার্ডওয়্যার

LeRobot-এ Pi0.5 একটি LeRobot ডেটাসেট v3.0 লেআউটে পড়ে, যা অক্টোবর 2025-এ lerobot 0.4.0-এর সাথে এসেছিল: প্রতি Parquet এবং MP4 ফাইলে অনেক এপিসোড, প্রতি এপিসোড একটি ফাইলের পরিবর্তে, meta/episodes/-এ বাউন্ডারি সহ, ফাইলের নামের পরিবর্তে। ডেস্কটপ ক্লায়েন্ট দিয়ে রেকর্ড করুন অথবা আপনার প্রথম ডেটাসেট রেকর্ড করুন অনুসরণ করুন এবং আপনার কাছে এটি থাকবে।

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

প্ল্যাটফর্ম Pi0.5 এর জন্য কমপক্ষে 50টি পর্ব চায়, যা GR00T এবং ACT এর মতোই। প্রি-ট্রেনিং মূল কাজ করে, তাই 50টি পরিষ্কার পর্ব 200টি অগোছালো পর্বের চেয়ে ভালো। এ বিষয়ে নতুন? শুরু করুন ডেটা সংগ্রহের নির্দেশিকা.

রুট A: openpi রিপোজিটরি ব্যবহার করে ফাইন-টিউন করুন

রেফারেন্স ইমপ্লিমেন্টেশন: প্রথমে JAX, শুধুমাত্র Ubuntu 22.04 এ পরীক্ষিত, ফ্ল্যাগসের পরিবর্তে কনফিগারেশন অবজেক্ট দ্বারা চালিত। একটি PyTorch পাথ 2025 সালের সেপ্টেম্বরে এসেছে, যা LIBERO-তে যাচাই করা হয়েছে। তিনটি ধাপ: আপনার ডেটা রূপান্তর করুন, একটি কনফিগারেশন সংজ্ঞায়িত করুন, প্রশিক্ষণ দিন এবং পরিবেশন করুন।

1. 1
   ক্লোন এবং ইনস্টল করুন

   openpi uv ব্যবহার করে। GIT_LFS_SKIP_SMUDGE হল এমন একটি জিনিস যা LeRobot কে LFS ব্লব ছাড়াই একটি নির্ভরতা হিসাবে আসতে দেয়।

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   আপনার ডেটা একটি LeRobot ডেটাসেটে রূপান্তর করুন

   আপস্ট্রিম LIBERO এবং DROID এর জন্য কনভার্টার সরবরাহ করে এবং আশা করে যে আপনি একটিকে মানিয়ে নেবেন। কাজটি হল কী ম্যাপিং।

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   একটি প্রশিক্ষণ কনফিগ যোগ করুন

   কনফিগগুলি src/openpi/training/config.py-তে TrainConfig এন্ট্রি। এটি pi05_droid_finetune কে মানিয়ে নেয়, যেখানে ওয়েট লোডার pi05_base এর দিকে নির্দেশিত।

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   নর্ম স্ট্যাটস গণনা করুন

   এটি ডেটাসেটের বিরুদ্ধে নয়, কনফিগ নামের বিরুদ্ধে চলে। এটি বাদ দেওয়া এখানে ক্লাসিক প্রথম ব্যর্থতা।

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   প্রশিক্ষণ দিন

   ভেরিয়েবলটি JAX কে ডিফল্ট 75 এর পরিবর্তে 90 শতাংশ GPU মেমরি ব্যবহার করতে দেয়। একটি 80 GB কার্ডে এটি নির্ধারণ করে যে রানটি টিকে থাকবে কিনা।

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   এটি পরিবেশন করুন

   সার্ভার পোর্ট 8000 এ শোনে এবং পর্যবেক্ষণ ক্যোয়ারীর উত্তর দেয়; আপনার রোবট রানটাইম হল ক্লায়েন্ট।

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

রুট B: lerobot pi05 দিয়ে ফাইন-টিউন করুন

LeRobot পোর্ট একই ওয়েটগুলিকে CLI-তে র‍্যাপ করে যা আপনি ইতিমধ্যেই ব্যবহার করেন ACT এবং SmolVLA। নিচের সবকিছু lerobot 0.6.1 (3 আগস্ট 2026 থেকে প্রকাশিত সংস্করণ) এবং 23 আগস্ট 2026-এর pi05 ডকুমেন্টেশন অনুসারে যাচাই করা হয়েছে। এখানে সংস্করণগুলি গুরুত্বপূর্ণ: v3.0 ডেটাসেটগুলি অক্টোবর 2025-এ 0.4.0-এর সাথে এসেছিল, 9 মার্চ 2026-এর 0.5.0 ব্লগ pi0-FAST এবং রিয়েল-টাইম চাঙ্কিং উপস্থাপন করে, এবং 6 জুলাই 2026-এর 0.6.0 বেস প্যাকেজটিকে হালকা করে এবং ডিপ্লয়মেন্টকে lerobot-rollout-এ স্থানান্তরিত করে।

একটি জিনিস স্থানান্তরিত হয়নি: lerobot-train এবং lerobot-record ইতিমধ্যেই 0.3.2, আগস্ট 2025-এ এন্ট্রি পয়েন্ট ছিল। একটি টিউটোরিয়াল যা এখনও python -m lerobot.scripts.train কল করে, তা এক বছরের পরিবর্তনের পূর্ববর্তী এবং বাকি বিষয়গুলিতেও অবিশ্বাসযোগ্য।

1. 1
   সঠিক এক্সট্রা সহ ইনস্টল করুন

   0.6.0 সংস্করণ থেকে, বেস ইনস্টলেশন শুধুমাত্র মূল ML নির্ভরতা বহন করে, এবং pi অতিরিক্ত কোনো ডেটাসেট বা প্রশিক্ষণ কোড যোগ করে না, তাই একটি ফাইন-টিউনের জন্য প্রশিক্ষণ অতিরিক্তও প্রয়োজন। পুরোনো এক-লাইনারগুলি এখানে ইম্পোর্ট করার সময় ব্যর্থ হয়।

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   প্রমাণীকরণ করুন

   একটি ব্রাউজারে paligemma-3b-pt-224 লাইসেন্স গ্রহণ করুন, তারপর যে মেশিন প্রশিক্ষণ দেয় তাতে লগ ইন করুন।

   bash

   hf auth login

3. 3
   কোয়ান্টাইল পরিসংখ্যান যোগ করুন

   Pi0.5 কোয়ান্টাইল ব্যবহার করে STATE এবং ACTION স্বাভাবিক করে, তাই meta/stats.json-এর q01 এবং q99 প্রয়োজন। পুরোনো ডেটাসেটগুলিতে শুধুমাত্র min, max, mean, std থাকে।

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   lerobot/pi05_base থেকে ফাইন-টিউন করুন

   আপনার কার্ড যা সহ্য করতে পারে সেই অনুযায়ী ব্যাচ সাইজ সেট করুন; ডকুমেন্টেশনে 80 GB LIBERO-তে 64 ব্যবহার করা হয়েছে। bfloat16 স্পষ্টভাবে পাস করুন, কনফিগের ডিফল্ট float32।

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   আর্মে এটি চালান

   0.6.x সংস্করণে এটি lerobot-rollout: lerobot-record একটি নীতি প্রত্যাখ্যান করে এবং eval_ ডেটাসেটের নাম গ্রহণ করে না। বেস আর্ম চালায়, সেন্ট্রি রোলআউট রেকর্ড করে।

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

ডিফল্টের তিনটি সেট, এবং কোনটি প্রশিক্ষকের কাছে পৌঁছায়

openpi-এর TrainConfig হল রেফারেন্স, LeRobot-এর PI05Config হল যা lerobot-train ব্যবহার করে যখন আপনি কিছু বলেন না, এবং এখানকার ফর্মটি একটি তৃতীয় সেট পাঠায়। আশ্চর্যের বিষয় হল লার্নিং রেট: উভয় আপস্ট্রিম ডিফল্ট 2.5e-5 এ সর্বোচ্চ হয়, যখন openpi-এর নিজস্ব pi05_libero কনফিগারেশন এবং এই প্ল্যাটফর্ম এটিকে 5e-5 এ বাড়িয়ে দেয়।

পোর্টটি কি বিশ্বস্ত? LeRobot টিম LIBERO বেস মডেলটিকে আরও 6k ধাপের জন্য ফাইন-টিউন করেছে এবং চারটি স্যুটে openpi-এর রেফারেন্স নম্বরের সাথে তুলনা করেছে: 96.85 এর বিপরীতে 97.5 শতাংশ গড়, Libero 10 এ এগিয়ে, Spatial এ পিছিয়ে। রুটটি একটি টুলিং পছন্দ, গুণগত পছন্দ নয়।

485 ms বাস্তবতা, এবং যেখানে এটি ব্যবহারযোগ্যতা হারায়

এটি আপনার প্রকল্পকে প্রভাবিত করে, তাই এটি খরচের তালিকার আগে আসে। প্রতি অ্যাকশন স্টেপে Pi0.5 এর জন্য এখানে পরিমাপ করা হয়েছে 485 ms। অন্য চারটি মডেলের তুলনায়:

আপস্ট্রিমের কাছে একটি উত্তর আছে, এবং এর অর্ধেকটা আপনি ইনস্টল করতে পারবেন এমন রিলিজে ইতিমধ্যেই রয়েছে। রিয়েল-টাইম চাঙ্কিং পরবর্তী চাঙ্ক তৈরি করে যখন বাহু বর্তমান চাঙ্কটি কার্যকর করছে, তারপর নতুন চাঙ্কের ওভারল্যাপিং ধাপগুলিকে ইতিমধ্যেই কার্যকর করা অংশের কাছাকাছি থাকতে নির্দেশ করে, যাতে বাহু সংযোগস্থলে থেমে না যায় বা ঝাঁকুনি না দেয়। Pi0, Pi0.5 এবং SmolVLA এর জন্য 0.4.2 চেঞ্জলগে পাঠানো ইনফারেন্স-টাইম ফর্মটি একটি রোলআউট ফ্ল্যাগ, রিট্রেন নয়:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

এটি মডেলকে দ্রুত করে না। এটি ব্যবধানটি লুকিয়ে রাখে: 485 ms এখনও ব্যয় হয়, তবে ক্রিটিক্যাল পাথ থেকে দূরে, তাই চাঙ্কগুলির মধ্যে কিউ শুকিয়ে যায় না। arXiv 2512.05964 থেকে প্রশিক্ষণ-সময়ের ভেরিয়েন্ট আরও এগিয়ে যায়: মডেলটি একটি পরিষ্কার অ্যাকশন প্রিফিক্সের উপর শর্তারোপ করতে শেখে, তাই ইনফারেন্সে ওভারল্যাপটি নির্দেশিত হওয়ার পরিবর্তে প্রতি-অ্যাকশন ফ্লো টাইমস্টেপ দিয়ে হার্ড-ইনপেইন্ট করা হয় এবং গাইডেন্স ব্যাকওয়ার্ড পাস অদৃশ্য হয়ে যায়। প্রশিক্ষণের সময় এটি প্রতি উদাহরণে একটি প্রিফিক্স দৈর্ঘ্য নমুনা করে এবং অবশিষ্ট পোস্টফিক্সের উপর ফ্লো লস নেয়। সেই ফ্ল্যাগটি শুধুমাত্র মেইনে থাকে, 0.6.1 এ নয়, এবং আপনি যে বিলম্বের জন্য প্রশিক্ষণ দেন তা chunk_size এর নিচে থাকতে হবে।

Pi0.5 চেকপয়েন্ট পাওয়ার দুটি উপায়

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

যখন এটি কাজ করে না

• ডেটা সেট প্রত্যাখ্যান করা হয়েছে: v3 প্রয়োজন
• প্রশিক্ষণের সময় মেমরি শেষ
• ক্ষতি কমছে কিন্তু নীতি কিছুই করছে না
• নীতি মাঝপথে গতিতে থেমে যায়
• নীতি শুধুমাত্র একটি সেটআপে কাজ করে
• প্রশিক্ষণ কাজ সারিতে আটকে আছে

একটি রানের খরচ কত

Pi0.5 ব্যয়বহুল স্তরে পড়ে কারণ এটির জন্য একটি 80 GB কার্ড প্রয়োজন, এবং স্পট মূল্য পরিবর্তিত হয়, তাই এই সংখ্যাটি একটি নির্দিষ্ট মূল্যের পরিবর্তে একটি পরিসীমা। অনেক SO-100 কাজের জন্য, প্রথমে SmolVLA অথবা ACT কে 24 GB স্তরে প্রশিক্ষণ দিন, নিশ্চিত করুন যে কাজটি শেখার যোগ্য, তারপর A100 ঘন্টা ব্যয় করুন। আপনার প্রথম নীতি প্রশিক্ষণ দিন সেই সস্তা লুপটি দেখায়, এবং মূল্য নির্ধারণ বর্তমান স্তরগুলি বহন করে।

একটি সন্ধ্যা উৎসর্গ করার আগে: GR00T N1.7 বনাম Pi0.5 এবং Pi0.5 বনাম SmolVLA একই সংখ্যাগুলি মুখোমুখি উপস্থাপন করে। অ্যারেনা 85টি VLA মডেল ধারণ করে যার 332টি বেঞ্চমার্ক ফলাফল রয়েছে, প্রতিটি তার উৎসের সাথে সংযুক্ত, এবং এই পরিবারের পটভূমি রয়েছে আমাদের VLA ওভারভিউ।