आफ्नो रोबोट डेटामा Pi0.5 लाई कसरी तालिम दिने

Pi0.5 एउटा यस्तो मोडेल हो जुन तपाईंले नीतिले कहिल्यै नदेखेको कोठामा काम गर्नुपर्दा प्रयोग गर्नुहुन्छ। यो यहाँका पाँचवटा मध्ये सबैभन्दा अप्ठ्यारो पनि हो प्रशिक्षण योग्य नीतिहरू यहाँ फाइन-ट्युन हातले गर्नका लागि: अपस्ट्रिम रिपोजिटरी पहिले JAX हो, LeRobot पोर्टले 0.6.0 मा lerobot-record बाट डिप्लोयमेन्ट हटायो र आधारभूत इन्स्टललाई तालिम दिन नसकिने गरी सानो बनायो, र पूर्ण फाइन-ट्युन 4090 मा फिट हुँदैन। तल: फ्लो म्याचिङ इन्फरेन्समा कति खर्च हुन्छ, दुई कमाण्ड मार्गहरू, र परिणाम प्रयोग योग्य छ कि छैन भनेर निर्णय गर्ने 485 ms संख्या।

Pi0.5 वास्तवमा के हो

Physical Intelligence ले अक्टोबर 2024 मा pi0 प्रकाशित गर्‍यो: एउटा फ्लो म्याचिङ भिजन-ल्याङ्ग्वेज-एक्शन मोडेल एउटा प्रिट्रेन्ड VLM मा आधारित: PaliGemma 3 बिलियन प्यारामिटरहरू सहित र स्क्र्याचबाट इनिसियलाइज गरिएको 300M एक्शन एक्सपर्ट, कुल 3.3 बिलियन। पेपरले 7 रोबोट कन्फिगरेसन र 68 कार्यहरूमा 10,000 घण्टा भन्दा बढी रोबोट डेटामा प्रिट्रेनिङ रिपोर्ट गर्दछ। थप जानकारी pi0 लेख।

Pi0.5 (arXiv 2504.16054, 22 April 2025) ले त्यो संरचना कायम राख्छ र प्रशिक्षण आहार परिवर्तन गर्छ: वेब डेटा, वस्तु पत्ता लगाउने, रोबोटलाई तालिम दिने मानवबाट मौखिक निर्देशनहरू, उपकार्य लेबलहरू, धेरै घरहरूमा रहेका रोबोटहरूबाट क्रस-एम्बोडिमेन्ट डेटा। यसको नतिजा प्रशिक्षण सेटमा नभएका घरहरूमा भान्सा सफा गर्ने रोबोट हो। openpi README ले शीर्षकमा नभएको एउटा विवरण थप्छ: जारी गरिएको pi0.5 लाई ज्ञान इन्सुलेशन (arXiv 2505.23705) सँग तालिम दिइएको थियो।

फ्लो म्याचिङले प्रशिक्षण र अनुमानको बारेमा के परिवर्तन गर्छ

एउटा नीति जुन तपाईं SO-100 मा तालिम दिन सक्नुहुन्छ, या त कार्यहरूलाई सिधै रिग्रेस गर्छ (ACT) वा तिनीहरूलाई टोकनाइज गर्छ र स्वतः-रिग्रेसिभ रूपमा डिकोड गर्छ (pi0-FAST)। फ्लो म्याचिङले दुवै गर्दैन: यसले एउटा भेक्टर फिल्ड सिक्छ जसले आवाजलाई सफा कार्य खण्ड, त्यसपछि यसलाई एकीकृत गर्छ। pi0 पेपरले 0.1 को चरण आकारमा 10 एकीकरण चरणहरू प्रयोग गर्दछ; LeRobot को pi05 कन्फिगरेसनमा उही num_inference_steps: int = 10 छ।

• तालिम: हानिले नोइज्ड कार्य खण्डलाई रिग्रेस गर्छ। ट्युन गर्न कुनै टोकेनाइजर छैन, तपाईंको जोइन्ट कोणहरूको कुनै विच्छेदन छैन।
• अनुमान: एउटा खण्डमा कार्य विशेषज्ञ मार्फत दस फर्वार्ड पास लाग्छ। त्यो संरचनात्मक हो, ट्युनिङ समस्या होइन।
• आउटपुट: 32 आयामका निरन्तर कार्यहरू, आन्तरिक रूपमा प्याड गरिएको, तपाईंको रोबोटमा भएका आयामहरूमा हानि लिइन्छ। 6-DoF पाखुरा र ग्रिपरले 7 प्रयोग गर्छ।

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma ब्याकबोन, र यसको अगाडिको गेट

PaliGemma (arXiv 2407.07726) एउटा SigLIP-So400m भिजन इन्कोडर हो जुन Gemma-2B भाषा मोडेलमा आधारित छ, लगभग 3B प्यारामिटरहरू सहित। Pi0.5 ले यसको टोकेनाइजर विरासतमा प्राप्त गर्दछ, र त्यो टोकेनाइजर एउटा गेटेड रिपोजिटरीमा छ। यो पहिलो रन असफल हुने सबैभन्दा सामान्य तरिका हो, पहिलो तालिम चरण अघि।

सुरु गर्नु अघि: डेटासेट ढाँचा, एपिसोडहरू, हार्डवेयर

LeRobot मा Pi0.5 ले एउटा LeRobot डेटासेट v3.0 लेआउटमा पढ्छ, जुन अक्टोबर 2025 मा lerobot 0.4.0 सँग आएको थियो: प्रति Parquet र MP4 फाइलमा धेरै एपिसोडहरू, प्रति एपिसोड को सट्टा, फाइलनामहरूको सट्टा meta/episodes/ मा सीमानाहरू सहित। डेस्कटप क्लाइन्ट सँग रेकर्ड गर्नुहोस् वा आफ्नो पहिलो डेटासेट रेकर्ड गर्नुहोस् पालना गर्नुहोस् र तपाईंसँग यो हुनेछ।

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

प्लेटफर्मलाई Pi0.5 को लागि कम्तिमा 50 एपिसोडहरू चाहिन्छ, जुन GR00T र ACT को लागि पनि समान न्यूनतम हो। पूर्व-प्रशिक्षणले धेरै काम गर्छ, त्यसैले 50 सफा एपिसोडहरू 200 अव्यवस्थित एपिसोडहरू भन्दा राम्रो हुन्छन्। यसमा नयाँ हुनुहुन्छ? यसबाट सुरु गर्नुहोस् डेटा सङ्कलन गाइड.

मार्ग A: openpi भण्डारको साथ फाइन-ट्यून गर्नुहोस्

सन्दर्भ कार्यान्वयन: JAX पहिले, Ubuntu 22.04 मा मात्र परीक्षण गरिएको, फ्ल्यागहरूको सट्टा कन्फिग वस्तुहरूद्वारा संचालित। PyTorch मार्ग सेप्टेम्बर 2025 मा आइपुग्यो, LIBERO मा प्रमाणित गरियो। तीन चरणहरू: आफ्नो डेटा रूपान्तरण गर्नुहोस्, कन्फिग परिभाषित गर्नुहोस्, तालिम दिनुहोस् र सेवा दिनुहोस्।

1. 1
   क्लोन गर्नुहोस् र स्थापना गर्नुहोस्

   openpi ले uv प्रयोग गर्छ। GIT_LFS_SKIP_SMUDGE ले LeRobot लाई LFS ब्लब बिना निर्भरताको रूपमा आउन दिन्छ।

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   आफ्नो डेटालाई LeRobot डेटासेटमा रूपान्तरण गर्नुहोस्

   अपस्ट्रीमले LIBERO र DROID का लागि कन्भर्टरहरू पठाउँछ र तपाईंले एउटा अनुकूलन गर्ने अपेक्षा गर्दछ। काम भनेको कुञ्जी म्यापिङ हो।

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   तालिम कन्फिग थप्नुहोस्

   कन्फिगहरू src/openpi/training/config.py मा TrainConfig प्रविष्टिहरू हुन्। यो pi05_droid_finetune लाई अनुकूलन गर्दछ, जसमा वजन लोडर pi05_base मा लक्षित छ।

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   मानक तथ्याङ्कहरू गणना गर्नुहोस्

   यो कन्फिग नाम विरुद्ध चल्छ, डेटासेट विरुद्ध होइन। यसलाई छोड्नु यहाँको क्लासिक पहिलो असफलता हो।

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   तालिम दिनुहोस्

   यो चरले JAX लाई पूर्वनिर्धारित 75 को सट्टा GPU मेमोरीको 90 प्रतिशत प्रयोग गर्न दिन्छ। 80 GB कार्डमा यसले रन जीवित रहन्छ कि रहँदैन भनेर निर्धारण गर्छ।

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   यसलाई सेवा दिनुहोस्

   सर्भरले पोर्ट 8000 मा सुन्छ र अवलोकन प्रश्नहरूको जवाफ दिन्छ; तपाईंको रोबोट रनटाइम ग्राहक हो।

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

मार्ग B: lerobot pi05 सँग फाइन-ट्यून गर्नुहोस्

LeRobot पोर्टले तपाईंले पहिले नै प्रयोग गरिरहनुभएको CLI मा उही तौलहरू समावेश गर्दछ ACT र SmolVLA। तलका सबै कुरा lerobot 0.6.1, 3 अगस्ट 2026 देखिको रिलीज, र 23 अगस्ट 2026 मा pi05 कागजातहरू विरुद्ध जाँच गरिएको थियो। संस्करणहरू यहाँ महत्त्वपूर्ण छन्: v3.0 डेटासेटहरू अक्टोबर 2025 मा 0.4.0 सँग आइपुगे, 9 मार्च 2026 को 0.5.0 ब्लगले pi0-FAST र Real-Time Chunking प्रस्तुत गर्दछ, र 6 जुलाई 2026 मा 0.6.0 ले आधार प्याकेजलाई हल्का बनायो र डिप्लोयमेन्टलाई lerobot-rollout मा सारियो।

एउटा कुरा सरेको छैन: lerobot-train र lerobot-record पहिले नै 0.3.2, अगस्ट 2025 मा प्रवेश बिन्दुहरू थिए। एउटा ट्यूटोरियल जसले अझै पनि python -m lerobot.scripts.train लाई कल गर्छ, त्यो एक वर्षको परिवर्तन भन्दा पुरानो हो र बाँकीमा पनि विश्वास गर्न लायक छैन।

1. 1
   सही एक्स्ट्रासहित स्थापना गर्नुहोस्

   0.6.0 देखि, आधारभूत स्थापनाले मुख्य ML निर्भरताहरू मात्र बोक्छ, र pi एक्स्ट्राले कुनै डेटासेट वा प्रशिक्षण कोड थप्दैन, त्यसैले फाइन-ट्युनलाई प्रशिक्षण एक्स्ट्रा पनि चाहिन्छ। पुराना एक-लाइनरहरू यहाँ आयात समयमा असफल हुन्छन्।

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   प्रमाणीकरण गर्नुहोस्

   ब्राउजरमा paligemma-3b-pt-224 लाइसेन्स स्वीकार गर्नुहोस्, त्यसपछि प्रशिक्षण गर्ने मेसिनमा लग इन गर्नुहोस्।

   bash

   hf auth login

3. 3
   क्वान्टाइल तथ्याङ्कहरू थप्नुहोस्

   Pi0.5 ले STATE र ACTION लाई क्वान्टाइलहरूसँग सामान्यीकरण गर्छ, त्यसैले meta/stats.json लाई q01 र q99 चाहिन्छ। पुराना डेटासेटहरूमा केवल min, max, mean, std मात्र हुन्छ।

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   lerobot/pi05_base बाट फाइन-ट्युन गर्नुहोस्

   ब्याच साइजलाई तपाईंको कार्डले धान्ने जतिमा सेट गर्नुहोस्; कागजातहरूले 80 GB मा LIBERO मा 64 प्रयोग गर्छन्। bfloat16 स्पष्ट रूपमा पास गर्नुहोस्, कन्फिग डिफल्ट float32 हो।

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   यसलाई आर्ममा चलाउनुहोस्

   0.6.x मा यो lerobot-rollout हो: lerobot-record ले नीति अस्वीकार गर्छ र eval_ डेटासेट नामहरू अस्वीकार गर्छ। बेसले आर्म चलाउँछ, सेन्ट्रीले रोलआउट रेकर्ड गर्छ।

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

पूर्वनिर्धारितका तीन सेटहरू, र कुन-कुन प्रशिक्षकसम्म पुग्छन्

openpi को TrainConfig सन्दर्भ हो, LeRobot को PI05Config lerobot-train ले केही नभन्दा प्रयोग गर्छ, र यहाँको फारमले तेस्रो सेट पठाउँछ। अचम्मको कुरा सिक्ने दर हो: दुवै अपस्ट्रिम पूर्वनिर्धारितहरू 2.5e-5 मा पुग्छन्, जबकि openpi को आफ्नै pi05_libero कन्फिग र यो प्लेटफर्मले यसलाई 5e-5 मा बढाउँछ।

के पोर्ट विश्वसनीय छ? LeRobot टोलीले LIBERO आधार मोडेललाई थप 6k चरणहरूको लागि फाइन-ट्यून गर्यो र openpi को सन्दर्भ संख्याहरूसँग चार सुइटहरूमा तुलना गर्यो: 96.85 को विरुद्धमा 97.5 प्रतिशत औसत, Libero 10 मा अगाडि, Spatial मा पछाडि। यो मार्ग उपकरणको छनोट हो, गुणस्तरको होइन।

485 ms को वास्तविकता, र यो कहाँ प्रयोग गर्न योग्य रहँदैन

यसले तपाईंको परियोजनाको निर्णय गर्छ, त्यसैले यो लागत तालिका भन्दा पहिले आउँछ। Pi0.5 को लागि यहाँ मापन गरिएको प्रति कार्य चरण 485 ms छ। अन्य चारको तुलनामा:

अपस्ट्रिमसँग एउटा उत्तर छ, र त्यसको आधा भाग तपाईंले स्थापना गर्न सक्ने रिलीजमा पहिले नै छ। रियल-टाइम चङ्किङले पाखुराले हालको चङ्क कार्यान्वयन गरिरहेको बेला अर्को चङ्क उत्पन्न गर्छ, त्यसपछि नयाँ चङ्कका ओभरल्यापिङ चरणहरूलाई पहिले नै कार्यान्वयन भइसकेको भागको नजिक राख्न मार्गदर्शन गर्छ, ताकि पाखुरा सिमामा नअड्कियोस् वा नझुक्ियोस्। Pi0, Pi0.5 र SmolVLA का लागि 0.4.2 चेन्जलॉगमा पठाइएको इन्फरेन्स-टाइम फारम रोलआउट फ्ल्याग हो, रिट्रेन होइन:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

यसले मोडेललाई छिटो बनाउँदैन। यसले खाली ठाउँ लुकाउँछ: ४८५ मिलिसेकेन्ड अझै खर्च हुन्छ, तर महत्वपूर्ण मार्गबाट ​​बाहिर, त्यसैले चङ्कहरू बीचमा कतार सुक्दैन। arXiv 2512.05964 बाट प्रशिक्षण-समय भेरियन्ट अझ अगाडि जान्छ: मोडेलले सफा कार्य उपसर्गमा सर्त गर्न सिक्छ, त्यसैले इन्फरेन्समा ओभरल्याप निर्देशित हुनुको सट्टा प्रति-कार्य प्रवाह टाइमस्टेपहरूसँग हार्ड-इनपेन्टेड हुन्छ, र मार्गदर्शन ब्याकवर्ड पास हराउँछ। प्रशिक्षणको क्रममा यसले प्रति उदाहरण एक उपसर्ग लम्बाइ नमूना गर्छ र बाँकी पोस्टफिक्समा प्रवाह हानि लिन्छ। त्यो फ्ल्याग मुख्यमा मात्र रहन्छ, 0.6.1 मा होइन, र तपाईंले प्रशिक्षण गर्ने ढिलाइ chunk_size भन्दा कम हुनुपर्छ।

Pi0.5 चेकपोइन्ट प्राप्त गर्ने दुई तरिकाहरू

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

जब यसले काम गर्दैन

• डेटासेट अस्वीकृत: v3 आवश्यक छ
• तालिमको क्रममा मेमोरी अपुग
• हानि घट्छ तर नीतिले केही गर्दैन
• गति बीचमा नीति स्थिर हुन्छ
• नीतिले एउटा सेटअपमा मात्र काम गर्छ
• तालिम कार्य कतारमा अड्कियो

एउटा रनको लागत कति?

Pi0.5 महँगो टियरमा पर्छ किनभने यसलाई 80 GB कार्ड चाहिन्छ, र स्पट मूल्यहरू परिवर्तन भइरहन्छन्, त्यसैले यो अंक मूल्य भन्दा दायरा हो। धेरै SO-100 कार्यहरूको लागि, तालिम दिनुहोस् SmolVLA वा ACT लाई पहिले 24 GB टियरमा, कार्य सिक्न योग्य छ कि छैन भनी पुष्टि गर्नुहोस्, त्यसपछि यसमा A100 घण्टा खर्च गर्नुहोस्। आफ्नो पहिलो नीति तालिम दिनुहोस् ले त्यो सस्तो लुप देखाउँछ, र मूल्य निर्धारण ले हालको टियरहरू समावेश गर्दछ।

एक साँझ प्रतिबद्ध गर्नु अघि: GR00T N1.7 विरुद्ध Pi0.5 र Pi0.5 विरुद्ध SmolVLA ले उही संख्याहरूलाई आमनेसामने राख्छ। एरिना मा 332 बेन्चमार्क परिणामहरू सहित 85 VLA मोडेलहरू छन्, प्रत्येक यसको स्रोतसँग जोडिएको छ, र परिवारको बारेमा पृष्ठभूमि हाम्रो VLA सिंहावलोकन।