Πώς να εκπαιδεύσετε το Pi0.5 με τα δικά σας δεδομένα ρομπότ

Το Pi0.5 είναι το μοντέλο που επιλέγετε όταν μια πολιτική πρέπει να λειτουργήσει σε ένα δωμάτιο που δεν έχει ξαναδεί. Είναι επίσης το πιο δύσχρηστο από τις πέντε εκπαιδεύσιμες πολιτικές εδώ για να τελειοποιήσετε χειροκίνητα: το upstream αποθετήριο είναι αρχικά JAX, η μεταφορά του LeRobot μετέφερε την ανάπτυξη εκτός του lerobot-record στην έκδοση 0.6.0 και έκανε την βασική εγκατάσταση πολύ μικρή για εκπαίδευση, και μια πλήρης τελειοποίηση δεν χωράει σε μια 4090. Παρακάτω: τι αντιστοίχιση ροής κοστίζει στην εξαγωγή συμπερασμάτων, οι δύο διαδρομές εντολών, και ο αριθμός 485 ms που αποφασίζει αν το αποτέλεσμα είναι χρησιμοποιήσιμο.

Τι είναι στην πραγματικότητα το Pi0.5

Η Physical Intelligence δημοσίευσε το pi0 τον Οκτώβριο του 2024: ένα μοντέλο αντιστοίχισης ροής μοντέλο όρασης-γλώσσας-δράσης σε ένα προεκπαιδευμένο VLM: PaliGemma με 3 δισεκατομμύρια παραμέτρους συν έναν ειδικό δράσης 300M αρχικοποιημένο από το μηδέν, 3,3 δισεκατομμύρια συνολικά. Η εργασία αναφέρει προεκπαίδευση σε πάνω από 10.000 ώρες δεδομένων ρομπότ σε 7 διαμορφώσεις ρομπότ και 68 εργασίες. Περισσότερα στο το άρθρο για το pi0.

Το Pi0.5 (arXiv 2504.16054, 22 Απριλίου 2025) διατηρεί αυτόν τον σκελετό και αλλάζει τη διατροφή εκπαίδευσης: δεδομένα ιστού, ανίχνευση αντικειμένων, προφορικές οδηγίες από ανθρώπους που καθοδηγούν το ρομπότ, ετικέτες υποεργασιών, δεδομένα δια-ενσωμάτωσης από ρομπότ σε πολλά σπίτια. Το αποτέλεσμα είναι ένα ρομπότ που καθαρίζει κουζίνες σε σπίτια που δεν ήταν στο σύνολο εκπαίδευσης. Το README του openpi προσθέτει μια λεπτομέρεια που ο τίτλος δεν αναφέρει: το δημοσιευμένο pi0.5 εκπαιδεύτηκε με απομόνωση γνώσης (arXiv 2505.23705).

Τι αλλάζει η αντιστοίχιση ροής στην εκπαίδευση και την εξαγωγή συμπερασμάτων

Μια πολιτική που μπορείτε να εκπαιδεύσετε σε ένα SO-100 είτε παλινδρομεί ενέργειες απευθείας (ACT) είτε τις μετατρέπει σε tokens και τις αποκωδικοποιεί αυτοπαλινδρομικά (pi0-FAST). Το Flow matching δεν κάνει κανένα από τα δύο: μαθαίνει ένα διανυσματικό πεδίο που μεταφέρει θόρυβο σε ένα καθαρό κομμάτι ενέργειας, και στη συνέχεια το ενσωματώνει. Η εργασία pi0 χρησιμοποιεί 10 βήματα ολοκλήρωσης με μέγεθος βήματος 0.1. Η ρύθμιση pi05 του LeRobot φέρει την ίδια num_inference_steps: int = 10.

• Εκπαίδευση: η απώλεια παλινδρομεί ένα θορυβώδες κομμάτι ενέργειας. Δεν υπάρχει tokeniser για ρύθμιση, ούτε διακριτοποίηση των γωνιών των αρθρώσεών σας.
• Συμπερασματολογία: ένα κομμάτι κοστίζει δέκα εμπρόσθιες διελεύσεις μέσω του ειδικού ενέργειας. Αυτό είναι δομικό, όχι πρόβλημα ρύθμισης.
• Έξοδος: συνεχείς ενέργειες διάστασης 32, εσωτερικά γεμισμένες, απώλεια που λαμβάνεται στις διαστάσεις που έχει το ρομπότ σας. Ένας βραχίονας 6-βαθμών ελευθερίας συν αρπάγη χρησιμοποιεί 7.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

Η ραχοκοκαλιά PaliGemma, και η πύλη μπροστά της

Το PaliGemma (arXiv 2407.07726) είναι ένας κωδικοποιητής όρασης SigLIP-So400m σε ένα γλωσσικό μοντέλο Gemma-2B, περίπου 3 δισεκατομμυρίων παραμέτρων. Το Pi0.5 κληρονομεί τον tokenizer του, και αυτός ο tokenizer βρίσκεται σε ένα περιορισμένο αποθετήριο. Αυτός είναι ο πιο συνηθισμένος τρόπος που μια πρώτη εκτέλεση αποτυγχάνει, πριν από το πρώτο βήμα εκπαίδευσης.

Πριν ξεκινήσετε: μορφή συνόλου δεδομένων, επεισόδια, υλικό

Το Pi0.5 στο LeRobot διαβάζει ένα σύνολο δεδομένων LeRobot σε διάταξη v3.0, η οποία κυκλοφόρησε με το lerobot 0.4.0 τον Οκτώβριο του 2025: πολλά επεισόδια ανά αρχείο Parquet και MP4 αντί για ένα αρχείο ανά επεισόδιο, με όρια στο meta/episodes/ αντί για ονόματα αρχείων. Καταγράψτε με τον πελάτη επιφάνειας εργασίας ή ακολουθήστε το καταγράψτε το πρώτο σας σύνολο δεδομένων και το έχετε.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

Η πλατφόρμα απαιτεί τουλάχιστον 50 επεισόδια για το Pi0.5, το ίδιο ελάχιστο με τα GR00T και ACT. Η προ-εκπαίδευση κάνει τη βαριά δουλειά, οπότε 50 καθαρά επεισόδια είναι καλύτερα από 200 πρόχειρα. Είστε νέοι σε αυτό; Ξεκινήστε με τον οδηγό συλλογής δεδομένων.

Διαδρομή Α: λεπτομερής ρύθμιση με το αποθετήριο openpi

Η υλοποίηση αναφοράς: JAX πρώτα, δοκιμασμένη μόνο σε Ubuntu 22.04, καθοδηγούμενη από αντικείμενα διαμόρφωσης αντί για σημαίες. Μια διαδρομή PyTorch έφτασε τον Σεπτέμβριο του 2025, επικυρωμένη στο LIBERO. Τρία βήματα: μετατροπή των δεδομένων σας, ορισμός διαμόρφωσης, εκπαίδευση και εξυπηρέτηση.

1. 1
   Κλωνοποίηση και εγκατάσταση

   Το openpi χρησιμοποιεί uv. Το GIT_LFS_SKIP_SMUDGE είναι αυτό που επιτρέπει στο LeRobot να εισέλθει ως εξάρτηση χωρίς LFS blobs.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   Μετατροπή των δεδομένων σας σε σύνολο δεδομένων LeRobot

   Το upstream παρέχει μετατροπείς για LIBERO και DROID και αναμένει να προσαρμόσετε έναν. Η εργασία είναι η αντιστοίχιση κλειδιών.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   Προσθήκη διαμόρφωσης εκπαίδευσης

   Οι διαμορφώσεις είναι καταχωρήσεις TrainConfig στο src/openpi/training/config.py. Αυτή προσαρμόζει το pi05_droid_finetune, με τον φορτωτή βαρών να δείχνει στο pi05_base.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   Υπολογισμός στατιστικών κανονικοποίησης

   Εκτελείται έναντι του ονόματος διαμόρφωσης, όχι του συνόλου δεδομένων. Η παράλειψή του είναι η κλασική πρώτη αποτυχία εδώ.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   Εκπαίδευση

   Η μεταβλητή επιτρέπει στο JAX να χρησιμοποιεί το 90 τοις εκατό της μνήμης GPU αντί για το προεπιλεγμένο 75. Σε μια κάρτα 80 GB αυτό καθορίζει αν η εκτέλεση θα επιβιώσει.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   Εξυπηρέτηση

   Ο διακομιστής ακούει στη θύρα 8000 και απαντά σε ερωτήματα παρατήρησης· το runtime του ρομπότ σας είναι ο πελάτης.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

Διαδρομή Β: λεπτομερής ρύθμιση με lerobot pi05

Η θύρα LeRobot ενσωματώνει τα ίδια βάρη στο CLI που ήδη χρησιμοποιείτε για ACT και SmolVLA. Όλα τα παρακάτω ελέγχθηκαν έναντι του lerobot 0.6.1, της έκδοσης από τις 3 Αυγούστου 2026, και των εγγράφων του pi05 στις 23 Αυγούστου 2026. Οι εκδόσεις έχουν σημασία εδώ: τα σύνολα δεδομένων v3.0 έφτασαν με την έκδοση 0.4.0 τον Οκτώβριο του 2025, το blog 0.5.0 της 9ης Μαρτίου 2026 παρουσιάζει το pi0-FAST και το Real-Time Chunking, και η έκδοση 0.6.0 στις 6 Ιουλίου 2026 έκανε το βασικό πακέτο ελαφρύ και μετέφερε την ανάπτυξη στο lerobot-rollout.

Ένα πράγμα δεν άλλαξε: τα lerobot-train και lerobot-record ήταν ήδη σημεία εισόδου στην έκδοση 0.3.2, τον Αύγουστο του 2025. Ένα σεμινάριο που εξακολουθεί να καλεί python -m lerobot.scripts.train προηγείται ενός έτους αλλαγών και αξίζει να το δυσπιστείτε και για τα υπόλοιπα.

1. 1
   Εγκατάσταση με τα σωστά πρόσθετα

   Από την έκδοση 0.6.0, η βασική εγκατάσταση περιλαμβάνει μόνο τις βασικές εξαρτήσεις ML, και το πρόσθετο pi δεν προσθέτει κώδικα δεδομένων ή εκπαίδευσης, οπότε μια λεπτομερής ρύθμιση (fine-tune) χρειάζεται και το πρόσθετο εκπαίδευσης. Παλαιότερες εντολές μιας γραμμής αποτυγχάνουν εδώ κατά τον χρόνο εισαγωγής.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   Έλεγχος ταυτότητας

   Αποδεχτείτε την άδεια χρήσης paligemma-3b-pt-224 σε ένα πρόγραμμα περιήγησης και, στη συνέχεια, συνδεθείτε στον υπολογιστή που εκπαιδεύει.

   bash

   hf auth login

3. 3
   Προσθήκη στατιστικών ποσοστημορίων

   Το Pi0.5 κανονικοποιεί το STATE και το ACTION με ποσοστημόρια (quantiles), οπότε το meta/stats.json χρειάζεται q01 και q99. Παλαιότερα σύνολα δεδομένων περιέχουν μόνο min, max, mean, std.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   Λεπτομερής ρύθμιση από lerobot/pi05_base

   Ορίστε το μέγεθος δέσμης (batch size) σε αυτό που αντέχει η κάρτα σας· η τεκμηρίωση χρησιμοποιεί 64 στο LIBERO στα 80 GB. Περάστε το bfloat16 ρητά, η προεπιλογή της διαμόρφωσης είναι float32.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   Εκτέλεση στον βραχίονα

   Στην έκδοση 0.6.x αυτό είναι το lerobot-rollout: το lerobot-record αρνείται μια πολιτική και απορρίπτει ονόματα συνόλων δεδομένων eval_. Το Base οδηγεί τον βραχίονα, το sentry καταγράφει την εκτέλεση.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

Τρία σύνολα προεπιλογών, και ποια από αυτά φτάνουν στον εκπαιδευτή

Το TrainConfig του openpi είναι η αναφορά, το PI05Config του LeRobot είναι αυτό που χρησιμοποιεί το lerobot-train όταν δεν λέτε τίποτα, και η φόρμα εδώ στέλνει ένα τρίτο σύνολο. Η έκπληξη είναι ο ρυθμός μάθησης: και οι δύο προεπιλογές upstream κορυφώνονται στο 2.5e-5, ενώ η δική του διαμόρφωση pi05_libero του openpi και αυτή η πλατφόρμα τον ανεβάζουν στο 5e-5.

Είναι πιστή η μεταφορά; Η ομάδα του LeRobot ρύθμισε περαιτέρω το βασικό μοντέλο LIBERO για επιπλέον 6k βήματα και συνέκρινε με τους αριθμούς αναφοράς του openpi σε τέσσερις σουίτες: 97.5 τοις εκατό μέσος όρος έναντι 96.85, μπροστά στο Libero 10, πίσω στο Spatial. Η διαδρομή είναι επιλογή εργαλείων, όχι ποιότητας.

Η πραγματικότητα των 485 ms, και πού παύει να είναι χρησιμοποιήσιμη

Αυτό καθορίζει το έργο σας, οπότε προηγείται του πίνακα κόστους. Η ανά βήμα ενέργειας που μετρήθηκε εδώ για το Pi0.5 είναι 485 ms. Έναντι των άλλων τεσσάρων:

Το upstream έχει μια απάντηση, και το μισό της βρίσκεται ήδη στην έκδοση που μπορείτε να εγκαταστήσετε. Το Real-Time Chunking δημιουργεί το επόμενο τμήμα ενώ ο βραχίονας εκτελεί ακόμα το τρέχον, και στη συνέχεια καθοδηγεί τα επικαλυπτόμενα βήματα του νέου τμήματος να παραμείνουν κοντά στο ήδη εκτελεσμένο μέρος, ώστε ο βραχίονας να μην κολλήσει ή να τρανταχτεί στην ένωση. Η μορφή χρόνου συμπερασματολογίας που κυκλοφόρησε στο changelog 0.4.2 για τα Pi0, Pi0.5 και SmolVLA είναι ένα rollout flag, όχι μια επανεκπαίδευση:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

Δεν κάνει το μοντέλο ταχύτερο. Κρύβει το κενό: τα 485 ms εξακολουθούν να δαπανώνται, αλλά εκτός της κρίσιμης διαδρομής, οπότε η ουρά δεν αδειάζει μεταξύ των τμημάτων. Η παραλλαγή χρόνου εκπαίδευσης από το arXiv 2512.05964 προχωράει περαιτέρω: το μοντέλο μαθαίνει να εξαρτάται από ένα καθαρό πρόθεμα ενέργειας, οπότε κατά τη συμπερασματολογία η επικάλυψη είναι σκληρά 'ζωγραφισμένη' με χρονοβήματα ροής ανά ενέργεια αντί για καθοδηγούμενη, και η αντίστροφη διέλευση καθοδήγησης εξαφανίζεται. Κατά την εκπαίδευση, δειγματοληπτεί ένα μήκος προθέματος ανά παράδειγμα και υπολογίζει την απώλεια ροής στο υπόλοιπο επίθεμα. Αυτό το flag υπάρχει μόνο στο main, όχι στην έκδοση 0.6.1, και η καθυστέρηση για την οποία εκπαιδεύετε πρέπει να παραμείνει κάτω από το chunk_size.

Δύο τρόποι για να αποκτήσετε ένα checkpoint Pi0.5

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

Όταν δεν λειτουργεί

• Το σύνολο δεδομένων απορρίφθηκε: απαιτείται v3
• Έλλειψη μνήμης κατά την εκπαίδευση
• Η απώλεια μειώνεται αλλά η πολιτική δεν κάνει τίποτα
• Η πολιτική παγώνει εν μέσω κίνησης
• Η πολιτική λειτουργεί μόνο σε μία ρύθμιση
• Η εργασία εκπαίδευσης έχει κολλήσει στην ουρά

Τι κοστίζει μία εκτέλεση

Το Pi0.5 βρίσκεται στην ακριβή κατηγορία επειδή απαιτεί κάρτα 80 GB, και οι τιμές spot μεταβάλλονται, οπότε το ποσό είναι ένα εύρος και όχι μία τιμή. Για πολλές εργασίες SO-100, εκπαιδεύστε SmolVLA ή ACT στην κατηγορία 24 GB πρώτα, επιβεβαιώστε ότι η εργασία είναι εκπαιδεύσιμη, και μετά αφιερώστε ώρες A100 σε αυτήν. Εκπαιδεύστε την πρώτη σας πολιτική περιγράφει αυτόν τον φθηνότερο κύκλο, και τιμολόγηση περιλαμβάνει τις τρέχουσες κατηγορίες.

Πριν δεσμεύσετε ένα βράδυ: GR00T N1.7 έναντι Pi0.5 και Pi0.5 έναντι SmolVLA παραθέτουν τους ίδιους αριθμούς αντιμέτωπους. Η Αρένα περιέχει 85 μοντέλα VLA με 332 αποτελέσματα συγκριτικής αξιολόγησης, το καθένα συνδεδεμένο με την πηγή του, και πληροφορίες για την οικογένεια βρίσκονται στο την επισκόπηση VLA μας.