Ποια Πολιτική VLA Πρέπει να Εκπαιδεύσετε το 2026;

Πέντε πολιτικές μπορούν να εκπαιδευτούν σε έναν βραχίονα κλάσης SO-100 σήμερα. Διαφέρουν κατά έναν παράγοντα 24 στην εξαγωγή συμπερασμάτων καθυστέρηση, 37 στον αριθμό παραμέτρων και 12 στο κόστος μιας εκτέλεσης, καθώς και στο αν επιτρέπεται να διανείμετε το αποτέλεσμα. Πέντε κάρτες μοντέλων δεν θα το διευθετήσουν: καμία δεν απαντά στην ερώτηση που έχετε, ποια να εκτελέσω πρώτα;

Κάθε αριθμός παρακάτω ανακτήθηκε από τις εργασίες, τα αποθετήρια και τις κάρτες τον Αύγουστο του 2026. Οι αριθμοί πλατφόρμας προέρχονται από τον κατάλογο πολιτικών της AY-Robots· όπου οι δύο διαφωνούν, εμφανίζονται και οι δύο.

Ο πίνακας αποφάσεων

Οι πέντε υποψήφιοι

Και τα πέντε είναι πολιτικές: καρέ κάμερας, θέσεις αρθρώσεων και, για τέσσερα από αυτά, μια γλωσσική οδηγία, χαρτογραφημένη σε ένα τμήμα μελλοντικών στόχων αρθρώσεων. Αυτό που τα χωρίζει είναι το πόσο έχει μάθει πριν φτάσετε.

GR00T N1.7

Το τρέχον μοντέλο της NVIDIA μοντέλο όρασης-γλώσσας-δράσης, περίπου 3 δισεκατομμύρια παράμετροι, περίπου 40 εκατομμύρια εκπαιδευμένες κατά τη διάρκεια λεπτομερούς ρύθμισης. Το αποθετήριο αναφέρει τις διαφορές από το N1.6: ο κορμός από ένα μοντέλο Eagle τρίτου κατασκευαστή σε Cosmos-Reason2-2B σε Qwen3-VL, επίπεδα διάχυσης 32 σε 16, διαστάσεις κατάστασης και δράσης 29 σε 132, ορίζοντας δράσης 16 σε 40.

Αυτό που έχει σημασία σε έναν μικρό βραχίονα είναι ο σχετικός χώρος δράσης του τελικού ενεργοποιητή: το N1.7 προβλέπει διαφορές από την τρέχουσα στάση, κάτι που επιτρέπει τη μεταφορά 20K ωρών ανθρώπινου βίντεο EgoScale σε μια πολιτική ρομπότ. Προδιαγραφές στη σελίδα του N1.7, διαδικασία στον οδηγό N1.7 στο SO-100.

GR00T N1.5

Ίδια κλίμακα 3 B, αρχιτεκτονική Eagle 2, SigLip2 και T5, κεφαλή DiT flow-matching. Υπάρχει για να επεκτείνει ένα που ήδη διαθέτετε. Δύο πράγματα το καθιστούν μια κακή προεπιλογή: τα βάρη φέρουν τη μη εμπορική άδεια μονής κατεύθυνσης της NVIDIA, και οι τρέχουσες εκδόσεις του LeRobot αφαίρεσαν την υποστήριξη του N1.5. Δείτε .

Pi0.5

Το Physical Intelligence's VLA, τύπου πολιτικής pi05. Η δημοσίευση περιγράφει ένα VLM 2 B αρχικοποιημένο από το PaliGemma συν έναν ειδικό δράσης 300 M, που οδηγεί το ρομπότ στα 50 Hz· η διαμόρφωση pi05 του LeRobot προεπιλέγει ένα τμήμα 50 βημάτων, ένα δευτερόλεπτο με αυτόν τον ρυθμό. Το βασικό πλεονέκτημα είναι τα άγνωστα μέρη: περίπου 400 ώρες κινητής χειραγώγησης σε πραγματικά σπίτια, και μια μελέτη κλιμάκωσης σε 3, 12, 22, 53, 82 και 104 τοποθεσίες, όπου το μοντέλο των 104 τοποθεσιών ταίριαξε με ένα σύστημα ελέγχου που εκπαιδεύτηκε στα ίδια τα σπίτια δοκιμής.

Ένα όριο, που αναφέρεται στην lerobot/pi05_base κάρτα: η θύρα μεταφέρει μόνο την κεφαλή δράσης που ταιριάζει με τη ροή. Η πρόβλεψη υποεργασιών, η κωδικοποίηση δράσεων και το RL δεν κυκλοφόρησαν upstream, και το openpi λέει το ίδιο για το δικό του αποθετήριο. Η σελίδα του Pi0.5 και ο οδηγός Pi0.5 στο SO-100 έχουν τα υπόλοιπα.

SmolVLA

450 M παραμέτρους, περίπου 100 M στον ειδικό δράσης, στο SmolVLM-2 με το VLM παγωμένο και μόνο τα πρώτα 16 επίπεδα γλωσσικού μοντέλου χρησιμοποιήθηκαν. Η προεκπαίδευση ήταν δεδομένα κοινότητας: 481 σύνολα δεδομένων, 10.6 M καρέ, από τους ίδιους φθηνούς βραχίονες που χρησιμοποιείτε. Το μόνο VLA εδώ που χωράει σε μία κάρτα 24 GB, και το μόνο με 30 επεισόδιο όριο. Δείτε τη σελίδα του SmolVLA.

ACT

Δεν είναι ένα θεμελιώδες μοντέλο. Το Action Chunking Transformer από την ALOHA έχει περίπου 80 εκατομμύρια παραμέτρους εκπαιδευμένες από το μηδέν ανά εργασία, σε 50 επιδείξεις στα 50 Hz. Η εργασία αναφέρει έξι πραγματικές αμφιδέξιες εργασίες από περίπου δέκα λεπτά επιδείξεων η καθεμία, με 80 έως 90 τοις εκατό στα παραδείγματα που τονίζει. Η ιδέα του, τμηματοποίηση δράσης, βρίσκεται σε κάθε μοντέλο αυτής της σελίδας, και η αφαίρεσή του εξακολουθεί να μετρά το αποτέλεσμα καλύτερα: σε δύο προσομοιωμένες εργασίες με απενεργοποιημένο το χρονικό ensembling, η επιτυχία αυξάνεται από 1 τοις εκατό στο k=1 σε 44 τοις εκατό στο k=100. Η σελίδα του ACT έχει τα υπόλοιπα.

Τι λένε στην πραγματικότητα τα benchmarks

Το LIBERO είναι το ένα benchmark για το οποίο αναφέρουν τρία από αυτά τα πέντε: εργασίες υπό συνθήκες γλώσσας σε ένα προσομοιωμένο Franka Panda, χωρισμένο σε τέσσερις σουίτες παρακάτω με δέκα εργασίες η καθεμία. Η NVIDIA πραγματοποίησε 200 δοκιμές ανά σουίτα.

Το SimplerEnv δείχνει την εξάπλωση, κάτι που το LIBERO δεν κάνει. Η NVIDIA συγκρίνει το N1.7 με το N1.6, το πιο κοντινό δημόσιο στοιχείο σε μια γενεαλογική διαφορά.

Η σειρά Bridge είναι η χρήσιμη: 5.7 πόντοι κερδήθηκαν κατά μέσο όρο ενώ put_eggplant_in_basket έχασε 36 και put_eggplant_in_sink έπεσε από 33 σε 2. Μια νέα γενιά μετακινεί την κατανομή αντί να την ανυψώνει, οπότε αν η εργασία σας βρίσκεται εκεί που το N1.7 υποχώρησε, ο μέσος όρος δεν λέει τίποτα.

Από τα πέντε, μόνο η εργασία SmolVLA αναφέρει έναν βραχίονα κατηγορίας SO-100: 78.3 τοις εκατό για το SmolVLA και 61.7 για το Pi0 σε τρεις εργασίες, και τα δύο πολλαπλών εργασιών, έναντι 48.3 για το ACT εκπαιδευμένο σε μία εργασία, το οποίο δεν είναι όμοιο με όμοιο. Η καθαρή σύζευξη είναι και τα δύο μονής εργασίας στο SO-101 pick-and-place: 90 έναντι 70 στην κατανομή, 50 έναντι 40 εκτός αυτής. Συγκρίνετε σε ACT έναντι SmolVLA και Pi0.5 έναντι SmolVLA, ή περιηγηθείτε στο την αρένα.

Η καθυστέρηση και το κόστος καθορίζουν την ανάπτυξη

Καθυστέρηση συμπερασματολογίας είναι ο περιορισμός που οι άνθρωποι ανακαλύπτουν τελευταίο και μετανοούν πρώτο. Μια πολιτική πέντε μονάδες καλύτερη σε ένα benchmark αλλά μισό δευτερόλεπτο ανά βήμα ενέργειας φαίνεται χειρότερη στο γραφείο σας: η δυναμική επαφής δεν περιμένει.

Μια προειδοποίηση: η τιμή του GR00T διαφωνεί με την κάρτα της NVIDIA, η οποία μετρά 4 βήματα αποθορυβοποίησης και μία κάμερα στα 85.8 ms σε H100 σε eager mode, 48.6 ms με torch.compile, 27.9 ms μέσω πλήρους TensorRT. Τα 152 ms εδώ είναι μια τιμή ολόκληρης της στοίβας με overhead εξυπηρέτησης και περισσότερες από μία κάμερες, όχι μια forward pass.

Ένας τρόπος να κερδίσετε χρόνο χωρίς να αλλάξετε μοντέλο: η εργασία SmolVLA μετρά τη σύγχρονη εκτέλεση, όπου η πολιτική ολοκληρώνει ένα κομμάτι πριν προβλέψει το επόμενο, έναντι της ασύγχρονης, όπου η πρόβλεψη επικαλύπτει την εκτέλεση. Η επιτυχία είναι παρόμοια, 78.3 έναντι 73.3, αλλά η ίδια εργασία pick-and-place διαρκεί 9.7 δευτερόλεπτα αντί για 13.75, και σε ένα σταθερό παράθυρο το ρομπότ διαχειρίζεται 19 κύκλους αντί για 9.

Άδειες, ελεγμένες επειδή κανείς δεν τις ελέγχει

Η σειρά Pi0.5 χρειάζεται προσοχή. Η τεκμηρίωση LeRobot pi05 αναφέρει Apache 2.0 συνεπές με το openpi, ενώ η κάρτα Hub για lerobot/pi05_base φέρει license: gemma. Και τα δύο είναι ενεργά. Το GR00T N1.7 έχει μια ηπιότερη έκδοση: το README του Isaac-GR00T αναφέρει παρεμπιπτόντως ότι το N1.7 είναι πλήρως εμπορικά αδειοδοτήσιμο υπό Apache 2.0, ενώ η δική του ενότητα άδειας και η κάρτα μοντέλου θέτουν μόνο τον κώδικα υπό Apache 2.0 και τα βάρη υπό την NVIDIA Open Model License.

Οι προεπιλογές που θα εκτελέσετε στην πράξη

Κάθε μορφή εκπαιδευτή συνοδεύεται από μια προεπιλογή, και αυτές δεν είναι αυθαίρετες. Οι προεπιλογές του ACT είναι του LeRobot: batch 8, lr 1e-5, 100000 βήματα εκπαίδευσης, chunk size 100, matching ACTConfig upstream and k=100 from the ACT paper. Μία στήλη παρακάτω είναι παγίδα.

Η ρύθμιση που μετράει περισσότερο από την επιλογή μοντέλου

Είναι το κομμάτι δράσης. Μεγαλύτερα κομμάτια δίνουν ομαλότερη κίνηση και λιγότερα σωρευτικά σφάλματα, αλλά η πολιτική δεσμεύεται όσο εκτελείται το μπλοκ, οπότε αντιδρά αργά σε οτιδήποτε κινείται: με αυτοπεποίθηση σε έναν στατικό κύβο, απελπιστική σε έναν κυλιόμενο. Αν υπερβεί το στόχο, η συντόμευση του εκτελούμενου μέρους είναι καλύτερη από την επανεκπαίδευση και είναι δωρεάν. Μια άρθρωση που σταματά νωρίς είναι ένα διαφορετικό πρόβλημα· δείτε .

• ACT: Η ACTConfig προεπιλέγει σε chunk_size 100 και n_action_steps 100. Η χρονική ομαδοποίηση είναι απενεργοποιημένη και απαιτεί n_action_steps 1.
• GR00T N1.7: ο εσωτερικός ορίζοντας πήγε από 16 σε 40, ωστόσο το παράδειγμα SO-101 του LeRobot εξακολουθεί να τρέχει --policy.chunk_size=16 --policy.n_action_steps=16. Η σημαία rollout μετονομάστηκε σε --execution-horizon.
• Pi0.5: ένα κομμάτι 50 βημάτων, εκ των οποίων η συνταγή LIBERO του LeRobot εκτελεί 10 μέσω --policy.n_action_steps=10· με --policy.pretrained_path επανέρχεται στα 50 αν παραλείψετε τη σημαία.
• SmolVLA: κομμάτια 50 δράσεων, και οι δύο ρυθμίσεις εκτεθειμένες.

Πώς να ελέγξετε και τα πέντε σε ένα απόγευμα

Η φθηνότερη απάντηση δεν είναι περισσότερο διάβασμα. Ξοδέψτε περίπου 15 USD και αφήστε το ρομποτικό βραχίονα να σας πει: καταγράψτε μία φορά, εκπαιδεύστε πρώτα το φθηνό μοντέλο, κλιμακώστε μόλις αποδειχθεί ότι τα δεδομένα είναι αξιόπιστα. Η δομή υπερτερεί του όγκου, το νόημα της και της .

1. 1
   Καταγράψτε 50 επεισόδια μία φορά

   Πενήντα επεισόδια ανοίγουν τον δρόμο για τα GR00T, Pi0.5 και ACT, και τα 30 του SmolVLA. Επαναλάβετε κάθε παραλλαγή αντί να διασκορπιστείτε: 50 επεισόδια σε 5 θέσεις κύβων εκπαιδεύτηκαν, όπου 25 δεν εκπαιδεύτηκαν. Δείτε καταγράψτε το πρώτο σας σύνολο δεδομένων.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Εκπαιδεύστε πρώτα το ACT, γιατί δεν μπορεί να σας πει ψέματα

   Χωρίς προεκπαιδευμένα βάρη, οπότε αν εκτελεί καθόλου την εργασία, το σύνολο δεδομένων σας περιέχει την εργασία. Αν το ACT μηδενιστεί, διορθώστε τα δεδομένα. 1 έως 3 USD, 2 έως 5 ώρες σε κάρτα 24 GB.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   Εκτελέστε το SmolVLA στο ίδιο σύνολο δεδομένων, αμετάβλητο

   Ίδια δεδομένα, ίδιος βραχίονας, 450 M παράμετροι αντί για 80 M, συν γλωσσική προσαρμογή. Το LeRobot εκτιμά μια εκτέλεση 20K βημάτων σε περίπου 4 ώρες σε μία A100. Αυτό σας λέει αν η προεκπαίδευση προσφέρει κάτι.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Μετατρέψτε σε v2.1 πριν χρησιμοποιήσετε το GR00T

   Το GR00T διαβάζει μια παραλλαγή της μορφής LeRobot v2 συν ένα επιπλέον meta/modality.json που αντιστοιχίζει πώς οι συνενωμένοι πίνακες κατάστασης και δράσης χωρίζονται σε ονομαστικά πεδία. Ένα σύνολο δεδομένων v3.0 καταρρέει αυτόν τον φορτωτή, επειδή το v3.0 συσκευάζει πολλά επεισόδια σε κοινόχρηστα αρχεία όπου το v2 έγραφε ένα ανά επεισόδιο. Το Isaac-GR00T παρέχει το βοηθητικό εργαλείο υποβάθμισης ως scripts/lerobot_conversion/convert_v3_to_v2.py. Η σελίδα απόρριψης v3 είναι η γρήγορη διαδρομή.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Αναβαθμίστε σε GR00T N1.7 μόνο αν τα δύο πρώτα άφησαν κάτι ανεκμετάλλευτο

   Μέσω του CLI της NVIDIA, όπως φαίνεται εδώ, ή του τύπου πολιτικής groot του LeRobot. Η NVIDIA συνιστά 40 GB ή περισσότερο VRAM για fine-tuning, 16 GB για inference. Σε περίπτωση OOM, δείτε τη σελίδα OOM.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Δύο τρόποι για να εκτελέσετε αυτό το πέρασμα διαλογής

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Βασικό μοντέλο ή από το μηδέν

Το πραγματικό δίλημμα δεν είναι ποιο μοντέλο 3 δισεκατομμυρίων παραμέτρων να επιλέξετε. Είναι το αν θα χρησιμοποιήσετε καθόλου ένα προεκπαιδευμένο VLA, δεδομένου ότι το ACT έμαθε έξι πραγματικές αμφιδέξιες εργασίες από περίπου δέκα λεπτά επιδείξεων η καθεμία, με 80 εκατομμύρια παραμέτρους και τίποτα προεκπαιδευμένο.

Η περίπτωση αναπαραγωγής μιας παλιάς εκτέλεσης

Η επιδίωξη ενός σημείου ελέγχου του 2025 καθορίζει την επιλογή μοντέλου για εσάς και μετατρέπει το πρόβλημα σε κλείδωμα έκδοσης: το τρέχον LeRobot απορρίπτει το N1.5, οπότε κλειδώνετε την έκδοση lerobot==0.5.1. Χωρίς πεδίο seed και με 5 έως 6 τοις εκατό διακύμανση μεταξύ των εκτελέσεων, η αναπαραγωγή είναι κατά προσέγγιση εκ κατασκευής. και έχουν την πλευρά της πλατφόρμας.

Μείνατε σε δύο; ACT έναντι GR00T N1.7 και GR00T N1.7 έναντι SmolVLA. Οι ακατέργαστες σειρές βρίσκονται στις καταχωρήσεις της αρένας: GR00T N1.7, Pi0.5, SmolVLA και ACT.

Πού αυτή η πλατφόρμα δεν σας βοηθά

• Δεν μπορεί να κάνει την απομακρυσμένη εξαγωγή συμπερασμάτων γρήγορη. Ο βρόχος 20 έως 485 ms ανήκει στο μοντέλο· οι διαδρομές μετ' επιστροφής στο διαδίκτυο προστίθενται σε αυτόν.
• Δεν μπορεί να κάνει fine-tuning τα GR00T ή Pi0.5 στο δικό σας υλικό. Και τα δύο είναι μόνο cloud εδώ· μόνο τα SmolVLA και ACT τρέχουν τοπικά.
• Δεν μπορεί να διορθώσει ένα σύνολο δεδομένων. Η απώλεια μειώνεται αλλά η πολιτική δεν κάνει τίποτα είναι πρόβλημα δεδομένων, μια πολιτική που λειτουργεί μόνο σε μία ρύθμιση είναι πρόβλημα κάλυψης.
• Δεν μπορεί να κάνει τις εκτελέσεις του GR00T αναπαραγώγιμες: η upstream διαμόρφωση δεν έχει πεδίο seed.

Επιλέγοντας ένα και προχωρώντας

Μία προεπιλογή: καταγράψτε 50 επεισόδια, εκπαιδεύστε το ACT για 1 έως 3 USD για να αποδείξετε το σύνολο δεδομένων, μετά το SmolVLA στα ίδια δεδομένα. Κάτω από 6 USD συνολικά, και απαντούν στην ερώτηση που έχει σημασία: αν η προεκπαίδευση βοηθάει εδώ, ή αν το πρόβλημα είναι τα δεδομένα. Αναβαθμίστε σε GR00T N1.7 για εργασίες πολλαπλών βημάτων με πλούσια επαφή, σε Pi0.5 όταν η σκηνή αλλάζει.

Περιήγηση στην πλατφόρμα: εκπαιδεύστε την πρώτη σας πολιτική, μετά εκτελέστε την πρώτη σας πολιτική. Τα έγγραφα εκπαίδευσης και έγγραφα συνόλων δεδομένων καλύπτουν τη μορφή και τη μορφοποίηση· η σελίδα SO-100 και ο πλήρης οδηγός SO-100 καλύπτουν την κατασκευή και τη βαθμονόμηση. Ιστορικό: η επισκόπηση VLA και το άρθρο Pi0 flow-matching. Αυτό που θα βελτιώσει το ποσοστό επιτυχίας σας είναι ο οδηγός ποιότητας δεδομένων.