Μικρά Μοντέλα VLA: TinyVLA, SmolVLA και η Περίπτωση κάτω του 1 δισεκατομμυρίου παραμέτρων

Σχεδόν κάθε μοντέλο όρασης-γλώσσας-δράσης για το οποίο γράφεται, προϋποθέτει μια κάρτα κέντρου δεδομένων. Το OpenVLA έχει 7 δισεκατομμύρια παραμέτρους. GR00T N1.7 και Pi0.5 είναι περίπου 3 δισεκατομμύρια και απαιτούν μια A100 80 GB για λεπτομερή ρύθμιση (fine-tune). Αν η κάρτα στο γραφείο σας είναι μια 4090, αυτή η κατηγορία μοντέλων είναι ανέφικτη.

Δύο εργασίες υποστηρίζουν ότι δεν το χρειάζεστε. Το TinyVLA (arXiv 2409.12514, αποδεκτό από το IEEE Robotics and Automation Letters τον Φεβρουάριο του 2025) κατασκευάζει ένα VLA από ένα backbone 400 εκατομμυρίων έως 1,3 δισεκατομμυρίων συν μια κεφαλή δράσης διάχυσης. SmolVLA (arXiv 2506.01844, υποβλήθηκε στις 2 Ιουνίου 2025) διαθέτει 450 εκατομμύρια παραμέτρους με ανοιχτά βάρη, ανοιχτά δεδομένα και ένα script που τρέχει σε μία κάρτα καταναλωτή. Εδώ είναι τι μέτρησαν και τα δύο, και πού σταματά να ισχύει το επιχείρημα των κάτω του 1 δισεκατομμυρίου.

Τι θεωρείται στην πραγματικότητα ένα μικρό VLA

Ο αριθμός παραμέτρων σε μια κάρτα μοντέλου δεν είναι ένας ενιαίος αριθμός. Μπορεί να σημαίνει συνολικά βάρη, βάρη που φορτώνονται κατά την εξαγωγή συμπερασμάτων, ή βάρη που λαμβάνουν κλίσεις κατά τη διάρκεια της . Το TinyVLA αναφέρει και τα δύο, και το χάσμα είναι μεγάλο: Το TinyVLA-H είναι 1.3 B συνολικά αλλά 143 M εκπαιδεύσιμο, επειδή ο πύργος όρασης και το μεγαλύτερο μέρος του γλωσσικού μοντέλου παραμένουν παγωμένα ενώ οι προσαρμογείς LoRA και η κεφαλή δράσης κινούνται. Η εργασία αναφέρει το εκπαιδεύσιμο μερίδιο σε περίπου 5 τοις εκατό.

Δύο σειρές αξίζουν συζήτησης. Το στα περίπου 80 M είναι μικρότερο από οτιδήποτε άλλο εδώ, αλλά δεν διαθέτει γλωσσικό μοντέλο, οπότε δεν είναι VLA: μαθαίνει μία εργασία και δεν μπορεί να του ζητηθεί να κάνει άλλη. Το στα 27 M είναι ρυθμισμένο μέσω ενός κωδικοποιητή κειμένου T5-Base, όχι ενός βασικού μοντέλου LLM. Καλές βάσεις αναφοράς, κανένα από τα δύο δεν προσφέρει την τήρηση οδηγιών που υποδηλώνει η ετικέτα.

TinyVLA: η ταχύτητα προέρχεται από την κεφαλή, όχι από το backbone

Η προφανής ερμηνεία είναι ότι έκαναν το γλωσσικό μοντέλο μικρότερο, οπότε έγινε ταχύτερο. Η ανάλυση αποκοπής της εργασίας λέει το αντίθετο. Η αντικατάσταση του backbone 7 B του OpenVLA με ένα περίπου 1 B μείωσε την πρόβλεψη ανά ενέργεια από 292 ms σε 140 ms, μια αύξηση 2x. Το TinyVLA-H, με συγκρίσιμο αριθμό παραμέτρων, τρέχει στα 14 ms στην ίδια κάρτα. Το άλλο 10x είναι η κεφαλή δράσης.

Το OpenVLA εκπέμπει ενέργειες ως διακριτοποιημένα tokens μέσω της κεφαλής του γλωσσικού μοντέλου, ένα ανά διάσταση ενέργειας, αυτοπαλινδρομικά. Το TinyVLA προσαρτά έναν αποκωδικοποιητή διάχυσης που παράγει ολόκληρο το κομμάτι με μία κίνηση. Ο Πίνακας V περιέχει την αρχιτεκτονική στο TinyVLA-H και αλλάζει μόνο την κεφαλή, στις ίδιες πέντε εργασίες πραγματικού ρομπότ. Είναι η πιο καθαρή απόδειξη σε οποιαδήποτε εργασία για το επιχείρημα αντιστοίχιση ροής που κάνουν οι πολιτικές, και ο λόγος το Pi0 απομακρύνθηκε από την αποκωδικοποίηση token.

Τι πέτυχε το TinyVLA

Η αμφίχειρη σειρά έχει μια βαρετή εξήγηση που δίνει η ίδια η εργασία: Το OpenVLA είναι προεκπαιδευμένο στο Open X-Embodiment, το οποίο αποτελείται εξ ολοκλήρου από δεδομένα μονόχειρου, οπότε ένας χώρος δράσης δύο χεριών είναι εκτός κατανομής και σημειώνει μηδέν. Η βάση αναφοράς της πολιτικής διάχυσης νικά το TinyVLA-H σε δύο από αυτές τις τρεις εργασίες. Ιστορικό στο το άρθρο για το Open X-Embodiment.

Το αποθετήριο TinyVLA, από τον Αύγουστο του 2026

Η εργασία είναι καλή. Ο κώδικας είναι μια ερευνητική έκδοση. Το αποθετήριο είναι github.com/liyaxuanliyaxuan/TinyVLA. Το README του χρονολογεί την κυκλοφορία του κώδικα στις 17 Φεβρουαρίου 2025 και την τελευταία δέσμευση στις 11 Μαρτίου 2025. Εντάξει για την αναπαραγωγή μιας εργασίας, πρόβλημα αν θέλατε μια συντηρημένη βιβλιοθήκη.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

Το TinyVLA επίσης δεν διαβάζει σύνολα δεδομένων LeRobot. Η μορφή του είναι HDF5 τύπου ACT: action, language_raw, και μια ομάδα παρατηρήσεων με εικόνες πολλαπλών όψεων, joint_positions, qpos και qvel. Το αποθετήριο περιλαμβάνει το data_utils/rlds_to_h5py.py για είσοδο RLDS, και κάθε εργασία καταχωρείται χειροκίνητα στο aloha_scripts/constants.py με το dataset_dir, episode_len και camera_names. Εάν τα επεισόδιά προήλθαν από το lerobot ή τον πελάτη επιφάνειας εργασίας, εσείς έχετε την ευθύνη της μετατροπής.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 υποθέτει έναν κόμβο οκτώ καρτών. Ορίστε το σε 1 και μειώστε το μέγεθος της δέσμης πολύ κάτω από 32. Καμία παραλλαγή μίας GPU δεν αποστέλλεται upstream, οπότε η εντολή δεν μπορεί να εκτελεστεί αυτούσια σε μια 4090.
• --deepspeed scripts/zero2.json δείχνει σε ένα αρχείο που δεν βρίσκεται στον κατάλογο scripts ανώτατου επιπέδου. Οι ρυθμίσεις DeepSpeed βρίσκονται στο llava-pythia/scripts/zero2.json. Διορθώστε τη διαδρομή πριν την πρώτη σας εκτέλεση.
• Το README απαιτεί το όνομα του καταλόγου εξόδου να περιέχει llava_pythia, συν lora εάν το LoRA είναι ενεργοποιημένο.
• Το backbone είναι μια ξεχωριστή λήψη: lesjie/Llava-Pythia-400M, -700M ή -1.3B. Δεν υπάρχει ένα ενιαίο βασικό checkpoint στο οποίο να δείχνετε μια πολιτική με τον τρόπο που δείχνετε στο lerobot/smolvla_base.

SmolVLA: το μοντέλο κάτω του 1 B που μπορείτε να εκτελέσετε σήμερα το απόγευμα

Το SmolVLA προβάλλει το ίδιο επιχείρημα μέσα σε μια συντηρούμενη βιβλιοθήκη. Έχει 450 M παραμέτρους σε ένα backbone SmolVLM2-500M-Video-Instruct, και η αποδοτικότητα προέρχεται από ρυθμίσεις που μπορείτε να διαβάσετε από το configuration_smolvla.py και όχι από έναν ισχυρισμό ότι είναι μικρό.

Η προεκπαίδευση χρησιμοποίησε 481 σύνολα δεδομένων κοινότητας LeRobot, 22.9 K επεισόδια και 10.6 M καρέ σε 4 GPUs, 200000 βήματα με ένα συνολικό batch 256· η δημοσίευση τοποθετεί ολόκληρο το έργο σε περίπου 30 K ώρες GPU. Ένας αριθμός που πρέπει να προσέξουμε: το blog εκκίνησης της Hugging Face αναφέρει 487 επιμελημένα σύνολα δεδομένων, ενώ ο πίνακας της δημοσίευσης αναφέρει 481. Χρησιμοποιούμε τον αριθμό της δημοσίευσης και επισημαίνουμε τη διαφωνία.

Ένα ατύχημα βοηθά: ο πίνακας Meta-World της δημοσίευσης SmolVLA περιέχει τους δημοσιευμένους αριθμούς του TinyVLA ως βάση, οπότε για μία φορά και τα δύο μοντέλα βρίσκονται σε έναν πίνακα, το SmolVLA-0.45B στο 57.3 έναντι του TinyVLA-H στο 31.6. Αναφέρει επίσης ότι η εκπαίδευση του SmolVLA είναι περίπου 40 τοις εκατό ταχύτερη από το Pi0 με 6 φορές λιγότερη μνήμη. Όλα αυτά προέρχονται από τους συγγραφείς του SmolVLA· η καταχώριση στην αρένα συνδέει κάθε τιμή με την πηγή της.

Πού ξοδεύει τον χρόνο του το SmolVLA

Η AY-Robots αναφέρει το SmolVLA στα 245 ms ανά βήμα ενέργειας και ACT στα 20 ms στον κατάλογο πολιτικών. Το TinyVLA αναφέρει 14 ms ανά πρόβλεψη ενέργειας. Αυτοί οι αριθμοί δεν είναι συγκρίσιμοι, και το να τους αντιμετωπίζουμε σαν να ήταν είναι το πιο κοινό λάθος σε αυτό το θέμα: κάποιοι χρονομετρούν μία forward pass, κάποιοι διαιρούν αυτή την pass σε ένα κομμάτι μόλις τεμαχισμός ενεργειών την αποσβένει.

• Το SmolVLA εκπέμπει 50 ενέργειες ανά forward pass και εκτελεί και τις 50. Στα 30 fps που χρησιμοποιεί η δημοσίευση σε πραγματικά ρομπότ, μία συμπερασματολογία καλύπτει περίπου 1.7 δευτερόλεπτα κίνησης.
• Η ασύγχρονη συμπερασματολογία υπολογίζει το επόμενο κομμάτι ενώ το τρέχον εξακολουθεί να εκτελείται: 9.7 s μέσος χρόνος ολοκλήρωσης εργασίας έναντι 13.75 s σύγχρονης, περίπου 30 τοις εκατό ταχύτερα, και 19 κύκλοι pick-and-place σε ένα σταθερό παράθυρο 60 δευτερολέπτων έναντι 9.
• Τα ποσοστά επιτυχίας ήταν συγκρίσιμα παρά καλύτερα, 78.3 σύγχρονα έναντι 73.3 ασύγχρονα. Η ασύγχρονη λειτουργία αγοράζει απόδοση, όχι ακρίβεια.
• Ο τεμαχισμός κρύβει την καθυστέρηση υπολογισμού, όχι την καθυστέρηση δικτύου, και καθιστά την πολιτική λιγότερο αντιδραστική επειδή δεσμεύεται σε 50 ενέργειες.

Βελτιστοποίηση (Fine-tuning) του SmolVLA σε μία κάρτα καταναλωτή

Η χειροκίνητη διαδρομή, στο lerobot 0.6.1, την τρέχουσα έκδοση PyPI από τις 23 Αυγούστου 2026. Όλα τα παρακάτω προέρχονται από την τεκμηρίωση Hugging Face lerobot SmolVLA, που ανακτήθηκε την ίδια ημέρα· η καθοδηγούμενη έκδοση είναι πιο ήπια.

1. 1
   Εγκαταστήστε το lerobot με την προσθήκη smolvla

   Οι εξαρτήσεις του SmolVLA είναι μια προαιρετική προσθήκη, όχι μέρος της βασικής εγκατάστασης. Η εγκατάσταση χωρίς αυτές και μετά η απορία γιατί ο τύπος πολιτικής είναι άγνωστος είναι μια συνηθισμένη απώλεια μισής ώρας.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Αποκτήστε ένα σύνολο δεδομένων με αρκετά επεισόδια

   Η τεκμηρίωση συνιστά περίπου 50 επεισόδια και αναφέρει ότι η ίδια εργασία με 25 δεν ήταν αρκετή. Η AY-Robots ορίζει το ελάχιστο στα 30. Καταγράψτε τα δικά σας, ή ξεκινήστε από τον κατάλογο δεδομένων.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Ξεκινήστε το fine-tune

   Η εντολή από τον οδηγό του lerobot, χωρίς τροποποιήσεις. Η τεκμηρίωση αναφέρει 20000 βήματα σε περίπου 4 ώρες σε μία A100. Σε κάρτα 24 GB, αναμένετε μεγαλύτερο χρόνο και μετρήστε τον.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Μειώστε το μέγεθος δέσμης μέχρι να χωρέσει

   Το batch_size=64 είναι ένα τεκμηριωμένο παράδειγμα, όχι μια υπόσχεση για την κάρτα σας. Η τεκμηρίωση συμβουλεύει να ξεκινήσετε με μικρό μέγεθος και να το αυξάνετε όσο οι χρόνοι φόρτωσης παραμένουν μικροί.

   bash

   lerobot-train --help

5. 5
   Εφαρμόστε το checkpoint στον βραχίονα

   Ίδια βιβλιοθήκη, μία εντολή. Οι σημαίες τεμαχισμού σε πραγματικό χρόνο είναι σχολιασμένες στην τεκμηρίωση και είναι αυτές που πρέπει να χρησιμοποιήσετε σε υλικό χαμηλής ισχύος.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Δύο τρόποι για να βάλετε ένα μικρό VLA σε έναν βραχίονα

Όταν ένα μικρό μοντέλο είναι η λάθος επιλογή

Και οι δύο εργασίες είναι πιο προσεκτικές εδώ από ό,τι οι περιλήψεις. Η ανάλυση αποτυχίας του TinyVLA είναι συγκεκριμένη: η παραλλαγή 0,4 B απέτυχε τρεις φορές διαβάζοντας λανθασμένα την οδηγία, κάτι που οι συγγραφείς αποδίδουν σε περιορισμένη κατανόηση γλώσσας στο μικρότερο VLM, και αυτή η λειτουργία εξαφανίστηκε στα 1,3 B. Το SmolVLA δείχνει την ίδια καμπύλη από την άλλη πλευρά: η έκδοση 2,25 B της ίδιας αρχιτεκτονικής σημειώνει 88,75 στο LIBERO και 68,24 στο Meta-World έναντι 87,3 και 57,3 για το μοντέλο 0,45 B.

Η σύγκριση που αξίζει να γίνει δεν είναι το TinyVLA έναντι του SmolVLA. Είναι το SmolVLA έναντι ACT στην δική σας εργασία, και η εργασία του SmolVLA είναι το επιχείρημα για το γιατί. Εκπαιδευμένο σε μία μόνο εργασία χωρίς προεκπαίδευση ρομποτικής, το SmolVLA είχε μέσο όρο 40,0 σε τρεις εργασίες SO-100 όπου το ACT σε μία μόνο εργασία πέτυχε 48,3. Αυτό που το ανεβάζει στο 78,3 είναι η προεκπαίδευση της κοινότητας συν η εκπαίδευση πολλαπλών εργασιών, όχι μόνο η αρχιτεκτονική. Στην εργασία lego SO-101, και οι δύο σε μία μόνο εργασία, το SmolVLA κερδίζει: 90 έναντι 70 στην κατανομή. Στη συνέχεια, το SmolVLA έναντι Pi0.5 αν το επιτρέπει ο προϋπολογισμός.

Ένας πίνακας αποφάσεων στον οποίο μπορείτε να ενεργήσετε

Για την τελευταία σειρά, ο ζωντανός βραχίονας μεταδίδει έναν φυσικό SO-100 που μπορείτε να οδηγήσετε από το πρόγραμμα περιήγησης χωρίς λογαριασμό, και τους τρεις τρόπους εκκίνησης καλύπτει τα υπόλοιπα. Ο SO-100 είναι ο βραχίονας αναφοράς εδώ, περίπου 110 έως 150 EUR σε εξαρτήματα, με έναν πλήρη οδηγό εγκατάστασης.

Τι ακολουθεί μετά τα μοντέλα κάτω του 1 δισεκατομμυρίου παραμέτρων

Η μείωση του αριθμού των παραμέτρων είναι ένας τρόπος να καταστεί ένα VLA φθηνό και όχι προφανώς ο νικηφόρος. OpenVLA-OFT (arXiv 2502.19645) διατηρεί τον κορμό 7 δισεκατομμυρίων παραμέτρων και αλλάζει μόνο τον τρόπο αποκωδικοποίησης των ενεργειών, αναφέροντας αύξηση 26x στην απόδοση παραγωγής ενεργειών και άνοδο του LIBERO από 76.5 σε 97.1 τοις εκατό. BitVLA (arXiv 2506.07530) καθιστά κάθε βάρος ενός κορμού 1-bit BitNet b1.58 2B4T τριαδικό, αναφέροντας 11.0x λιγότερη μνήμη και 4.4x χαμηλότερη καθυστέρηση από άκρο σε άκρο, ενώ ταιριάζει με την πλήρη ακρίβεια του OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) βρίσκεται στην γραμμή του 1 δισεκατομμυρίου παραμέτρων με flow matching.

Το κοινό νήμα: ο αποκωδικοποιητής ενεργειών, όχι το γλωσσικό μοντέλο, είναι εκεί όπου βρίσκεται η καθυστέρηση. Ρωτήστε πώς μια πολιτική εκπέμπει ενέργειες πριν ρωτήσετε πόσες παραμέτρους έχει. Η αρένα διαθέτει 85 μοντέλα και 332 αποτελέσματα, το καθένα συνδεδεμένο με την πηγή του· υπάρχει μια ευρύτερη επισκόπηση στο την εισαγωγή μας στα VLA.