Kleine VLA-Modelle: TinyVLA, SmolVLA und der Fall unter 1 Milliarde Parameter

Fast jedes Vision-Sprach-Aktions-Modell, über das geschrieben wird, setzt eine Rechenzentrumskarte voraus. OpenVLA hat 7 Milliarden Parameter. GR00T N1.7 und Pi0.5 haben etwa 3 Milliarden Parameter und benötigen eine A100 80 GB zum Fine-Tuning. Wenn die Karte auf Ihrem Schreibtisch eine 4090 ist, ist diese Modellklasse unerreichbar.

Zwei Veröffentlichungen argumentieren, dass dies nicht notwendig ist. TinyVLA (arXiv 2409.12514, angenommen von IEEE Robotics and Automation Letters im Februar 2025) erstellt ein VLA aus einem 400 Millionen bis 1,3 Milliarden Parameter starken Backbone plus einem Diffusions-Aktions-Head. SmolVLA (arXiv 2506.01844, eingereicht am 2. Juni 2025) liefert 450 Millionen Parameter mit offenen Gewichten, offenen Daten und einem Skript, das auf einer einzigen Consumer-Karte läuft. Hier ist, was beide gemessen haben und wo das Argument für Modelle unter 1 Milliarde Parametern nicht mehr standhält.

Was tatsächlich als kleines VLA zählt

Die Parameteranzahl auf einer Modellkarte ist keine einzelne Zahl. Sie kann Gesamtgewichte, beim Inferieren geladene Gewichte oder Gewichte bedeuten, die während des Gradienten erhalten. TinyVLA meldet beides, und der Unterschied ist groß: TinyVLA-H hat insgesamt 1,3 B, aber 143 M trainierbare Parameter, da der Vision Tower und der größte Teil des Sprachmodells eingefroren bleiben, während LoRA-Adapter und der Action Head sich bewegen. Das Paper beziffert den trainierbaren Anteil auf etwa 5 Prozent.

Zwei Zeilen sind diskussionswürdig. mit ungefähr 80 M ist kleiner als alles andere hier, hat aber kein Sprachmodell, ist also kein VLA: Es lernt eine Aufgabe und kann nicht angewiesen werden, eine andere zu erledigen. mit 27 M wird über einen T5-Base Text-Encoder konditioniert, nicht über ein LLM-Backbone. Gute Baselines, aber keine bietet die Anweisungsbefolgung, die das Label impliziert.

TinyVLA: Die Geschwindigkeit kommt vom Kopf, nicht vom Backbone

Die offensichtliche Lesart ist, dass sie das Sprachmodell kleiner gemacht haben, wodurch es schneller wurde. Die Ablationsstudie des Papers besagt jedoch etwas anderes. Der Austausch des 7 B Backbones von OpenVLA durch ein etwa 1 B großes reduzierte die Vorhersage pro Aktion von 292 ms auf 140 ms, ein 2-facher Gewinn. TinyVLA-H läuft bei vergleichbarer Parameteranzahl mit 14 ms auf derselben Karte. Der andere 10-fache Faktor ist der Aktionskopf.

OpenVLA gibt Aktionen als diskretisierte Token über den Sprachmodellkopf aus, einen pro Aktionsdimension, autoregressiv. TinyVLA verwendet einen Diffusions-Decoder, der den gesamten Block in einem Durchgang erzeugt. Tabelle V zeigt die Architektur von TinyVLA-H und tauscht nur den Kopf aus, auf denselben fünf realen Roboteraufgaben. Es ist der sauberste Beweis in beiden Papern für das Argument, das Flow-Matching Richtlinien liefern, und der Grund, warum Pi0 von der Token-Dekodierung abwich.

Was TinyVLA erreichte

Die bimanuelle Reihe hat eine langweilige Erklärung, die das Paper selbst liefert: OpenVLA ist auf Open X-Embodiment vortrainiert, das ausschließlich aus Einarmdaten besteht, sodass ein Zweiarm-Aktionsraum außerhalb der Verteilung liegt und null Punkte erzielt. Die Diffusion-Policy-Baseline schlägt TinyVLA-H bei zwei dieser drei Aufgaben. Hintergrund in dem Open X-Embodiment-Bericht.

Das TinyVLA-Repository, Stand August 2026

Das Paper ist gut. Der Code ist ein Forschungs-Drop. Das Repository ist github.com/liyaxuanliyaxuan/TinyVLA; die README datiert die Code-Veröffentlichung auf den 17. Februar 2025 und den letzten Commit auf den 11. März 2025. Gut zur Reproduktion eines Papers, ein Problem, wenn man eine gewartete Bibliothek wollte.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA liest auch keine LeRobot Datensätze. Sein Format ist HDF5 im ACT-Stil: action, language_raw und eine Observations-Gruppe mit Multi-View-Bildern, joint_positions, qpos und qvel. Das Repository liefert data_utils/rlds_to_h5py.py für RLDS-Eingaben, und jede Aufgabe wird manuell in aloha_scripts/constants.py mit ihrem dataset_dir, episode_len und camera_names registriert. Wenn Ihre Episoden von lerobot oder dem Desktop-Client stammen, sind Sie für die Konvertierung verantwortlich.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 geht von einem Acht-Karten-Knoten aus. Setzen Sie ihn auf 1 und reduzieren Sie die Batch-Größe deutlich unter 32. Es wird keine Single-GPU-Variante upstream ausgeliefert, daher kann der Befehl nicht wörtlich auf einer 4090 ausgeführt werden.
• --deepspeed scripts/zero2.json verweist auf eine Datei, die sich nicht im obersten Skriptverzeichnis befindet. Die DeepSpeed-Konfigurationen werden unter llava-pythia/scripts/zero2.json ausgeliefert. Korrigieren Sie den Pfad vor dem ersten Ausführen.
• Die README erfordert, dass der Name des Ausgabeverzeichnisses llava_pythia enthält, plus lora, wenn LoRA aktiviert ist.
• Das Backbone ist ein separater Download: lesjie/Llava-Pythia-400M, -700M oder -1.3B. Es gibt keinen einzelnen Basis-Checkpoint, auf den Sie eine Policy verweisen können, so wie Sie auf lerobot/smolvla_base verweisen.

SmolVLA: das Sub-1-B-Modell, das Sie heute Nachmittag ausführen können

SmolVLA vertritt dasselbe Argument innerhalb einer gewarteten Bibliothek. Es hat 450 M Parameter auf einem SmolVLM2-500M-Video-Instruct-Backbone, und die Effizienz ergibt sich aus Einstellungen, die Sie aus configuration_smolvla.py auslesen können, anstatt aus der Behauptung, klein zu sein.

Das Vortraining nutzte 481 LeRobot-Community-Datensätze, 22,9 K Episoden und 10,6 M Frames auf 4 GPUs, 200000 Schritte bei einer globalen Batch-Größe von 256; das Paper beziffert das gesamte Projekt auf etwa 30 K GPU-Stunden. Eine Zahl, die man beachten sollte: Der Hugging Face Launch-Blog spricht von 487 kuratierten Datensätzen, während die Tabelle des Papers 481 angibt. Wir verwenden die Zahl aus dem Paper und weisen auf die Diskrepanz hin.

Ein Zufall hilft: Die Meta-World-Tabelle des SmolVLA-Papers führt die eigenen veröffentlichten Zahlen von TinyVLA als Baseline auf, sodass ausnahmsweise beide Modelle in einer Tabelle stehen, SmolVLA-0.45B bei 57.3 gegenüber TinyVLA-H bei 31.6. Es wird auch berichtet, dass das Training von SmolVLA etwa 40 Prozent schneller ist als das von Pi0 bei 6x weniger Speicher. All dies stammt von den SmolVLA-Autoren; der Arena-Eintrag verlinkt jeden Wert zu seiner Quelle.

Wofür SmolVLA seine Zeit aufwendet

AY-Robots listet SmolVLA mit 245 ms pro Aktionsschritt und ACT mit 20 ms im Policy-Katalog. TinyVLA meldet 14 ms pro Aktionsvorhersage. Diese Zahlen sind nicht vergleichbar, und sie so zu behandeln, als wären sie es, ist der häufigste Fehler in diesem Bereich: einige messen einen Forward-Pass, andere teilen diesen Pass über einen Chunk auf, sobald Aktions-Chunking es amortisiert.

• SmolVLA gibt 50 Aktionen pro Forward-Pass aus und führt alle 50 aus. Bei den 30 fps, die das Paper auf realen Robotern verwendet, deckt eine Inferenz etwa 1,7 Sekunden Bewegung ab.
• Asynchrone Inferenz berechnet den nächsten Chunk, während der aktuelle noch ausgeführt wird: 9,7 s durchschnittliche Aufgabenbearbeitung gegenüber 13,75 s synchron, etwa 30 Prozent schneller, und 19 Pick-and-Place-Zyklen in einem festen 60-Sekunden-Fenster gegenüber 9.
• Die Erfolgsraten waren vergleichbar und nicht besser, 78.3 synchron gegenüber 73.3 asynchron. Asynchronität erhöht den Durchsatz, nicht die Genauigkeit.
• Chunking verbirgt Rechenlatenz, nicht Netzwerklatenz, und es macht die Policy weniger reaktiv, da sie auf 50 Aktionen festgelegt ist.

Fine-Tuning von SmolVLA auf einer Consumer-Karte

Der manuelle Pfad, auf lerobot 0.6.1, der aktuellen PyPI-Veröffentlichung vom 23. August 2026. Alles Folgende stammt aus der Hugging Face lerobot SmolVLA Dokumentation, am selben Tag abgerufen; die geführte Version ist einfacher.

1. 1
   Lerobot mit dem SmolVLA-Extra installieren

   Die SmolVLA-Abhängigkeiten sind ein optionales Extra und nicht Teil der Basisinstallation. Eine Installation ohne sie und das anschließende Rätseln, warum der Richtlinientyp unbekannt ist, führt häufig zu einer halben Stunde Zeitverlust.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Einen Datensatz mit genügend Episoden beschaffen

   Die Dokumentation empfiehlt etwa 50 Episoden und besagt, dass dieselbe Aufgabe mit 25 Episoden nicht ausreichte. AY-Robots setzt das Minimum bei 30 an. Nehmen Sie Ihre eigenen auf oder beginnen Sie im Datensatzverzeichnis.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Das Fine-Tuning starten

   Der Befehl aus dem Lerobot-Leitfaden, unverändert. Die Dokumentation gibt 20000 Schritte mit etwa 4 Stunden auf einer A100 an. Auf einer 24-GB-Karte ist mit längerer Dauer zu rechnen und diese zu messen.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Batch-Größe reduzieren, bis sie passt

   batch_size=64 ist ein dokumentiertes Beispiel, keine Garantie für Ihre Karte. Die Dokumentation rät, klein anzufangen und die Größe zu erhöhen, solange die Ladezeiten kurz bleiben.

   bash

   lerobot-train --help

5. 5
   Den Checkpoint auf dem Arm ausrollen

   Dieselbe Bibliothek, ein Befehl. Die Echtzeit-Chunking-Flags sind in der Dokumentation auskommentiert und sind die, die man bei Hardware mit geringer Leistung verwenden sollte.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Zwei Wege, ein kleines VLA auf einen Arm zu bringen

Wenn ein kleines Modell die falsche Wahl ist

Beide Artikel sind hier vorsichtiger als die Zusammenfassungen. Die Fehleranalyse von TinyVLA ist spezifisch: Die 0,4-B-Variante scheiterte dreimal durch falsches Lesen der Anweisung, was die Autoren auf ein begrenztes Sprachverständnis im kleineren VLM zurückführen, und dieser Modus verschwand bei 1,3 B. SmolVLA zeigt dieselbe Kurve vom anderen Ende: Die 2,25-B-Version der identischen Architektur erzielt 88,75 auf LIBERO und 68,24 auf Meta-World gegenüber 87,3 und 57,3 für das 0,45-B-Modell.

Der Vergleich, der sich lohnt, ist nicht TinyVLA gegen SmolVLA. Es ist SmolVLA gegen ACT für Ihre eigene Aufgabe, und der SmolVLA-Artikel ist das Argument dafür. Als Ein-Aufgaben-Modell ohne Robotik-Vortraining erreichte SmolVLA durchschnittlich 40,0 über drei SO-100-Aufgaben, während ein Ein-Aufgaben-ACT 48,3 erreichte. Was es auf 78,3 hebt, ist Community-Vortraining plus Multi-Task-Training, nicht die Architektur allein. Bei der SO-101 Lego-Aufgabe, beide Ein-Aufgaben-Modelle, gewinnt SmolVLA: 90 gegen 70 in der Verteilung. Dann SmolVLA gegen Pi0.5 wenn das Budget es zulässt.

Eine Entscheidungstabelle, nach der Sie handeln können

Für die letzte Zeile, der Live-Arm streamt einen physischen SO-100, den Sie ohne Konto vom Browser aus steuern können, und die drei Startmöglichkeiten decken den Rest ab. Der SO-100 ist hier der Referenzarm, grob 110 bis 150 EUR an Teilen, mit einer vollständigen Einrichtungsanleitung.

Was nach den Sub-1-B-Modellen kommt

Die Reduzierung der Parameteranzahl ist eine Möglichkeit, einen VLA günstig zu machen, und nicht offensichtlich die gewinnende. OpenVLA-OFT (arXiv 2502.19645) behält das 7-B-Backbone bei und ändert nur, wie Aktionen dekodiert werden, was eine 26-fache Steigerung des Aktionsgenerierungsdurchsatzes und einen Anstieg von LIBERO von 76,5 auf 97,1 Prozent meldet. BitVLA (arXiv 2506.07530) macht jedes Gewicht eines 1-Bit BitNet b1.58 2B4T Backbones ternär, was 11,0x weniger Speicher und 4,4x geringere End-to-End-Latenz bei gleichzeitiger Übereinstimmung mit dem vollpräzisen OpenVLA-OFT meldet. X-VLA-0.9B (arXiv 2510.10274) liegt mit Flow Matching auf der 1-B-Linie.

Der rote Faden: Der Aktionsdecoder, nicht das Sprachmodell, ist der Ort, an dem die Latenz liegt. Fragen Sie, wie eine Policy Aktionen ausgibt, bevor Sie fragen, wie viele Parameter sie hat. Die Arena hat 85 Modelle und 332 Ergebnisse, jedes mit seiner Quelle verknüpft; einen breiteren Überblick gibt es in unserer VLA-Einführung.