Mô hình VLA nhỏ: TinyVLA, SmolVLA và trường hợp dưới 1 tỷ tham số

Hầu hết mọi mô hình hành động ngôn ngữ thị giác được viết về đều giả định một card trung tâm dữ liệu. OpenVLA có 7 tỷ tham số. GR00T N1.7 và Pi0.5 có khoảng 3 tỷ tham số và cần một A100 80 GB để tinh chỉnh. Nếu card trên bàn của bạn là 4090, loại mô hình đó nằm ngoài tầm với.

Hai bài báo lập luận rằng bạn không cần nó. TinyVLA (arXiv 2409.12514, được IEEE Robotics and Automation Letters chấp nhận vào tháng 2 năm 2025) xây dựng một VLA từ một xương sống 400 triệu đến 1.3 tỷ tham số cộng với một đầu hành động khuếch tán. SmolVLA (arXiv 2506.01844, nộp ngày 2 tháng 6 năm 2025) cung cấp 450 triệu tham số với trọng số mở, dữ liệu mở và một script chạy trên một card tiêu dùng. Đây là những gì cả hai đã đo được, và là nơi lập luận dưới 1 tỷ tham số không còn đúng nữa.

Điều gì thực sự được coi là một VLA nhỏ

Số lượng tham số trên thẻ mô hình không phải là một con số duy nhất. Nó có thể là tổng trọng số, trọng số được tải khi suy luận, hoặc trọng số nhận gradient trong quá trình . TinyVLA báo cáo cả hai, và khoảng cách là lớn: TinyVLA-H có tổng cộng 1.3 B nhưng chỉ 143 M có thể huấn luyện, vì tháp thị giác và hầu hết mô hình ngôn ngữ vẫn đóng băng trong khi các bộ điều hợp LoRA và đầu hành động di chuyển. Bài báo cho biết tỷ lệ có thể huấn luyện là khoảng 5 phần trăm.

Có hai hàng đáng để tranh luận. với khoảng 80 M nhỏ hơn tất cả các mô hình khác ở đây nhưng không có mô hình ngôn ngữ, vì vậy nó không phải là VLA: nó học một nhiệm vụ và không thể được yêu cầu làm nhiệm vụ khác. với 27 M được điều kiện thông qua bộ mã hóa văn bản T5-Base, không phải là kiến trúc nền LLM. Đây là các đường cơ sở tốt, nhưng cả hai đều không cung cấp khả năng tuân thủ hướng dẫn như tên gọi ngụ ý.

TinyVLA: tốc độ đến từ phần đầu (head), không phải từ phần xương sống (backbone)

Cách hiểu rõ ràng là họ đã làm cho mô hình ngôn ngữ nhỏ hơn, do đó nó nhanh hơn. Phân tích loại bỏ (ablation) của bài báo lại cho thấy điều ngược lại. Việc thay thế phần xương sống 7 B của OpenVLA bằng một phần xương sống khoảng 1 B đã giảm thời gian dự đoán mỗi hành động từ 292 ms xuống 140 ms, tăng tốc độ gấp 2 lần. TinyVLA-H, với số lượng tham số tương đương, chạy ở 14 ms trên cùng một card. 10 lần tăng tốc còn lại đến từ phần đầu hành động (action head).

OpenVLA phát ra các hành động dưới dạng token rời rạc thông qua phần đầu mô hình ngôn ngữ, mỗi token cho một chiều hành động, một cách tự hồi quy. TinyVLA gắn một bộ giải mã khuếch tán (diffusion decoder) tạo ra toàn bộ khối dữ liệu trong một lần. Bảng V trình bày kiến trúc tại TinyVLA-H và chỉ thay đổi phần đầu, trên cùng năm tác vụ robot thực tế. Đây là bằng chứng rõ ràng nhất trong cả hai bài báo cho lập luận mà các chính sách flow matching tạo ra, và lý do Pi0 đã chuyển khỏi việc giải mã token.

Những gì TinyVLA đạt được

Hàng bimanual có một lời giải thích nhàm chán mà bài báo tự đưa ra: OpenVLA được huấn luyện trước trên Open X-Embodiment, vốn chỉ bao gồm dữ liệu một tay, vì vậy không gian hành động hai tay nằm ngoài phân phối và nó đạt điểm 0. Đường cơ sở chính sách khuếch tán đánh bại TinyVLA-H trên hai trong ba nhiệm vụ đó. Thông tin cơ bản có trong bài viết về Open X-Embodiment.

Kho lưu trữ TinyVLA, tính đến tháng 8 năm 2026

Bài báo này tốt. Mã nguồn là một bản phát hành nghiên cứu. Kho lưu trữ là github.com/liyaxuanliyaxuan/TinyVLA; tệp README của nó ghi ngày phát hành mã nguồn là 17 tháng 2 năm 2025 và lần commit cuối cùng là 11 tháng 3 năm 2025. Tốt cho việc tái tạo một bài báo, nhưng sẽ là vấn đề nếu bạn muốn một thư viện được duy trì.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA cũng không đọc được tập dữ liệu LeRobot. Định dạng của nó là HDF5 kiểu ACT: action, language_raw, và một nhóm quan sát với hình ảnh đa góc nhìn, joint_positions, qpos và qvel. Kho lưu trữ cung cấp data_utils/rlds_to_h5py.py cho đầu vào RLDS, và mỗi tác vụ được đăng ký thủ công trong aloha_scripts/constants.py với dataset_dir, episode_len và camera_names của nó. Nếu các tập của bạn đến từ lerobot hoặc ứng dụng máy tính để bàn, bạn phải tự chuyển đổi.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 giả định một node tám card. Đặt nó thành 1 và giảm kích thước batch xuống dưới 32. Không có biến thể GPU đơn nào được cung cấp upstream, vì vậy lệnh không thể chạy nguyên văn trên 4090.
• --deepspeed scripts/zero2.json trỏ đến một tệp không nằm trong thư mục scripts cấp cao nhất. Các cấu hình DeepSpeed được cung cấp tại llava-pythia/scripts/zero2.json. Sửa đường dẫn trước lần chạy đầu tiên của bạn.
• README yêu cầu tên thư mục đầu ra phải chứa llava_pythia, cộng với lora nếu LoRA được bật.
• Backbone là một bản tải xuống riêng biệt: lesjie/Llava-Pythia-400M, -700M hoặc -1.3B. Không có một checkpoint cơ sở duy nhất mà bạn trỏ một chính sách vào theo cách bạn trỏ vào lerobot/smolvla_base.

SmolVLA: mô hình dưới 1 tỷ tham số bạn có thể chạy ngay chiều nay

SmolVLA đưa ra lập luận tương tự trong một thư viện được duy trì. Nó có 450 triệu tham số trên backbone SmolVLM2-500M-Video-Instruct, và hiệu quả đến từ các cài đặt bạn có thể đọc từ configuration_smolvla.py chứ không phải từ tuyên bố về việc nó nhỏ.

Quá trình tiền huấn luyện đã sử dụng 481 bộ dữ liệu LeRobot cộng đồng, 22.9 K tập và 10.6 M khung hình trên 4 GPU, 200000 bước với kích thước lô toàn cầu là 256; bài báo ước tính toàn bộ dự án khoảng 30 K giờ GPU. Một con số cần lưu ý: blog ra mắt của Hugging Face nói 487 bộ dữ liệu được tuyển chọn trong khi bảng của bài báo nói 481. Chúng tôi sử dụng số liệu của bài báo và ghi nhận sự khác biệt này.

Một sự trùng hợp hữu ích: bảng Meta-World của bài báo SmolVLA mang các số liệu đã công bố của TinyVLA làm cơ sở, vì vậy lần này cả hai mô hình đều nằm trong một bảng, SmolVLA-0.45B ở mức 57.3 so với TinyVLA-H ở mức 31.6. Nó cũng báo cáo rằng SmolVLA huấn luyện nhanh hơn khoảng 40 phần trăm so với Pi0 trên bộ nhớ ít hơn 6 lần. Tất cả đều đến từ các tác giả SmolVLA; mục nhập đấu trường liên kết mỗi giá trị với nguồn của nó.

SmolVLA dành thời gian vào đâu

AY-Robots liệt kê SmolVLA ở mức 245 ms cho mỗi bước hành động và ACT ở mức 20 ms trong danh mục chính sách. TinyVLA báo cáo 14 ms cho mỗi dự đoán hành động. Những con số này không thể so sánh được, và việc coi chúng như thể chúng có thể so sánh được là lỗi phổ biến nhất trong chủ đề này: một số đo thời gian một lần chuyển tiếp, một số chia lần chuyển tiếp đó cho một khối một khi phân đoạn hành động khấu hao nó.

• SmolVLA phát ra 50 hành động cho mỗi lần chuyển tiếp và thực hiện tất cả 50 hành động đó. Với tốc độ 30 khung hình/giây mà bài báo sử dụng trên robot thực, một lần suy luận bao gồm khoảng 1.7 giây chuyển động.
• Suy luận không đồng bộ tính toán khối tiếp theo trong khi khối hiện tại vẫn đang thực thi: 9.7 giây hoàn thành tác vụ trung bình so với 13.75 giây đồng bộ, nhanh hơn khoảng 30 phần trăm, và 19 chu kỳ nhặt và đặt trong một cửa sổ 60 giây cố định so với 9.
• Tỷ lệ thành công có thể so sánh được chứ không tốt hơn, 78.3 đồng bộ so với 73.3 không đồng bộ. Không đồng bộ mua thông lượng, không phải độ chính xác.
• Phân đoạn che giấu độ trễ tính toán, không phải độ trễ mạng, và nó làm cho chính sách ít phản ứng hơn vì nó cam kết 50 hành động.

Tinh chỉnh SmolVLA trên một card đồ họa tiêu dùng

Đường dẫn thủ công, trên lerobot 0.6.1, bản phát hành PyPI hiện tại tính đến ngày 23 tháng 8 năm 2026. Mọi thứ bên dưới đều đến từ tài liệu Hugging Face lerobot SmolVLA, được lấy cùng ngày; phiên bản hướng dẫn thì dễ hơn.

1. 1
   Cài đặt lerobot với phần bổ sung smolvla

   Các phụ thuộc của SmolVLA là một phần bổ sung tùy chọn, không phải là một phần của cài đặt cơ bản. Cài đặt mà không có nó và sau đó tự hỏi tại sao loại chính sách không xác định là một lỗi phổ biến làm mất nửa giờ.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Lấy một tập dữ liệu với đủ số tập

   Tài liệu khuyến nghị khoảng 50 tập và nêu rõ rằng cùng một tác vụ với 25 tập là không đủ. AY-Robots đặt mức tối thiểu là 30. Tự ghi lại của bạn, hoặc bắt đầu từ thư mục tập dữ liệu.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Bắt đầu tinh chỉnh

   Lệnh từ hướng dẫn lerobot, không sửa đổi. Tài liệu ước tính 20000 bước mất khoảng 4 giờ trên một A100. Trên một card 24 GB, hãy dự kiến thời gian lâu hơn và đo lường nó.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Giảm kích thước batch cho đến khi phù hợp

   batch_size=64 là một ví dụ được ghi lại, không phải là một lời hứa về card của bạn. Tài liệu khuyên nên bắt đầu với giá trị nhỏ và tăng dần trong khi thời gian tải vẫn ngắn.

   bash

   lerobot-train --help

5. 5
   Triển khai checkpoint trên cánh tay robot

   Cùng thư viện, một lệnh. Các cờ phân đoạn thời gian thực được ghi chú trong tài liệu và là những cờ cần sử dụng trên phần cứng công suất thấp.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Hai cách để đưa một VLA nhỏ lên cánh tay robot

Khi một mô hình nhỏ là lựa chọn sai lầm

Cả hai bài báo đều cẩn thận hơn ở đây so với các bản tóm tắt. Phân tích lỗi của TinyVLA rất cụ thể: biến thể 0.4 B đã thất bại ba lần do đọc sai hướng dẫn, mà các tác giả cho rằng là do khả năng hiểu ngôn ngữ hạn chế trong VLM nhỏ hơn, và chế độ đó đã biến mất ở 1.3 B. SmolVLA cho thấy cùng một đường cong từ phía bên kia: phiên bản 2.25 B của kiến trúc giống hệt nhau đạt 88.75 điểm trên LIBERO và 68.24 điểm trên Meta-World so với 87.3 và 57.3 cho mô hình 0.45 B.

Sự so sánh đáng thực hiện không phải là TinyVLA với SmolVLA. Đó là SmolVLA với ACT trên nhiệm vụ của riêng bạn, và bài báo SmolVLA là lập luận cho lý do tại sao. Được huấn luyện đơn nhiệm mà không có huấn luyện trước về robot, SmolVLA đạt trung bình 40.0 trên ba nhiệm vụ SO-100 trong khi ACT đơn nhiệm đạt 48.3. Điều nâng nó lên 78.3 là huấn luyện trước cộng đồng cộng với huấn luyện đa nhiệm, chứ không phải chỉ riêng kiến trúc. Trên nhiệm vụ lego SO-101, cả hai đều đơn nhiệm, SmolVLA thực sự thắng: 90 so với 70 trong phân phối. Sau đó là SmolVLA với Pi0.5 nếu ngân sách cho phép.

Một bảng quyết định bạn có thể hành động

Đối với hàng cuối cùng, cánh tay robot trực tiếp truyền phát một SO-100 vật lý mà bạn có thể điều khiển từ trình duyệt mà không cần tài khoản, và ba cách để bắt đầu bao gồm phần còn lại. SO-100 là cánh tay robot tham chiếu ở đây, với chi phí linh kiện khoảng 110 đến 150 EUR, cùng với hướng dẫn cài đặt đầy đủ.

Điều gì đến sau các mô hình dưới 1 tỷ tham số

Giảm số lượng tham số là một cách để làm cho VLA trở nên rẻ hơn và không phải lúc nào cũng là cách tối ưu nhất. OpenVLA-OFT (arXiv 2502.19645) giữ nguyên kiến trúc xương sống 7 B và chỉ thay đổi cách các hành động được giải mã, báo cáo mức tăng 26x về thông lượng tạo hành động và LIBERO tăng từ 76.5 lên 97.1 phần trăm. BitVLA (arXiv 2506.07530) biến mọi trọng số của kiến trúc xương sống 1-bit BitNet b1.58 2B4T thành tam phân, báo cáo giảm 11.0x bộ nhớ và giảm 4.4x độ trễ đầu cuối trong khi vẫn đạt hiệu suất tương đương với OpenVLA-OFT độ chính xác đầy đủ. X-VLA-0.9B (arXiv 2510.10274) nằm trên ngưỡng 1 B với phương pháp khớp dòng chảy.

Điểm chung: bộ giải mã hành động, chứ không phải mô hình ngôn ngữ, là nơi phát sinh độ trễ. Hãy hỏi cách một chính sách phát ra hành động trước khi hỏi nó có bao nhiêu tham số. đấu trường có 85 mô hình và 332 kết quả, mỗi kết quả đều được liên kết với nguồn của nó; có một cái nhìn tổng quan rộng hơn trong phần giới thiệu VLA của chúng tôi.