소형 VLA 모델: TinyVLA, SmolVLA 및 10억 미만 사례

거의 모든 시각-언어-행동 모델에 대해 작성된 글은 데이터센터 카드를 가정합니다. OpenVLA는 70억 개의 파라미터를 가집니다. GR00T N1.7 및 Pi0.5는 약 30억 개의 파라미터를 가지며 미세 조정을 위해 A100 80GB를 필요로 합니다. 만약 당신의 책상에 있는 카드가 4090이라면, 해당 모델 클래스는 접근하기 어렵습니다.

두 편의 논문은 그것이 필요 없다고 주장합니다. TinyVLA (arXiv 2409.12514, 2025년 2월 IEEE Robotics and Automation Letters에 채택됨)는 4억 개에서 13억 개의 백본과 확산 행동 헤드를 사용하여 VLA를 구축합니다. SmolVLA (arXiv 2506.01844, 2025년 6월 2일 제출됨)는 4억 5천만 개의 파라미터를 오픈 웨이트, 오픈 데이터 및 하나의 소비자 카드에서 실행되는 스크립트와 함께 제공합니다. 다음은 두 모델이 측정한 결과와 10억 개 미만 주장이 더 이상 유효하지 않은 지점입니다.

실제로 작은 VLA로 간주되는 것

모델 카드에 명시된 파라미터 수는 단일 숫자가 아닙니다. 이는 총 가중치, 추론 시 로드되는 가중치, 또는 중에 그래디언트를 받는 가중치를 의미할 수 있습니다. TinyVLA는 이 둘을 모두 보고하며, 그 차이는 큽니다. TinyVLA-H는 총 1.3 B이지만 143 M만 훈련 가능합니다. 이는 비전 타워와 대부분의 언어 모델이 고정된 상태로 유지되고 LoRA 어댑터와 액션 헤드만 움직이기 때문입니다. 이 논문은 훈련 가능한 부분이 약 5%라고 명시합니다.

두 행은 논의할 가치가 있습니다. 은 약 80 M으로 여기에 있는 다른 모든 것보다 작지만 언어 모델이 없으므로 VLA가 아닙니다. 이는 하나의 작업을 학습하며 다른 작업을 수행하도록 지시할 수 없습니다. 은 27 M으로 LLM 백본이 아닌 T5-Base 텍스트 인코더를 통해 조건화됩니다. 좋은 기준 모델이지만, 둘 다 레이블이 암시하는 지시 따르기 기능을 제공하지는 않습니다.

TinyVLA: 속도는 백본이 아닌 헤드에서 나옵니다

언어 모델을 더 작게 만들어서 더 빨라졌다는 것이 일반적인 해석입니다. 하지만 논문의 어블레이션 연구는 다르게 말합니다. OpenVLA의 7B 백본을 약 1B 백본으로 교체했을 때, 액션당 예측 시간이 292 ms에서 140 ms로 단축되어 2배의 성능 향상을 보였습니다. TinyVLA-H는 비슷한 파라미터 수에서 동일한 카드에서 14 ms로 실행됩니다. 나머지 10배의 성능 향상은 액션 헤드에서 비롯됩니다.

OpenVLA는 언어 모델 헤드를 통해 액션을 이산화된 토큰으로, 액션 차원당 하나씩, 자기회귀적으로 방출합니다. TinyVLA는 전체 청크를 한 번에 생성하는 확산 디코더를 사용합니다. 표 V는 TinyVLA-H의 아키텍처를 보여주며, 동일한 다섯 가지 실제 로봇 작업에서 헤드만 교체합니다. 이는 두 논문 모두에서 다음 주장에 대한 가장 명확한 증거입니다. 플로우 매칭 정책이 만들어내는 것이며, Pi0가 토큰 디코딩에서 벗어난 이유.

TinyVLA 점수

양팔 로봇 행에는 논문 자체에서 제공하는 지루한 설명이 있습니다: OpenVLA는 전적으로 단일 팔 데이터로 구성된 Open X-Embodiment에서 사전 훈련되었으므로, 양팔 액션 공간은 분포 외이며 점수가 0입니다. 확산 정책 기준선은 이 세 가지 작업 중 두 가지에서 TinyVLA-H를 능가합니다. 배경 정보는 Open X-Embodiment 설명서.

2026년 8월 기준 TinyVLA 저장소

논문은 훌륭합니다. 코드는 연구용으로 공개된 것입니다. 저장소는 github.com/liyaxuanliyaxuan/TinyVLA이며, README에 따르면 코드 릴리스 날짜는 2025년 2월 17일이고 마지막 커밋은 2025년 3월 11일입니다. 논문을 재현하는 데는 좋지만, 유지보수되는 라이브러리를 원한다면 문제가 될 수 있습니다.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA는 또한 LeRobot 데이터셋를 읽지 않습니다. 형식은 ACT 스타일 HDF5입니다: action, language_raw, 그리고 다중 뷰 이미지, joint_positions, qpos 및 qvel을 포함하는 observations 그룹. 저장소는 RLDS 입력을 위한 data_utils/rlds_to_h5py.py를 제공하며, 각 작업은 aloha_scripts/constants.py에 dataset_dir, episode_len 및 camera_names와 함께 수동으로 등록됩니다. 만약 귀하의 에피소드가 lerobot 또는 데스크톱 클라이언트에서 온 경우, 변환은 귀하의 몫입니다.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8은 8개의 카드 노드를 가정합니다. 이를 1로 설정하고 배치 크기를 32보다 훨씬 낮게 줄이십시오. 단일 GPU 변형은 업스트림으로 제공되지 않으므로 4090에서 명령을 그대로 실행할 수 없습니다.
• --deepspeed scripts/zero2.json은 최상위 스크립트 디렉토리에 없는 파일을 가리킵니다. DeepSpeed 구성은 llava-pythia/scripts/zero2.json에 있습니다. 첫 실행 전에 경로를 수정하십시오.
• README는 출력 디렉토리 이름에 llava_pythia를 포함해야 하며, LoRA가 활성화된 경우 lora를 포함해야 한다고 명시합니다.
• 백본은 별도로 다운로드해야 합니다: lesjie/Llava-Pythia-400M, -700M 또는 -1.3B. lerobot/smolvla_base를 가리키는 방식처럼 정책을 가리킬 수 있는 단일 기본 체크포인트는 없습니다.

SmolVLA: 오늘 오후에 실행할 수 있는 10억 미만 모델

SmolVLA는 유지 관리되는 라이브러리 내에서 동일한 주장을 합니다. SmolVLM2-500M-Video-Instruct 백본에서 450M 매개변수를 가지며, 효율성은 작다는 주장보다는 configuration_smolvla.py에서 읽을 수 있는 설정에서 비롯됩니다.

사전 학습에는 481개의 커뮤니티 LeRobot 데이터셋, 22.9K 에피소드, 10.6M 프레임이 4개의 GPU에서 글로벌 배치 256으로 200000 스텝 동안 사용되었습니다. 논문에 따르면 전체 프로젝트는 약 30K GPU 시간을 소요했습니다. 주목할 만한 한 가지 수치는 Hugging Face 런치 블로그에서는 487개의 큐레이션된 데이터셋을 언급하는 반면, 논문의 표에서는 481개라고 합니다. 우리는 논문의 수치를 사용하고 이 불일치를 지적합니다.

하나의 우연한 발견이 도움이 됩니다. SmolVLA 논문의 Meta-World 표에는 TinyVLA 자체의 공개된 수치가 기준선으로 포함되어 있어, SmolVLA-0.45B가 57.3, TinyVLA-H가 31.6으로 두 모델이 한 표에 나란히 있습니다. 또한 SmolVLA는 Pi0보다 약 40% 더 빠르게 훈련되며 6배 적은 메모리를 사용한다고 보고합니다. 이 모든 정보는 SmolVLA 저자들로부터 나왔으며, 아레나 항목는 각 값의 출처를 연결합니다.

SmolVLA가 시간을 보내는 곳

AY-Robots는 SmolVLA를 액션 단계당 245 ms, ACT는 20 ms로 정책 카탈로그에 나열합니다. TinyVLA는 액션 예측당 14 ms를 보고합니다. 이 수치들은 비교할 수 없으며, 비교 가능한 것처럼 다루는 것이 이 주제에서 가장 흔한 실수입니다. 일부는 한 번의 순방향 패스 시간을 측정하고, 일부는 액션 청킹이 상각되면 해당 패스를 청크에 걸쳐 나눕니다.

• SmolVLA는 순방향 패스당 50개의 액션을 방출하고 50개 모두를 실행합니다. 논문에서 실제 로봇에 사용하는 30 fps에서 한 번의 추론은 약 1.7초의 움직임을 커버합니다.
• 비동기 추론은 현재 청크가 실행되는 동안 다음 청크를 계산합니다. 이는 동기식 13.75 s 대비 평균 작업 완료 시간 9.7 s로 약 30% 더 빠르며, 고정된 60초 창에서 9회 대비 19회의 픽앤플레이스 사이클을 달성합니다.
• 성공률은 더 좋기보다는 비슷했습니다. 동기식 78.3 대비 비동기식 73.3이었습니다. 비동기는 정확도가 아닌 처리량을 얻습니다.
• 청킹은 네트워크 지연이 아닌 계산 지연을 숨기며, 50개의 액션에 전념하기 때문에 정책의 반응성을 떨어뜨립니다.

단일 소비자용 카드에서 SmolVLA 미세 조정

2026년 8월 23일 현재 PyPI 릴리스인 lerobot 0.6.1의 수동 경로입니다. 아래의 모든 내용은 같은 날 가져온 Hugging Face lerobot SmolVLA 문서에서 발췌했습니다. 가이드 버전은 더 쉽습니다.

1. 1
   smolvla 추가 기능으로 lerobot 설치

   SmolVLA 종속성은 기본 설치의 일부가 아닌 선택적 추가 기능입니다. 이를 설치하지 않고 정책 유형을 알 수 없는 이유를 궁금해하는 것은 흔히 30분을 낭비하는 일입니다.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   충분한 에피소드가 있는 데이터셋 확보

   문서에서는 약 50개의 에피소드를 권장하며, 25개의 에피소드로 동일한 작업을 수행하는 것은 충분하지 않다고 명시합니다. AY-Robots는 최소 30개로 설정합니다. 직접 기록하거나 데이터셋 디렉토리에서 시작하세요.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   미세 조정 시작

   lerobot 가이드의 명령어를 수정 없이 사용합니다. 문서에 따르면 A100 한 대에서 20000 스텝은 대략 4시간이 걸립니다. 24GB 카드에서는 더 오래 걸릴 수 있으니 시간을 측정하세요.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   맞을 때까지 배치 크기 줄이기

   batch_size=64는 문서화된 예시일 뿐, 사용자의 카드에 대한 보장은 아닙니다. 문서에서는 로딩 시간이 짧게 유지되는 동안 작은 값으로 시작하여 점차 늘릴 것을 권장합니다.

   bash

   lerobot-train --help

5. 5
   암에 체크포인트 배포

   동일한 라이브러리, 하나의 명령어. 실시간 청킹 플래그는 문서에 주석 처리되어 있으며, 저전력 하드웨어에서 사용해야 할 플래그입니다.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

작은 VLA를 로봇 팔에 올리는 두 가지 방법

작은 모델이 잘못된 선택일 때

두 논문 모두 요약본보다 더 신중합니다. TinyVLA의 실패 분석은 구체적입니다. 0.4B 변형은 지시를 잘못 읽어 세 번 실패했으며, 저자들은 이를 더 작은 VLM의 제한된 언어 이해력 때문이라고 설명했고, 이 모드는 1.3B에서 사라졌습니다. SmolVLA는 다른 관점에서 동일한 곡선을 보여줍니다. 동일한 아키텍처의 2.25B 버전은 LIBERO에서 88.75점, Meta-World에서 68.24점을 기록했으며, 이는 0.45B 모델의 87.3점 및 57.3점과 비교됩니다.

실행할 가치가 있는 비교는 TinyVLA 대 SmolVLA가 아닙니다. 그것은 SmolVLA 대 ACT 여러분의 작업에서, 그리고 SmolVLA 논문이 그 이유를 설명합니다. 로봇 공학 사전 훈련 없이 단일 작업으로 훈련된 SmolVLA는 단일 작업 ACT가 48.3점을 기록한 세 가지 SO-100 작업에서 평균 40.0점을 기록했습니다. 이를 78.3점으로 끌어올린 것은 아키텍처 단독이 아니라 커뮤니티 사전 훈련과 다중 작업 훈련입니다. SO-101 레고 작업에서는 둘 다 단일 작업으로, SmolVLA가 분포에서 70대 90으로 승리합니다. 그 다음 SmolVLA 대 Pi0.5 예산이 허락한다면.

실행 가능한 의사결정표

마지막 행의 경우, 라이브 암은 계정 없이 브라우저에서 조작할 수 있는 실제 SO-100을 스트리밍하며, 시작하는 세 가지 방법에서 나머지를 다룹니다. SO-100은 여기에서 참조 암이며, 부품 비용은 대략 110에서 150 EUR이고, 전체 설정 가이드가 함께 제공됩니다.

10억 미만 모델 이후의 발전

매개변수 수를 줄이는 것은 VLA를 저렴하게 만드는 한 가지 방법이지만, 반드시 성공적인 방법은 아닙니다. OpenVLA-OFT (arXiv 2502.19645)는 70억 개의 백본을 유지하고 동작 디코딩 방식만 변경하여, 동작 생성 처리량 26배 증가와 LIBERO 점수가 76.5%에서 97.1%로 상승했다고 보고합니다. BitVLA (arXiv 2506.07530)는 1비트 BitNet b1.58 2B4T 백본의 모든 가중치를 3진법으로 만들어, 메모리를 11.0배 적게 사용하고 종단 간 지연 시간을 4.4배 낮추면서도 전체 정밀도 OpenVLA-OFT와 일치한다고 보고합니다. X-VLA-0.9B (arXiv 2510.10274)는 플로우 매칭을 통해 10억 개 라인에 위치합니다.

공통적인 특징은 지연 시간이 언어 모델이 아닌 동작 디코더에 있다는 것입니다. 정책이 얼마나 많은 매개변수를 가지고 있는지 묻기 전에, 정책이 어떻게 동작을 내보내는지 물어보십시오. 아레나에는 85개의 모델과 332개의 결과가 있으며, 각각 출처에 연결되어 있습니다. 더 넓은 개요는 저희 VLA 소개에서 확인할 수 있습니다.