24GB GPU에서 SmolVLA 훈련하는 방법 (lerobot 0.6.1)

실제 로봇 팔에 시각 언어 액션 모델을 원하는 대부분의 사람들은 하드웨어 단계에서 멈춥니다. GR00T N1.7과 Pi0.5은 각각 약 30억 개의 매개변수를 가지며 A100 80GB 또는 H100을 필요로 합니다. RTX 4090이 장착된 게이밍 PC를 소유하고 있다면 거기서 끝입니다. SmolVLA은 예외입니다. LeRobot 내부에 4억 5천만 개의 매개변수를 가지며, 단일 소비자 카드에서 미세 조정하고 CPU에서 서비스하도록 구축되었습니다.

수동 경로 먼저: lerobot을 설치하고, lerobot/smolvla_base 체크포인트를 가져와 실제 명령을 실행하고, 실행되는 동안 내용을 읽습니다. 다음은 플랫폼 경로이며, 이 경로가 도움이 되지 않는 부분입니다.

확인 가능한 숫자로 보는 SmolVLA

SmolVLA는 플로우 매칭 정책을 소형 비전 언어 모델에 결합한 것입니다. 백본은 SmolVLM2-500M-Video-Instruct입니다. 이 논문은 언어 모델의 첫 16개 레이어만 사용하고, 각 카메라 프레임을 이미지 타일링 대신 픽셀 셔플을 사용하여 64개의 시각 토큰으로 제한하며, 매 두 번째 블록마다 교차 어텐션과 자체 어텐션 레이어를 교차 배치합니다. 추론 비용은 나중에 고려된 것이 아니라 설계 제약 사항이었습니다.

벤치마크는 사람들이 450M 모델에 관심을 갖는 이유입니다. LIBERO에서 7B OpenVLA의 76.5%와 3.3B 로봇 사전 학습 Pi0의 86.0%에 비해 평균 87.3%를 기록했습니다. Meta-World에서는 47.9%에 비해 57.3%를 기록했습니다. 실제 SO-100 하드웨어에서 다중 작업 학습은 픽 앤 플레이스에서 75%, 스태킹에서 90%, 정렬에서 70%를 달성하여 평균 78.3%를 기록했으며, ACT는 작업별로 학습된 모델이 평균 48.3%를 기록했습니다. 동일한 행들이 SmolVLA 아레나 항목 및 ACT 대 SmolVLA 비교의 모든 공개된 VLA 옆에 있습니다.

24GB 카드가 첫 실행에 적합한 이유

LeRobot은 컴퓨팅 크기 조정 가이드를 제공하며, 이는 이 저장소에서 가장 유용한 페이지입니다. 이 가이드는 백본 크기별로 정책을 그룹화하고, lerobot 기본값인 AdamW를 사용하여 배치 크기 8에서 측정된 그룹당 하나의 VRAM 엔벨로프를 제공합니다. 옵티마이저 상태만으로도 순방향 및 역방향 패스에 비해 30~100%가 추가되므로, 이는 가중치만의 수치가 아닙니다.

배치 8에서 10~16GB가 필요하다는 것이 핵심입니다. 24GB 카드는 이 요구사항과 데이터 로더를 모두 충족합니다. AY-Robots는 SmolVLA를 RTX 4090 또는 모든 24GB 카드에 최소 30 에피소드, LeRobot v3.0 데이터, 액션 스텝당 245ms. 임대 시 시간당 0.30~0.60 USD로 2~5시간, 즉 미세 조정 실행당 약 1~3 USD가 소요되며, GR00T 및 Pi0.5에 필요한 80GB 티어에서는 4~12 USD가 소요됩니다 (가격). SmolVLA 실행 실패는 커피 한 잔 값이고, GR00T 실행 실패는 점심 한 끼 값입니다.

단계 0: 데이터셋이 실행을 결정하며, 플래그가 아닙니다

녹화가 좋지 않으면 아래 내용은 아무것도 중요하지 않습니다. LeRobot SmolVLA 페이지는 단호하게 말합니다: 참조 데이터셋은 5가지 큐브 위치에 걸쳐 50개의 에피소드였고, 각 위치당 10개였으며, 25개의 에피소드로 수행된 동일한 작업은 제대로 작동하지 않았습니다. 변형당 반복은 일반화되지만, 원시 에피소드 수는 그렇지 않습니다. 한 번도 녹화해 본 적이 없으신가요? 첫 데이터셋 녹화하기를 사용하여 시작하거나, 데스크톱 클라이언트를 사용하여 원격 조작 세션에서 LeRobot 형식을 작성하거나, 데이터셋 디렉토리에서 빌려오세요.

• AY-Robots에서 최소 30개 에피소드, LeRobot 참조 레시피의 경우 약 50개.
• 롤아웃 시 예상되는 모든 변형을 여러 번 반복합니다.
• 기록 및 롤아웃 시 동일하게 철자된 하나의 작업 문자열. 모델은 해당 텍스트에 따라 조건화됩니다.
• 고정된 카메라. 기록과 롤아웃 사이에 카메라가 움직인 것이 깨끗한 손실 곡선이 움직이지 않는 팔을 제공하는 가장 흔한 이유입니다.
• 훈련하지 않은 보류된 변형이므로, 정직하게 테스트할 수 있는 것이 있습니다.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

자세한 내용은 고품질 VLA 훈련 데이터 수집 방법. 요약하자면: 의도적인 변형을 포함한 하나의 작업에 대한 30~50개의 깨끗한 에피소드가, 어떤 하이퍼파라미터로도 좁힐 수 없는 차이로 세 가지 작업에 대한 200개의 부실한 에피소드를 능가합니다.

lerobot 0.6.1 설치

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

기본 lerobot 설치는 가볍고 무거운 의존성들은 추가 기능 뒤에 숨겨져 있습니다: smolvla는 transformers, num2words 및 accelerate를 추가하고, training는 데이터셋 스택과 wandb를, core_scripts는 하드웨어 및 시각화 의존성을 추가합니다. Linux에서는 설치 경로가 CUDA 휠도 결정합니다: PyPI 기본값은 드라이버 최소 버전이 580.65인 cu130 휠이므로, 이전 드라이버에서는 cu128 인덱스에서 torch를 먼저 설치한 다음 lerobot을 설치하세요.

학습 실행, 명령어별로

1. 1
   Hub에 인증

   기본 체크포인트는 Hub에서 가져오며, 데이터셋도 마찬가지일 것입니다.

   bash

   hf auth login

2. 2
   옵션을 한 번 읽어보기

   파이프라인 및 정책 구성의 모든 필드는 플래그입니다. 소스 코드를 자세히 살펴보기 전에 한 번 훑어보세요.

   bash

   lerobot-train --help

3. 3
   미세 조정 시작

   문서 예제는 단일 A100에서 배치 64를 실행합니다. 컴퓨팅 가이드의 A100 40GB 기준은 배치 16이며, 8은 24GB에 해당합니다. 의도적으로 스케줄러 플래그가 없으며, 아래를 참조하세요.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   손실뿐만 아니라 로그 라인 읽기

   매 --log_freq 단계마다 lerobot은 loss, grdn, lr, updt_s, data_s, smp/s를 출력하며, CUDA에서는 mem_gb도 출력합니다. mem_gb는 배치가 맞는지, lr은 스케줄이 감소하는지, 그리고 data_s가 updt_s에 가까워진다는 것은 데이터 로더가 병목 현상이며 GPU가 아님을 의미합니다.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   비교할 수 있는 체크포인트 수집

   save_freq는 기본값이 20000이므로, 20000단계 실행은 하나의 체크포인트만 남기고 비교할 것이 없습니다. 2000으로 설정하세요. Hub에 푸시하려면 --policy.repo_id가 필요합니다.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   머신이 중단되면 재개

   체크포인트 옆의 train_config.json을 --config_path로 지정하세요. lerobot은 재개하는 경우가 아니면 기존 output_dir로 시작하는 것을 거부하므로, 실수로 실행을 덮어쓸 수 없습니다.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

실제로 결과에 영향을 미치는 플래그

아무것도 건드리지 않으면 상속받는 기본값

A 정책 config in lerobot carries its own optimizer and scheduler preset, and unless you set use_policy_training_preset=false those presets win. Half the questions people ask about SmolVLA training are answered by a default they did not know existed.

사람들을 놀라게 하는 두 가지 설정은 freeze_vision_encoder 및 train_expert_only, 둘 다 true입니다. 기본 설정으로는 450 M가 아닌 약 100 M 파라미터를 훈련하므로 24 GB에 적합합니다. LeRobot의 자체 H100 4-GPU 클러스터 참조 실행에서는 둘 다 false로 전환합니다. 24 GB 카드 하나에서는 작동하던 실행이 로 바뀝니다.

실행 시간 및 충분한 스텝 수

LeRobot은 약 50개 에피소드 데이터셋에 대해 5 에포크 동안의 실제 시간 기준점(wall-clock anchors)을 게시하며, 이는 30 fps에서 약 45000 프레임에 해당합니다. 문서에서는 대략적인 수치라고 하지만, 이는 한 시간을 예상하는 것과 하루를 예상하는 것의 차이입니다.

미세 조정된 정책을 로봇 팔에서 다시 실행하기

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

액션 단계당 245ms는 오해하기 쉽습니다: 정책은 chunk_size = 50 포워드 패스당 액션을 방출하고 그 중 n_action_steps = 50개를 실행합니다. 따라서 이 비용을 얼마나 자주 지불하는지는 서보가 명령을 받는 빈도가 아니라 이 설정에 의해 결정됩니다. 이것이 바로 액션 청킹이 제공하는 이점이며, 245ms 모델이 30Hz 암을 구동할 수 있는 이유입니다. 남은 것은 청크 끝의 추론 지연 시간입니다.

세 번째 행은 대부분의 보고서에서 생략하는 부분입니다. 비동기 추론은 약 30% 더 빠르며 고정된 시간 창에서 처리량을 거의 두 배로 늘립니다. 논문에서는 성공률이 비슷하다고 언급하며, 평균적으로 그렇습니다. 그 이면에는 정렬 작업이 70%에서 50%로 떨어졌고, 픽 앤 플레이스는 5% 증가했습니다. lerobot 0.6.1은 동일한 바이너리에 다른 레버를 포함합니다: --inference.type=rtc는 롤아웃을 실시간 청킹으로 전환하며, 이는 스크립트의 사용 블록에서 느린 VLA, Pi0, Pi0.5 및 SmolVLA에 권장하는 방식입니다.

동일한 체크포인트에 도달하는 두 가지 경로

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

SmolVLA가 잘못된 선택일 때

SmolVLA가 올바른 첫 실행이었는지에 대한 테스트는 작동 여부가 아니라 실패가 무언가를 알려주었는지 여부입니다. 60% 또는 70%에 도달하면 더 큰 모델에 투자하는 것이 합리적입니다. 데이터에 신호가 있기 때문입니다. 10%에 도달하면 3B 모델도 10%에 도달할 가능성이 높으며, 이는 12달러 대신 3달러로 방금 알게 된 사실입니다.

더 많은 비용을 지출하기 전에 읽어볼 가치가 있는 내용: Pi0.5 대 SmolVLA는 동일한 아이디어에 대한 더 많은 용량을 위해, 그리고 GR00T N1.7 대 SmolVLA는 NVIDIA 경로를 위한 것으로, 둘 다 80 GB 티어에서 실행당 4~12 USD입니다. 다른 방법으로는, ACT는 더 저렴한 기준선입니다: 80 M 매개변수, 액션 단계당 20 ms, 언어 조건화 없음. 이 다섯 가지 모두 정책 페이지에 있으며, 아레나는 85개의 모델과 332개의 벤치마크 결과를 가지고 있습니다.

무엇이든 확장하기 전 체크리스트

1. `lr`이 2.5e-6 최저점에 도달했습니까? 30000 스텝 미만에서는 lerobot이 감쇠를 재조정하고 시작 시 이를 알립니다. 그 이상에서는 `--policy.scheduler_decay_steps`를 직접 설정하십시오.
2. 하나 이상의 체크포인트와 `--dataset.eval_split`으로 제외된 에피소드가 있어 평가 손실이 의미를 가집니다.
3. 정책이 전혀 움직입니까? 움직이지 않는 팔과 함께 손실이 감소하는 데는 특정 원인이 있습니다: 손실은 감소하지만 정책은 아무것도 하지 않음.
4. 장면 변경에도 작동합니까? 그렇지 않다면: 정책이 한 가지 설정에서만 작동함.
5. 시드를 기록했습니까? lerobot은 기본적으로 1000을 사용하므로, 변경되지 않은 두 실행은 비교 가능합니다.
6. 그 다음에야: 더 많은 에피소드, 더 많은 변형, 또는 더 큰 모델. 이 순서대로.

이 모델들이 존재하는 이유와 언어 입력을 통해 무엇을 하는지에 대해서는, 이 배경 지식입니다; 는 조립 과정을 을 거쳐 첫 번째 실행까지 안내합니다. 완성된 체크포인트의 경우, ; 로봇 팔이 나타나지 않으면, .