24 GB GPUでSmolVLAをトレーニングする方法 (lerobot 0.6.1)

ほとんどの人がビジョン言語アクションモデルを実機アームで使いたい場合、ハードウェアの壁にぶつかります。GR00T N1.7とPi0.5はそれぞれ約30億パラメータを持ち、A100 80GBまたはH100を必要とします。もしお持ちのものがRTX 4090を搭載したゲーミングPCであれば、そこで行き止まりです。SmolVLAは例外です。LeRobot内で4億5000万パラメータを持ち、1枚のコンシューマーカードでファインチューニングし、CPUからサービス提供できるように構築されています。

まず手動での手順です。lerobotをインストールし、lerobot/smolvla_baseチェックポイントをプルし、実際のコマンドを実行し、実行中にその内容を読みます。次にプラットフォーム経由の手順と、それが役に立たない点について説明します。

SmolVLAとは、確認可能な数値で

SmolVLAはフローマッチングポリシーを小型のビジョン言語モデルに組み込んだものです。バックボーンはSmolVLM2-500M-Video-Instructです。論文では、その言語モデルの最初の16層のみを使用し、各カメラフレームを画像タイリングではなくピクセルシャッフルで64個の視覚トークンに制限し、2ブロックごとにクロスアテンションと自己アテンション層を交互に配置しています。推論コストは設計上の制約であり、後付けではありませんでした。

ベンチマークこそが、人々が450 Mモデルに手間をかける理由です。LIBEROでは、7 BのOpenVLAの76.5%と3.3 Bのロボティクス事前学習済みPi0の86.0%に対し、平均87.3%を達成しています。Meta-Worldでは、47.9%に対し57.3%です。実際のSO-100ハードウェアでは、マルチタスク学習により、ピックアンドプレースで75%、スタッキングで90%、ソーティングで70%の成功率を達成し、平均78.3%です。一方、ACTをタスクごとに学習したものは平均48.3%でした。同じ行は、SmolVLAアリーナエントリおよびACTとSmolVLAの比較に掲載されているすべての公開VLAの隣にあります。

なぜ24 GBカードが最初の実行に適しているのか

LeRobotは、このリポジトリで最も役立つページである計算サイジングガイドを提供しています。これは、ポリシーをバックボーンサイズでグループ化し、lerobotのデフォルトであるAdamWを使用し、バッチサイズ8で測定されたグループごとに1つのVRAMエンベロープを提供します。オプティマイザの状態だけで、純粋な順方向および逆方向パスに30〜100パーセントが追加されるため、これらは重みのみの数値ではありません。

バッチ8で10〜16ギガバイトというのがその根拠です。24 GBカードであれば、それに加えてデータローダーも収まります。AY-Robotsは、SmolVLAをRTX 4090または任意の24 GBカードに搭載し、最低30 エピソード、LeRobot v3.0データ、アクションステップあたり245 ms。レンタルでは、1時間あたり0.30〜0.60 USDで2〜5時間、つまり1回あたり約1〜3 USDのファインチューニング実行となり、80 GBティアのGR00TとPi0.5が必要とする4〜12 USDと比較すると安価です（価格）。SmolVLAの実行失敗はコーヒー代程度ですが、GR00Tの実行失敗はランチ代です。

ステップ0：実行を決定するのはデータセットであり、フラグではありません

記録が悪い場合、以下の内容はすべて無意味です。LeRobot SmolVLAのページは率直に述べています。参照データセットは5つのキューブ位置にわたる50エピソードで、各位置につき10エピソードでした。同じタスクを25エピソードで実行した場合、パフォーマンスは悪化しました。バリエーションごとの繰り返しは汎用化しますが、生のエピソード数はそうではありません。まだ記録したことがありませんか？最初のデータセットを記録するで、デスクトップクライアントを使用してください。これはテレオペレーションセッションからLeRobot形式で書き出すか、データセットディレクトリから借りてください。

• AY-Robotsでのエピソードは最低30、LeRobotのリファレンスレシピでは約50。
• ロールアウト時に予想されるあらゆるバリエーションを数回繰り返す。
• 記録時とロールアウト時で全く同じスペルのタスク文字列を1つ。モデルはそのテキストに基づいて条件付けされる。
• 固定カメラ。記録時とロールアウト時の間にカメラが移動すると、クリーンな損失曲線が得られてもアームが動かない最も一般的な原因となる。
• 訓練に使用しなかったホールドアウトされたバリエーション。これにより、正直なテスト対象が得られる。

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

詳細については高品質なVLAトレーニングデータを収集する方法を参照してください。簡潔に言えば、意図的なバリエーションを加えた1つのタスクの30〜50のクリーンなエピソードは、3つのタスクの200のずさんなエピソードを、いかなるハイパーパラメータでも埋められない差で上回ります。

lerobot 0.6.1 をインストール

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

ベースのlerobotインストールは軽量であり、重い依存関係は追加機能の背後に隠されています。smolvlaはtransformers、num2words、accelerateを追加し、trainingはデータセットスタックとwandbを追加し、core_scriptsはハードウェアと視覚化の依存関係を追加します。Linuxでは、インストールパスによってCUDAホイールも決まります。PyPIのデフォルトはドライバーフロアが580.65のcu130ホイールなので、古いドライバーを使用している場合は、まずcu128インデックスからtorchをインストールし、次にlerobotをインストールしてください。

トレーニングの実行、コマンドごとに

1. 1
   Hubへの認証

   ベースチェックポイントはHubから、データセットもおそらくHubから取得します。

   bash

   hf auth login

2. 2
   オプションを一度確認する

   パイプラインとポリシー設定のすべてのフィールドはフラグです。ソースを深く掘り下げる前に、ざっと目を通してください。

   bash

   lerobot-train --help

3. 3
   ファインチューンの開始

   ドキュメントの例では単一のA100でバッチ64を実行しますが、計算ガイドのA100 40 GBの基準はバッチ16であり、8は24 GB相当です。意図的にスケジューラフラグはありません。以下を参照してください。

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   損失だけでなく、ログ行全体を読む

   --log_freqステップごとに、lerobotはloss、grdn、lr、updt_s、data_s、smp/s、そしてCUDAではmem_gbを出力します。mem_gbはバッチが収まるかどうか、lrはスケジュールが減衰しているかどうかを示し、data_sがupdt_sに近づいている場合は、GPUではなくデータローダーがボトルネックであることを意味します。

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   比較可能なチェックポイントを収集する

   save_freqのデフォルトは20000なので、20000ステップの実行では1つのチェックポイントしか残らず、比較対象がありません。2000に設定してください。Hubにプッシュするには--policy.repo_idが必要です。

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   マシンが停止した場合の再開

   --config_pathをチェックポイントの隣にあるtrain_config.jsonに向けます。lerobotは、再開する場合を除き、既存のoutput_dirへの開始を拒否するため、誤って実行を上書きすることはありません。

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

結果を実際に変更するフラグ

何も変更しない場合に継承されるデフォルト

A の設定は、独自のオプティマイザとスケジューラプリセットを保持しており、use_policy_training_preset=false を設定しない限り、これらのプリセットが優先されます。SmolVLAのトレーニングについて人々が尋ねる質問の半分は、彼らが知らなかったデフォルトによって答えられます。

人々を驚かせる2つの行は、freeze_vision_encoderとtrain_expert_onlyの両方がtrueであることです。そのままだと、450 Mではなく約100 Mのパラメータを学習するため、24 GBに収まります。LeRobot自身の4-GPU H100クラスターでのリファレンス実行では、これら両方をfalseに設定しています。24 GBのカード1枚では、動作する実行がに変わります。

実行にかかる時間と、十分なステップ数

LeRobotは、約50エピソードのデータセットに対して5エポック、約45000フレームを30 fpsで実行した場合の実時間基準を公開しています。ドキュメントには桁違いの数値とありますが、これらは1時間と1日という期待値の差になります。

ファインチューニングされたポリシーをアームで実行する

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

「アクションステップあたり245ミリ秒」という記述は誤解されやすい点です。ポリシーは1回のフォワードパスでchunk_size = 50個のアクションを出力し、そのうちn_action_steps = 50個を実行します。したがって、このコストを支払う頻度は、サーボがコマンドを受け取る頻度ではなく、これらの設定によって決まります。これががもたらすものであり、245 msのモデルが30 Hzのアームを駆動できる理由です。残るのは、チャンクの終わりにおけるです。

ほとんどの報告書が省略しているのが、この3行目です。非同期推論は約30パーセント高速で、固定時間枠内でのスループットをほぼ2倍にします。論文では成功率を同等と呼んでいますが、平均的にはその通りです。その内訳を見ると、ソートは70パーセントから50パーセントに低下しましたが、ピックアンドプレースは5パーセント増加しました。lerobot 0.6.1は、同じバイナリ内に別のレバーを搭載しています。--inference.type=rtcは、ロールアウトをリアルタイムチャンキングに切り替えます。これは、スクリプトの自身の使用法ブロックが、低速VLAであるPi0、Pi0.5、SmolVLAに推奨しているものです。

同じチェックポイントへの2つのルート

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

SmolVLAが間違った選択である場合

SmolVLAが最初の実行として適切だったかどうかのテストは、それが機能したかどうかではなく、失敗が何かを教えてくれたかどうかです。60%または70%に達すれば、より大きなモデルは次の投資として妥当です。データには信号が含まれています。10%に達した場合、3 Bモデルもおそらく10%に達するでしょう。これは12ドルではなく3ドルで学んだことになります。

さらに費用をかける前に読む価値があるもの：Pi0.5とSmolVLAの比較で、同じアイデアでより高い能力を実現し、GR00T N1.7とSmolVLAの比較で、NVIDIAのルートを辿るものです。どちらも80 GBティアで、1実行あたり4～12 USDです。もう一つの方法として、ACTはより安価なベースラインです。80 Mパラメータ、アクションステップあたり20 ms、言語条件付けなし。これら5つすべてはポリシーページにあります。アリーナには85のモデルと332のベンチマーク結果があります。

スケールする前のチェックリスト

1. lrは2.5e-6のフロアに達しましたか？30000ステップ未満では、lerobotは減衰を再スケーリングし、起動時にその旨を伝えます。それ以上の場合、--policy.scheduler_decay_stepsを自分で設定してください。
2. 複数のチェックポイントがあり、--dataset.eval_splitでエピソードが保留されているため、評価損失が意味のあるものになっていますか。
3. ポリシーは全く動いていますか？腕が動かない状態で損失が減少している場合、特定の原因があります：損失は減少するが、ポリシーは何も動作しない。
4. シーンの変更に耐えられますか？そうでない場合：ポリシーが1つのセットアップでのみ機能する。
5. シードを記録しましたか？lerobotはデフォルトで1000なので、2つの未変更の実行は比較可能です。
6. その後初めて：より多くのエピソード、より多くのバリエーション、またはより大きなモデル。この順序で。

これらのモデルが存在する理由と、言語入力で何をするかについては、が背景にあります。は、組み立てをから最初の実行までをカバーしています。完成したチェックポイントについては、を参照してください。アームが表示されない場合は、。