SO-100で最初のLeRobotデータセットを記録する

SO-100フォロワー、同じ設計のリーダーアーム、および2台のUSBカメラを使用すると、午後にはポリシーを微調整できます。同じベンチで、ファイルブラウザで健全に見える60エピソードを簡単に生成し、6時間のGPU実行を無駄にすることもできます。違いはモデルにあることはめったになく、サーボとParquetファイルの間に何が起こったかです。

まず手動ルート、次に短いルートです。すべてのコマンドは、2026年8月3日にリリースされ、PyPIで最新のlerobot 0.6.1からのものです。コンソールエントリポイントに移行したため、python lerobot/scripts/control_robot.pyを実行するチュートリアルは、もはや存在しないファイルを記述しています。

記録セッションがキャプチャするもの

A LeRobotデータセットは、動画のフォルダではなく、動画が添付された時間インデックス付きのテーブルです。制御ループの各ティックは、指令されたアクション、フォロワーが到達した状態、カメラごとの1フレーム、タイムスタンプ、およびインデックスを含む1行を書き込みます。ポリシーはこれらの列のみを参照します。のスキーマは、lerobot/svla_so100_pickplaceのmeta/info.jsonから読み取られます。

関節はmain_shoulder_pan、main_shoulder_lift、main_elbow_flex、main_wrist_flex、main_wrist_roll、main_gripperです。これらはSO-100の6つの自由度です。アクションと状態が同じ形状を持つのは、リーダー・フォロワー型テレイグジスタンスがターゲットと、1ステップ後に到達した位置を記録するためです。このギャップは情報であり、アームが重力や固着した物体と戦った場所を示します。これらの文字列はそのデータセットのものです。本日0.6.1で記録されたセッションでは、shoulder_pan.posからgripper.posまで、バス上のID 1から6が書き込まれます。同じ6つの関節ですが、キーが異なります。これは、設定が名前で特徴を指定する際に重要になります。

ベンチで必要なもの

アームがまだ組み立てられていない場合は、別の作業が必要です。まずはSO-100の開始方法とSO-100セットアップ完全ガイドから始めてください。まだ何も購入していない場合は、SO-100とSO-101の比較を最初に読んでください。SO-101は配線が改善され、ギア取り外し工程が不要になった新しいリビジョンであり、記録ワークフローは同じです。

lerobot 0.6.1のインストール

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

エクストラはほとんどの人がつまずく点です。pip install lerobotは、コアMLの依存関係のみをインストールし、ロボットと通信するものは何もインストールしません。Kochアームにはdynamixelの代わりにfeetechが必要です。もしシェルがlerobot-recordを認識しない場合、それが理由です。

ポート、モーターID、およびキャリブレーション

部品と動作するテレオペレーションループの間には、3つの1回限りのステップがあります。 は、あなたのロボットアームで学習されたポリシーを他のロボットアームで実行できるようにし、生のエエンコーダーカウントを共有の関節規約にマッピングします。

1. 1
   各アームのUSBポートを見つける

   両方のアームを接続した状態で実行し、プロンプトが表示されたら識別するアームのプラグを抜き、どのポートが消えるかを確認します。Linuxでは、sudo chmod 666 /dev/ttyACM0が必要になる場合があります。

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   モーターIDとボーレートを書き込む

   IDはモーターごとに1つずつ書き込まれ、その方法はドキュメントで厳密に定められています。コントローラーボードには、まだ他のモーターにデイジーチェーン接続されていないモーターを1つだけ接続してください。スクリプトはチェーンを逆方向にたどり、最初にグリッパーのプロンプトを表示してID 6を与え、次にwrist_rollにID 5、shoulder_panにID 1を与えます。組み立て前に行ってください。

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   両方のアームをキャリブレーションする

   すべての関節を可動範囲の中央に移動させ、Enterキーを押し、その後、それぞれの関節を全範囲にわたって動かします。idはプロファイルファイル名になります。

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   何も記録する前にテレオペレーションを行う

   上記すべての受け入れテストです。テレオペレーションがぎこちない、ミラーリングされている、または1つの関節が追従しない場合、記録は50エピソードでそれを保持します。

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

カメラがポリシーの視覚を決定する

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

2つの視点とその配置が重要です。ワークスペースをカバーする固定シーンカメラと、エンドエフェクタの近くにある、グリッパーが触れようとしているものを示す手首カメラです。LeRobotのコミュニティデータセットチェックリストでは、できれば480x640 / 720p以上の2つの視点、静的な背景、中立で安定した照明、そしてリーダーアームと人間の手足がフレーム外にあることを求めています。記録ガイドには経験則が追加されています。カメラ画像だけを見て、自分でタスクを実行できるべきです。

recordコマンドとすべてのフラグ

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

以下のデフォルト値はsrc/lerobot/configs/dataset.pyのmainブランチから取得したものであり、チュートリアルからではありません。いくつかについては、一般的に想定されているものとは異なります。

セッション中のキーボード操作

• 右矢印またはn: エピソードを終了するか、フェーズを早期にリセットします。クリーンな把持は25秒を必要とすることが稀であるため、最もよく使うキーです。
• 左矢印またはr: エピソードを破棄してやり直します。悪いテイクは今では何も費用がかかりませんが、後で多くの費用がかかります。
• Escapeまたはq: セッションを停止し、エンコードを完了し、アップロードします。
• これらはX11、Wayland、およびヘッドレスSSHで機能します。グローバルキーバックエンドがない場合、lerobot-recordは制御端末から同じキーを読み取ります。矢印シーケンスが分割されるような遅延のあるSSHリンクでも、文字は機能します。
• キーボードによる遠隔操作は異なり、グローバルバックエンド（X11、Windows、またはアクセシビリティを備えたmacOS）が必要です。

エピソード数と良いエピソードの例

記録ガイドでは、最初のタスクとして少なくとも50エピソード、オブジェクトの場所ごとに約10エピソードを推奨しています。 ポリシーページにはモデルごとの最小値が記載されており、それを下回るとGPU時間を費やす価値がありません。

より良い質問は、何がいくつあるかです。 Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) は、40,000を超えるデモンストレーションを収集し、15,000を超える実世界でのロールアウトを実行しました。汎化は、環境とオブジェクトの数とほぼべき乗則の関係にあり、環境またはオブジェクトごとの閾値を超えると、追加のデモンストレーションの効果は最小限でした。あるベンチでは、1つのテイクを繰り返すのではなく、オブジェクトを動かし、照明を変更し、キューブを交換します。

良いエピソードは退屈である：再現可能なホームポーズ、一つのことを実行し、オブジェクトがビンに入ったら終了、チェックリストが推奨する25〜50文字のタスク文字列。 Pick the red cube and drop it in the box はタスク文字列であり、task1 はチェックリストが明示的に挙げるアンチパターンである。曖昧なアノテーションが問題リストの筆頭に挙げられており、これらは特にビジョン言語アクションモデル において重要である。なぜなら、文字列はファイル名ではなくモデルの入力となるからだ。

データセットを静かに台無しにする欠陥

どれも例外をスローしない。すべてトレーニングまで生き残り、見た目は問題ない損失曲線と、何も動作しないロボットとして現れる。シーンがセットアップされている間に確認すること。

一つ注意点があります。ストリーミングエンコーディングガイドのテーブルではデフォルトがTrueと記載されていますが、mainブランチのデータクラスではstreaming_encoding: bool = Falseとなっています。ドキュメントとコードが一致しないため、明示的に設定してください。lerobotは、このフラグがオフの状態で起動するたびに、設定を推奨するヒントをログに出力します。

GPUをレンタルする前にデータセットを確認する

ドキュメントに記載されている受け入れテスト：CLIが報告したエピソードの期間とビデオの期間を比較し、行数がfpsに期間を掛けた値と等しいことを確認します。これは合計ではなく、エピソードごとに行います。

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

次に、それを見てください。lerobot-dataset-viz は、カメラビューの横にジョイントトレースを表示しながら、RerunまたはFoxgloveでエピソードをフレームごとに再生します。カメラの入れ替わりやフリーズしたフレームは10秒で表示されます。多くの人はこのステップをスキップします。

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1またはv3.0: 記録する前に決定してください

v2.1はエピソードごとに1つのparquetファイルと1つのMP4ファイルを書き込みました。v3.0は多数のエピソードを共有シャードに連結し、メタデータから境界を再構築するため、info.jsonにはエピソード番号の代わりにパスのテンプレート（例：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet）が含まれます。この変更の根拠は、ファイル数を減らし、ファイルサイズを大きくすることで、初期化を高速化し、大規模なファイルシステムへの負荷を軽減することです。

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

同じデータセットへの2つの経路

データセットからポリシーへ

50個のクリーンなエピソードが、ここでのあらゆるの実行に供給されます。は、あなたのタスクのみでゼロから学習し、約80Mのパラメータを持ち、アクションステップあたり約20msで動作します。5つのうち、高速な動きに対応できる唯一のものです。は、24GBのカードで約450Mのパラメータを持ちます。は、約3Bのパラメータを持つ基盤モデルで、は約40Mのパラメータに影響を与え、A100またはH100を必要とし、v2.1データセットを求めます。

次に、あなたの組み合わせに応じたガイドです：、または。最初の実行には、がより短いです。ポリシーがベンチでは機能するものの、テーブルを動かした瞬間に破綻する場合、それはデータの問題です：とで多様性について詳しく説明しています。