ロボットポリシーのための合成データ：シミュレーションが役立つ場所

数ヶ月に一度、誰かが50のエピソードを手作業で記録するのは遅いと気づき、代わりにシミュレーターで生成できないかと尋ねます。それはもっともな質問です。率直な答えは3つの部分から成ります。生成されたデータは役立ちますが、実際の記録を置き換えるものではなく、これら2つの事実の比率は、どのような種類の合成データを意味するかによって完全に異なります。

このページでは、発表された研究が実際に何を測定したか、SO-100のような低コストアームで今日実行できること、そしてシミュレーションと現実のギャップが利益を食い潰す場所について説明します。詳細に入る前の短いバージョンです。最大の乗数（マルチプライヤー）を報告するシステムは、少数の実際の人間によるデモンストレーションを増幅します。それらはデモンストレーションの必要性をなくすものではありません。

合成データと呼ばれる4つの異なるもの

数値を比較する前に、ファミリーを区別する価値があります。なぜなら、100倍の乗数を報告する論文と5ポイントの成功率向上を報告する論文は、しばしば同じパイプラインを異なる側面から記述しているからです。共通しているのは、LeRobotデータセット内の何かが物理的なアームから記録されたものではなく、機械によって生成されたということです。異なるのはどの部分かです。

この記事が意味する合成データは、最初の3つだけです。4番目は、同じ議論にまとめられ、リストの中で最も安価なものであるため、言及する価値があります。トレーナーに付属している拡張機能をまだ有効にしていない場合は、シミュレーターをインストールする前にそれを行ってください。

公開された数値が実際に示していること

ここに証拠となるデータがあります。プレスリリースで要約されたものではなく、情報源が示す通りの数値です。以下の各行は、2026年8月23日に読まれた論文またはプロジェクトページからのものです。

あらゆる誠実なアブレーションに共通するパターンは同じです。合成データは、安価にカバレッジを広げます。それは、実際のデモンストレーションのどこにもなかった、グリッパー、サーボのたるみ、照明、テーブルの高さに関する情報を生成するものではありません。もしあなたのポリシーが失敗するのは、エンドエフェクタが0.5秒遅れて閉じるためであり、いかなるシミュレーション上のバリエーションもそれを修正することはできません。それはグリッパーのタイミングの問題が実際の記録にあるためです。

MimicGenの発見の一つは、通常の助言に反するため、自身の記録セッションに持ち込む価値があります。このプロジェクトはSquare D2上で2つのデータセットを生成しました。一つは質の良い人間のオペレーターによる10のデモをシードとし、もう一つは質の悪いオペレーターによる10のデモをシードとしたもので、どちらもrobomimicのマルチヒューマンSquareデータセットから取得されました。それぞれで訓練されたポリシーは同等の結果を達成し、著者らはこれを大規模データ体制においてはデータ品質があまり重要ではない可能性を示す兆候と解釈しました。注意深く読むと、これは10個のシードデモンストレーションに関する記述であり、あなたの50個の実際の試行に関するものではありません。これは、多少粗雑なシードセットが、あなたと利用可能な生成データセットの間に立ちはだかるものではないことを意味します。しかし、共同訓練する実際の試行が粗雑であってもよいという意味ではありません。なぜなら、それらがシミュレーターが持たない情報を含んでいるからです。

シムツーリアルギャップ、具体的に

ギャップは通常、単一の量として議論されますが、これは役に立ちません。それは少なくとも5つの異なる不一致であり、110から150ユーロのホビーアームとFrankaではその大きさが異なります。

• 接触と摩擦。 Isaac Labは、同じハードウェアとIsaac SimおよびPhysXのバージョンであればシミュレーションは再現可能であると明言していますが、浮動小数点精度と丸め誤差により異なるハードウェア構成間で結果が異なり、PhysXは布や軟体などの非剛体を含むシーンの決定論を保証しないと述べています。
• アクチュエーション。 7.4 Vで動作するFeetech STS3215バスサーボは、負荷がかかると垂れ下がり、バックラッシュがあり、加熱すると動作が変化します。SO-101のMJCFモデルは、アーム上でモーターパラメータを特定するのではなく、無関係なプロジェクトから借用しています。
• レンダリング。 カメラノイズ、ローリングシャッター、自動露出、テーブルの正確な色合いはレンダリングに含まれません。これは、Cosmos-Transfer1が埋めるために構築されたギャップの半分です。そのロボティクス拡張ワークフローは、1つのロボティクス合成例を、セグメンテーション、深度、またはエッジ条件付けからの複数の現実的な例にマッピングします。
• タイミング。 シミュレーターは一定のレートでステップを実行します。実際の制御ループはそうではなく、モデル自体は選択したものに応じてアクションステップあたり20から485ミリ秒かかります。推論レイテンシを参照してください。
• オブジェクト統計。 シミュレートされたシーンは、誰かが書き留めた分布からサンプリングされます。あなたのキッチンのテーブルはそうではありません。

シミュレートされたSO-100が実際にはあなたのアームについて何を知っているか

これが、上記のいずれかがあなたの週末を費やす価値があるかどうかを決定する部分であり、最初の驚きは、SO-100とSO-101が同等に扱われていないことです。TheRobotStudioのSO-ARM100リポジトリは、シミュレーションアセットを以下に保持しています。Simulation/SO100フォルダには単一のURDFファイルしか含まれていません。SO101フォルダには、URDFファイルとMuJoCoファイル（scene.xml、so101_new_calib.xml、so101_old_calib.xml、対応するURDF、およびjoints_properties.xml）の両方が含まれています。運動学的チェーンではなく物理モデルが必要な場合は、SO-101ファイルが必要です。

これらは、Onshapeで設計されたCADモデルからonshape-to-robotプラグインを使用して生成されたものであり、運動学と視覚メッシュはCADと同等の品質です。動力学は別の話であり、リポジトリのREADMEには3つの点について率直に述べられています。シミュレーションおよびプランニング中の衝突挙動に問題があったため、ベース衝突メッシュは削除されました。STS3215モーターの特性は、SO-101で測定されたものではなく、Open Duck Miniプロジェクトから採用されています。また、LeRobotグリッパーの慣例（0が完全に閉じ、100が完全に開く）は、URDFおよびMuJoCoファイルにはまだ明示的に反映されていません。これらすべては、そのモデルのみで訓練されたポリシーが、実際の環境では異なる挙動を示す可能性がある点です。

ドメインランダム化、そしてそれが解決しないこと

このギャップに対する標準的な答えは、現実と一致させようとするのをやめ、代わりに現実がその中に収まるほど十分に広い分布で訓練することです。Tobinらは2017年にこの強力なバージョンを示しました。非現実的なランダムテクスチャを持つシミュレーション画像のみで訓練され、実際の画像での事前訓練を一切行わないオブジェクト検出器が、実際のオブジェクトを1.5 cmの精度で局所化し、妨害物や部分的なオクルージョンに対して堅牢性を維持しました。

Isaac Labは、環境設定にアタッチするイベント用語と同じ考え方を公開しています。これらは、実際の関数名でisaaclab.envs.mdpに記載されているノブであり、推測するのではなく、それらを読んで確認できます。

ここに限界があり、人々が躓く点です。ランダム化は、構築したモデル内でポリシーが学習した分布を広げます。シミュレーターが表現しない物理効果を導入することはできません。PhysXがSTS3215サーボのバックラッシュや熱垂れをモデル化していない場合、それらの剛性をランダム化しても、ポリシーはバックラッシュについて何も学習しません。そのため、シミュレーションで訓練されたポリシーの下でような腕は、ランダム化の予算の問題ではありません。それはモデリングの問題です。

手動パス: Isaac Labでのデータ生成

Isaac Gymはレガシーソフトウェアです。NVIDIAの公式ページには「Isaac Gym - 現在非推奨」とあり、開発者はダウンロードして引き続き使用できるものの、サポートは終了しており、代わりにIsaac Labを推奨しています。歴史を知りたい場合は、両方を取り上げました。および。2026年の新規作業では、Isaac Labから始めてください。

1. 1
   Isaac SimとIsaac Labのインストール

   pipインストールページには、これらの手順はPython 3.11を必要とするIsaac Sim 5.X用であると記載されています。ソースをクローンすることで、次のステップに必要なスクリプトが得られます。

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   約10回の人間によるデモンストレーションを記録する

   Isaac Labのドキュメントは具体的です。以下のステップを成功させるには、約10回の成功したデモンストレーションが必要です。そのヒントも同様に具体的です。デモンストレーションは短く保ち、任意の軸に沿って移動するのではなく直接的な経路を取り、一時停止しないでください。ポリシーにとって、なぜいつ一時停止するのかが明確ではないためです。

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   サブタスクの境界をアノテーションする

   Mimicは入力デモンストレーションをサブタスクに分割し、セグメントのタイミングを再調整し、ターゲットを再設定できるようにします。`--auto` フラグは、自動アノテーションを定義するタスクの場合、人間が介入することなくこれを行います。これがない場合、Bで一時停止し、Nで続行し、Sで境界をマークします。タスクIDに `-Mimic` サフィックスが付くことに注意してください。

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   増幅されたデータセットを生成する

   これは10を1000に変えるステップです。Mimicは各候補にブール型の成功基準を適用し、タスクを完了したもののみを保持するため、出力数は試行数よりも少なくなります。ドキュメントによると、候補の成功率は単純なケースで最大70パーセント、難しいタスクや複雑なロボットでは1パーセント未満です。Frankaのキューブスタックでは約50パーセント、GR1T2のピックアンドプレースでは65〜80パーセントで、1000回のデモには18〜40分かかります（RTX ADA 6000で80パーセントの場合19分）。

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5をLeRobotデータセットに変換する

   上記すべてはrobomimic形式のHDF5を生成しますが、Isaac Labコア自体にはLeRobotコンバーターは含まれていません。そのドキュメントには、生成されたデータセットをLeRobot形式に変換できるとだけ記載されています。実際のコンバーターは2つのプロジェクトが提供しています。IsaacLab-Arenaは、YAML設定によって完全に駆動されるGR00Tターゲットのコンバーターを提供し、LeIsaacはSO-101ルート用の独自のペアを提供しています（下記参照）。

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

生成試行が失敗する理由と、変更すべき点

候補の成功率が70%から1%未満の間で変動するのは謎ではありません。Isaac Labは、推測に任せるのではなく、一般的な落とし穴を文書化しています。これらの落とし穴はすべて、記録時に制御できるものであり、最初の期待外れの生成実行の後ではなく、10個のシードデモンストレーションを記録する前にこのリストを読む価値があるのはそのためです。

• デモンストレーションが長すぎる。 時間的視野が長いほど、ポリシーが学習するのが難しくなります。最初のオブジェクトに近づいて開始し、動きを最小限に抑えてください。
• デモンストレーションが滑らかでない。 不規則な動きはポリシーが解読するのが難しく、より優れたテレポートハードウェアはより良いデータを提供します。ドキュメントには、SpaceMouseがキーボードよりも優れていると明記されています。
• 一時停止。 一時停止は、ポリシーにとっていつ、なぜ一時停止するのかが明確でないため、学習が困難です。動きを流動的に保ってください。
• サブタスクが多すぎる。 サブタスクが多いほど、軌道セグメント間の結合が増え、動きが滑らかでなくなり、生成成功率が低下します。アームが何かに衝突する可能性が低い境界を注釈付けしてください。
• アクションノイズがない。 アクションノイズは、結果として得られるポリシーをより堅牢にします。
• 記録が厳密にトリミングされすぎている。 成功条件がトリガーされる正確なフレームで記録が停止すると、リプレイ中に再トリガーされない可能性があります。最後にバッファを残してください。
• 非決定的なリプレイ。 Isaac Labの物理演算は、env.reset間で決定論的に再現可能ではないため、一部の人間によるデモはリプレイで失敗します。必要な数よりも多く収集し、アノテーションを生き残ったものを保持してください。Mimicによって生成されたHDF5ファイルに格納されるすべてのものは成功したデモであり、後でリプレイが失敗してもトレーニングに使用できます。

結合されたサブタスクセグメント間の補間ステップには独自の調整ノブがあり、必要な補間ステップの数は、ロボットの移動速度とオブジェクトのリセット分布の広さに応じて変化します。リセット分布が大きい複雑なタスクでは、セグメント間に大きなギャップが生じ、連続的な動きとして現れるためにはより多くの補間ステップが必要になります。生成されたビデオでアームがフェーズ間で急に動く場合、それはシードデモを非難する前に確認すべきパラメータです。

SO-101での同じパイプライン、実際のリーダーアームを使用

これはこのページを読んでいる人にとって興味深いものです。なぜなら、これは唯一のオープンパイプラインであり、SO-101をIsaac Lab内に配置し、すでに所有している物理的なリーダーアームで操作できるようにするからです。本稿執筆時点でのLeIsaacバージョン0.4.0は、LeRobotのEnvHubに統合された公式の模倣学習シミュレーションプレイグラウンドです。その互換性テーブルには3つの動作する組み合わせが記載されており、最新のものはIsaac Sim 5.1とIsaac Lab v2.3.0、CUDA 12.8、PyTorch 2.7.0、Python 3.11を組み合わせています。ドキュメントでは、50シリーズのカードにはIsaac Sim 5.0以降を推奨しています。

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

それが整えば、/dev/ttyACM0上のリーダーアームがシミュレートされたフォロワーを駆動し、直接HDF5に記録します。リーダー・フォロワーループは、実際の記録からすでに知っているものと同じで、フォロワーがPhysX内の剛体である点が異なります。

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

これらのIDのほとんどは、-Direct-v0バリアントとしても存在し、python scripts/environments/list_envs.pyで現在のリストが出力されます。また、3つのフラグを追加することで、HDF5の迂回を完全にスキップし、テレポート中にLeRobot形式で書き込むこともできます。ドキュメント自体から2つの注意点があります。レコーダーは初期状態からの不安定性を避けるため、各エピソードの最初の5フレームを自動的にスキップします。また、テレポートにわずかな遅延を引き起こす可能性があり、これはデモンストレーションの特性を静かに変えてしまう種類のものです。さらに、タスクが成功とマークされたエピソードのみをフラッシュします。

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

その後、乗算ステップはこれらの記録に対して実行されます。LeIsaacはIsaac Lab Mimicを4つのコマンドでラップします。Mimicはエンドエフェクタとオブジェクトのポーズから軌道を一般化するためです。関節空間アクションをIKベースのアクションに変換し、アノテーションを付け、生成し、その後関節空間に戻します。

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

次にLeRobotに変換します。これはプラットフォームのフォーマットルールが適用されるステップであり、LeIsaacはまさに必要な2つのコンバーターを提供しています。isaaclab2lerobot.pyはLeRobot v2を書き込みます。これはGR00Tローダーが使用するものです。そしてisaaclab2lerobotv3.pyはPi0.5、SmolVLAおよびACT向けにv3を書き込みます。これら2つのスクリプトは同じ引数を取りますが、異なるlerobotバージョンに固定されており、成功したエピソードのみが変換されます。

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

学習済みポリシーへの2つの経路

ビデオワールドモデル：最新のレイヤー、そして最も測定されていないもの

DreamGenの背後にあるアイデアは、ターゲットロボットの具現化に適応したビデオ生成モデルが、訪れたことのないシーンで説得力のあるエピソードを想像できるというものです。このパイプラインには4つのステージがあります。ビデオワールドモデルのファインチューニング、フォトリアリスティックな合成ロボットビデオの生成、潜在行動モデルまたは逆動力学モデルによる擬似行動シーケンスの復元、そしてその結果に基づいてロボットポリシーを学習させることです。NVIDIAのGR00T-dreamsリポジトリはまさにこれを実装しています。

主要な結果は現実のものであり、真剣に受け止める価値があります。単一の環境における単一のピックアンドプレースタスクからの遠隔操作データだけで、既知および未知の環境の両方で、ヒューマノイドに22の新しい行動を生み出しました。ただし、その注意点も同様に現実的であり、第三段階にあります。

コトレーニングが実際にゲインを示すレシピです

文献から運用上の教訓を一つだけ得るとすれば、これです。シミュレーションと実世界の共同学習に関する研究（Maddukuri他、2025年）は、ロボットアームとヒューマノイドという2つのドメインにわたる、視覚ベースのロボットマニピュレーションタスクを解決するためにシミュレーションデータを使用するシンプルな方法を見つけることを目的とし、その結論は、混合データで学習することです。シミュレーションデータは実世界のタスクパフォーマンスを平均38パーセント向上させ、この論文は、シミュレーションと実世界のデータ間に顕著な違いがあったとしても、この結果が維持されたことを明示しています。

その最後の条項は、38パーセントという数字よりも重要です。それは、実データが混合データに含まれてアンカーとなる限り、シミュレーションが有用であるために完璧なデジタルツインである必要はないことを意味します。シミュレーションのみの転移は費用のかかる道です。同じ論文では、ポリシーをシミュレーションのみで学習させ、それを実世界に転移させる場合、現実とのギャップを埋めるために多大な人的労力を要することが多いと述べています。共同学習は、ポリシーに単独でギャップを埋めることを決して求めないことで、その労力のほとんどを省きます。

実際、このプラットフォームでは、共同学習は次のことを意味します。両方のエピソードセットを同じLeRobotデータセットに入れ、一貫したカメラキー、一貫した関節順序、一貫した単位を使用し、通常のファインチューニングを実行します。トレーニングフォームには混合重み調整ノブはありません。3:1のシミュレーション対実世界比率が必要な場合は、データセットに入れる各エピソードの数でそれを表現します。

シミュレーションから得られる最も安価な成果は、トレーニングデータではありません

評価です。2つのを比較するために、タスクごとに数十回の実環境での試行を実行すると、アームの稼働に1日かかり、試行ごとにアームがドリフトします。SIMPLER（Liら、2024年）は、実際のポリシーをトレーニングするのではなく、スコアリングすることを目的としたシミュレーション環境を構築し、シミュレーションのランキングが実際のランキングをどれだけ正確に予測するかを測定しました。単一のSIMPLER環境は、コンシューマー向けRTX 4090で640x512の解像度で毎秒3,500シミュレーションステップをレンダリングし、500 Hzのシミュレーション周波数では、実際の評価と比較して7倍の高速化を実現します。

これらは、6つの一般的なオープンソースチェックポイント（異なるトレーニング段階の3つのRT-1チェックポイント、RT-1-X、RT-2-X、Octo-Base）について、3つのGoogle Robotタスクグループにおける平均値です。実環境側は均一な試行回数ではないため、引用する前に知っておく価値があります。コカ・コーラの缶を拾うタスクでは75回、近くに移動するタスクでは60回、引き出しを開閉するタスクでは54回、より長い引き出しとリンゴのタスクでは27回です。検証MSEとの比較が有用な部分です。検証損失によるモデル選択では、これらのチェックポイントの順位は悪く、視覚的マッチングにおけるピアソンrが0.924であるということは、SIMPLERでより良いスコアを出したチェックポイントは、ベンチマークでも非常に高い確率でより良いスコアを出すことを意味します。これは再現可能な一晩のスコアボードであり、シミュレーションから実環境へのトレーニング転移について何も信じる必要はありません。

これらのベンチマーク数値が、あるについて何を示し、何を示さないかというより広い文脈を知りたい場合は、で別途まとめました。

このプラットフォームが役立たない点

境界を明確にすることは、全員の時間を節約します。AY-Robots は、記録、トレーニング、およびサービス提供のためのプラットフォームです。シミュレーターは内蔵されていません。

• Isaac Lab、MimicGen、ワールドモデル、シーンオーサリングは不要です。生成データが必要な場合は、他の場所で生成し、その結果を持ち込んでください。
• トレーナーはLeRobotデータセットのみを消費します。シミュレーターのエクスポートは入力となる前に変換する必要があり、正しいバージョンである必要があります。GR00T N1.5およびN1.7にはv2.0またはv2.1、Pi0.5、SmolVLA、ACTにはv3.0です。
• GR00Tのファインチューニングのエントリポイントは、シードを公開しないtyro CLIであるため、GR00Tの実行はビット単位で再現可能ではありません。慎重なシミュレーション対実環境のアブレーションを実行している場合、これは実際の制限となります。lerobot自身のデフォルトシードは1000であり、ACT、SmolVLA、Pi0.5の形式ではシードフィールドが公開されています。
• 勾配蓄積は、2つのGR00Tトレーナーにのみ実際に適用されます。Pi0.5とSmolVLAの場合、フォームにはフィールドが存在しますが、lerobot 0.5.1にはそのようなフラグがないため、何も行いません。
• 高速なタスクでは、推論はサーボの隣に配置する必要があります。制御ループはモデルに応じてアクションステップあたり20から485 msであり、パブリックインターネットのラウンドトリップを追加すると、機能するポリシーがためらいがちなものになります。リモート推論は、低速なピックアンドプレースには有効ですが、高速な反応動作には適していません。

正当化できる予算

2つのパスを、それぞれが実際に公開する数値と並べて比較すると、低コストのアームでの単一タスクプロジェクトの場合、通常は自ずと決定が下されます。

SO-100での最初のポリシーには、記録から始めましょう。「」と「」を利用すれば、コーヒー1杯分の費用でサービス提供可能なチェックポイントに到達でき、将来の共同トレーニング混合における実世界の半分を手に入れることができます。動作するベースラインがあり、特定の汎化失敗（例えば、「」ようなポリシー）を特定できる場合に、シミュレーターを利用しましょう。

証拠を尊重するレシピ

1. 1
   まず実環境でのベースラインを記録する

   SmolVLAには30エピソード、ACT、GR00T N1.7、Pi0.5には50エピソード。一度トレーニングします。そのポリシーが失敗する箇所が、合成データの仕様となります。

2. 2
   汎化の失敗を特定する

   物体の姿勢？照明？テーブルの高さ？妨害物？指示の異なる表現？合成データは、これらの中から一度に正確に1つに優れており、どれであるかを特定できない場合は役に立ちません。

3. 3
   それをカバーする最も安価なファミリーを選ぶ

   姿勢とレイアウトのバリエーション：軌道乗算。照明とテクスチャ：まず画像拡張、次にワールドモデル。全く新しいシーン：物理ロールアウト、そしてモデリングコストを受け入れる。

4. 4
   生成し、積極的に破棄する

   生成試行は失敗することがあり、Isaac Lab自身の候補成功率は、タスクに応じて70パーセントから1パーセント未満にまで及びます。成功し、タスクを完了した軌道のみを保持し、バッチを信頼する前にサンプルをビデオとして目視確認してください。

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   共同トレーニングし、置き換えない

   生成されたエピソードを実際のデータとマージし、同一のカメラキーとジョイント順序を持つ単一のLeRobotデータセットにします。38パーセントという数値は、共同トレーニングの数値です。

6. 6
   実機アームで、かつそこでだけ評価する

   シミュレーション評価は良好なランキングシグナルですが（SIMPLERの視覚マッチング設定ではピアソンr 0.924）、それは受け入れテストではありません。信頼する前に、実機でチェックポイントを実行してください。

実環境での記録自体のチェックリストから始めたい場合は、でカメラの配置、の影響、およびデータセットを使用不能にする失敗モードについて説明しています。フォーマット自体の詳細はに、ハイパーパラメータについてはに記載されています。