ポリシートレーニング

自分のGPUなしでトレーニングする

マニピュレーションポリシーのトレーニングはGPUを要するワークロードであり、最近のvision-language-actionモデルは、一般的なワークステーションが備えているよりも多くのVRAMを必要とします。AY-Robotsでは、トレーニングはプラットフォームが管理するクラウドGPU上で実行されます。データセットとポリシーの種類を選び、実行を開始し、進捗をブラウザから見守るだけです。CUDAのセットアップも、ドライバーの整合も、環境の維持も不要です。

入力は常にDashboard > Datasetsのクラウドデータセットです。テレオペレーションセッションで記録したもの、またはLeRobotフォーマットでアップロードしたものであれば、マージされたデータセットも含め、対象になります。トレーニング前にキュレーションを行ってください。Failureとラベル付けされたエピソードは、通常トレーニングセットから除外すべきであり、エピソードブラウザでの10分間の確認が、悪いデモンストレーションから学習することに費やされる数時間のGPU時間を節約します。

サポートされているポリシー

4つのポリシーファミリーがサポートされています。それぞれサイズ、トレーニングコスト、データからどれだけ吸収できるかが異なるため、適切な選択は一般的なランキングよりも、あなたのタスクとデータセットに左右されます。

実行を開始する

1. 1
   データセットを選ぶ

   Dashboard > Trainingを開き、トレーニング対象のデータセットを選択します。エピソード数とロボット機種が表示されるため、正しいものを選んだか確認できます。

2. 2
   ポリシーを選ぶ

   サポートされているポリシーの種類から1つを選びます。迷った場合はACTから始めてください。自分のデータセットがそもそも何かをトレーニングできる品質かどうかを確認する、最も安価な方法です。

3. 3
   起動する

   実行を開始します。ジョブIDと専用の実行ページが割り当てられ、ブラウザを閉じても構いません。トレーニングはサーバー側で継続し、戻ってきたときにページがライブの状態を表示します。

トレーニング実行ページ

すべての実行には専用のページがあり、トレーニング中に実際に気になる2つの問い、すなわち学習は進んでいるか、マシンは健全かに答えます。学習の進捗は、損失、学習率スケジュール、勾配ノルムのチャートとして表示されます。損失がすぐに横ばいになる、あるいは勾配ノルムが爆発するといった様子は、その実行を待つ価値がないことを早期に教えてくれます。

マシンの健全性も併せて表示されます。GPU使用率とメモリ、そしてトレーニングマシンのホストメトリクスです。フェーズタイムラインは、環境の準備からデータ読み込み、トレーニングループ本体、チェックポイントのアップロードまで、実行が現在どこにあるかを示します。何かおかしいと感じたら、組み込みのログビューアでSSHアクセスなしに生のトレーニングログを確認でき、たいていの場合、問題がデータセット側にあるのか実行自体にあるのかを見極めるには十分です。

チェックポイントと再開

チェックポイントは共有プールではなく、実行ごとに保存されます。そのため、実行ページに表示されるチェックポイントは、常にその実行とその設定にのみ属します。これは見た目以上に重要です。異なる設定の実行間でチェックポイントを混在させることは、静かに壊れたポリシーを生む典型的な原因です。

実行が中断された場合、最初からやり直す代わりに、最新のチェックポイントから再開できます。中間チェックポイントもそれ自体が有用です。長い実行の終盤で過学習が始まった場合、最終チェックポイントよりも、それより前のチェックポイントの方が実機でうまく動くことがよくあります。

トレーニング済みポリシーを自分のアームで実行する

完成したポリシーは、そのまま自分のロボットにデプロイし直せます。コックピットで、接続されたアーム用にトレーニング済みポリシーを選択し、推論を開始します。それまでテレオペレーションで生成していた関節コマンドを、今度はポリシーが生成します。アームは、そのデータセットが記録されたのと同じロボット機種である必要があり、シーンもカメラの配置を含め、トレーニング時のシーンに似ている必要があります。

最初の推論実行は、デモではなく実験として扱ってください。緊急停止をすぐ手元に置き、デモンストレーションした開始状態に近い状態から始め、カメラの移動、照明の違い、データセットに一度も含まれなかった物体など、あなたが気づかないようなことにポリシーが敏感である可能性を想定しておいてください。

必要なエピソード数

このプラットフォームで最もよくあるトレーニングの失敗は、誤ったハイパーパラメータではなく、データが少なすぎる状態でトレーニングし、そのポリシーの種類自体が機能しないと結論付けてしまうことです。単一のテーブルトップタスクの目安として、約50エピソードで、デモンストレーションした開始状態に近い状態からは成功する、狭い汎化性能のポリシーが得られます。物体の配置をエピソード間で変化させていれば、100から200エピソードで、そのタスクに関するワークスペース全体での実用的な堅牢性が得られます。

より高性能なポリシーの種類であっても、これは覆りません。20エピソードでのGR00Tファインチューニングは、依然として汎化性能が低いままです。大規模なモデルが買ってくれるのは、データが十分にそろった後のより高い上限です。予算が限られているなら、より大きなモデルに使う前に、より多様なエピソードに使ってください。

よくある質問