データセットを扱う

LeRobotデータセットフォーマット

AY-Robotsは、すべてのデモンストレーションデータを、Hugging Faceが管理するLeRobotデータセットフォーマットで保存します。実用上のメリットは可搬性です。ここで記録したデータセットは、LeRobotベースのトレーニングコードに直接読み込めますし、同じフォーマットで他所で記録されたデータセットも、変換なしにアップロードしてプラットフォーム上で使用できます。

データセットはエピソードの集合です。1つのエピソードは、定義された開始状態から記録を停止した時点までの、タスクの1回の完全な試行です。ディスク上では、1つのエピソードは3種類のファイルに分かれています。数値ストリームを含むParquetファイル、カメラごとの動画ファイル、そしてすべてを結び付けるメタデータです。

info.json内の特徴量スキーマは、トレーニングコードがあなたのデータを理解するために読み取るものです。どの観測キーが存在するか、その形状、記録レートです。2つのデータセットが互換性を持つのは、スキーマが一致する場合のみであり、これはまさにマージの検証がチェックする内容です。

関節の値はパーセンテージであり、角度ではありません

AY-Robotsのデータセットにおけるすべての関節の値は、LeRobot正規化されています。各値は-100から100の範囲で、角度（度）ではなく、その関節の校正済み可動範囲に対するパーセンテージを表します。0という値は校正済み範囲の中心であり、-100と100はその限界です。

ダッシュボードのクラウドデータセット

Dashboard > Datasetsには、クラウドデータセットがエピソード数、ファイルサイズ、収集状況とともに一覧表示されます。データセットは、テレオペレーションセッションがデータを記録すると自動的に作成されますが、明示的に空のデータセットを作成し、デスクトップクライアントから記録をアップロードして中身を満たすこともできます。

• 作成: 新しいデータセットはセッションから自動的に生成されるほか、空のデータセットを作成してそこにアップロードすることもできます。
• 名前変更: 表示名はいつでも変更できます。この変更はデータ自体には影響しません。
• 削除: データセットとそのすべてのエピソード、ファイルを削除します。削除は取り消せないため、再び必要になる可能性があるなら、先にアーカイブをダウンロードしてください。

エピソードブラウザ

データセットを開くと、エピソードブラウザに移動します。各エピソードには、カメラストリームの動画プレーヤーと、エピソード全体にわたって正規化された関節の値をプロットする同期済みの関節チャートがあります。動画をスクラブするとチャートのカーソルも一緒に動くため、問題をすばやく見つけられます。ぎこちないアプローチはチャート上のスパイクとして現れ、失敗したグラスプは動画を見る前からグリッパーのチャンネルに表れます。

エピソードラベル: Success、Recovery、Failure

各エピソードには、3つのラベルのいずれか1つを付けられます。Successはタスクのクリーンなデモンストレーションを示します。Recoveryは、試行の途中で何か問題が起きて、それを修正したエピソードを示します。これらは、ポリシーに軌道修正の仕方を教えるという点で貴重です。Failureは、目標に到達しなかったエピソードを示し、通常はトレーニングから除外すべきです。確認時にラベルを付けておく方が、悪いデモンストレーションから静かに学習してしまったポリシーをデバッグするよりも、はるかに安上がりです。

データセットをマージする

マージは、複数の記録を1つの大きなデータセットに結合します。たとえば、同じタスクの1週間分のセッションや、校正済みの2台のアームからの記録などです。マージでは、それぞれLeRobotデータセットを含む複数のtar.gzアーカイブを受け取り、エピソードが再インデックスされた単一のデータセットを生成します。

1. 1
   アーカイブを準備する

   各入力は、metaディレクトリを含む完全なLeRobotデータセットとして、tar.gzアーカイブにまとめられている必要があります。info.jsonを含まない不完全なアーカイブは検証できず、拒否されます。

2. 2
   複数のアーカイブをアップロードする

   Dashboard > Datasetsで、マージを開始し、結合したいすべてのtar.gzアーカイブを一度に選択します。

3. 3
   検証

   プラットフォームは、すべての入力間でfps、特徴量スキーマ、robot_typeが一致しているかを確認します。3つのいずれかが異なる場合、マージは不一致箇所を示して拒否されます。ストリームに一貫性のないデータセットを結合すると、トレーニングが静かに壊れてしまうためです。

4. 4
   結果を確認する

   マージされたデータセットは、結合後のエピソード数とともにリストに表示されます。トレーニングに使う前に、エピソードブラウザを開き、各ソースからいくつかのエピソードを抜き取り確認してください。

この3つの互換性ルールは、意図的に厳格になっています。フレームレートの不一致はすべてのタイムステップの意味を変えてしまい、スキーマの不一致はローダーを完全に壊し、ロボット機種を混在させると、単一のポリシーでは扱えないデータセットになってしまいます。同じ機種の異なる物理アームからのデータを結合する場合は問題ありません。robot_typeは物理的な個体ではなく機種を指すためです。

データセットマーケットプレイス

マーケットプレイスでは、他の人が記録したデータセットを購入したり、自分のデータセットを販売したりできます。購入したデータセットは、自分の記録と同じLeRobotのレイアウトでダッシュボードに届くため、エピソードブラウザ、マージ、トレーニングで、追加の手順なしにそのまま利用できます。

販売する場合は、出品前にキュレーションを行ってください。エピソードを確認し、正直にラベルを付け、タスク文字列が記録内容と実際に一致していることを確認します。購入者はあなたが見ているのと同じエピソードブラウザでデータセットを評価するため、クリーンなラベルと一貫性のあるデモンストレーションを備えたデータセットは、記録したものすべてを未整理で投げ込んだだけのデータセットよりも価値があります。

よくある質問