SO-100でACTをゼロからトレーニングする方法

ACTはSO-100ポリシーの中で異質な存在です。GR00T N1.7とN1.5はnvidia/GR00T-N1.7-3Bおよびnvidia/GR00T-N1.5-3Bから、Pi0.5はlerobot/pi05_baseから始まります。ACTはゼロから始まります。基盤モデルではないため、ベースチェックポイントはありません。これは、約8000万パラメータのトランスフォーマーであり、特定のタスクに対して、ご自身のロボットアームで、ご自身の照明環境下で、スクラッチからトレーニングします。

そのため、30億パラメータのVLAが152～485ミリ秒を必要とするのに対し、ACTは20ミリ秒で制御ステップを実行し、実行あたりのコストも4～12米ドルではなく1～3米ドルです。このガイドでは、lerobotを使用してSO-100で手動で進める方法を説明します。具体的には、記録、act設定、chunk_sizeとn_action_stepsの制御、100000ステップのスケジュール、ロールアウトについてです。その後、AY-Robotsでの同じ作業についても、プラットフォームが役立たない点を含めて説明します。

ACTとは何か

Action Chunking with Transformersは、Zhao、Kumar、Levine、FinnによるALOHA論文「低コストハードウェアによるきめ細かな両手操作の学習」に由来し、arXivに2023年4月23日に公開されました。このリグは50 Hzで記録し、4台のウェブカメラが480x640ピクセル、30 fpsでストリーミングします。カメラはグリッパーに2台、上部に1台、前面に1台配置されています。要旨では、10分間のデモンストレーションから、半透明の調味料カップを開けることやバッテリーをスロットに挿入することを含む6つのスキルで80〜90パーセントの成功率を主張しています。

記録セッションを計画する際には、本文がより役立ちます。各タスクにつき50回のデモンストレーション（Thread Velcroは100回）で、これは10〜20分間のデータと、リセットを考慮すると30〜60分間の実時間となります。成功率は一様ではありません。Thread Velcroは20パーセント、Put On Shoeは92パーセント、Cup Openは84パーセント、Prep Tapeは64パーセントで終了します。

アクションチャンキングがその核心です

通常の行動クローニングでは、1つの観測を1つの行動にマッピングするため、誤差が累積します。逸脱によってアームが分布から外れ、より悪い行動が生じ、30ステップ後にはグリッパーがオブジェクトの近くに全くない状態になります。アクションチャンキングは、k個の行動を一度に予測して実行し、実効的な予測期間をk分の1に短縮します。また、人間データに特有の厄介な問題も処理します。テレオペレーターは一時停止することがあり、単一ステップのマルコフ的なポリシーは、以前の状況に依存する一時停止をモデル化できません。

この論文では、kを断定するのではなく、アブレーション研究を行っています。時間的アンサンブルをオフにした場合、4つの設定で平均すると、成功率はk = 1で1%からk = 100で44%に上昇し、その後、ポリシーがオープンループ制御に近づくにつれて200および400で頭打ちになります。この曲線が、デフォルトが100である理由です。

• chunk_size: デコーダが1回のフォワードパスで予測する将来のアクションの数。デフォルトは100です。
• n_action_steps: 再度クエリを実行する前に、そのうちいくつを実行するか。デフォルトは100で、lerobotはチャンク全体をオープンループで実行します。
• lerobotはn_action_steps <= chunk_sizeを検証し、逆の場合にはValueErrorを発生させます。

運用上重要なのは、chunk_sizeをフレームレートで割った値です。lerobotのSO-100の例が使用する30 fpsでは、100のチャンクは1つの観測から約3.3秒をコミットします。タスクがそのウィンドウ内で修正を必要とする場合、n_action_stepsを下げ、chunk_sizeは下げないでください。これにより、長い予測を維持しつつ、より頻繁に再観測できます。

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

ACTが基盤モデルを上回る時

5つの学習可能なポリシーを並べて比較し、AY-RobotsがレンタルするGPUのサイズを決定するために測定・使用する数値を示します。

タスクとシーンが固定されており、動作が高速かつ正確である必要がある場合はACTを選択してください。1つのチェックポイントで複数の指示をカバーする必要がある場合は、を選択してください。2つのページで意思決定を直接比較できます：およびです。公開されているベンチマークについては、がすべての数値をそのソースにリンクしています。

始める前に必要なもの

フォロワーアーム1本、用のリーダーアーム1本、少なくとも1台のカメラ、24 GB GPU。ACTは画像と関節位置のみを読み取ります。2台のカメラが最適です。固定された前方視点で物体の位置を把握し、手首カメラでが何に触れようとしているかを確認します。これはALOHAと同様です。

アームの組み立てからデータセットの記録まで

以下のフローはlerobot 0.6.xのものです。調整済みのアームとデータセットをお持ちの場合はスキップしてください。そうでない場合は、SO-100入門ガイドで組み立てを、記録のウォークスルーでキャプチャを、データセットのドキュメントでフォーマットを説明しています。

1. 1
   適切な追加機能でlerobotをインストールする

   記録にはcore_scripts、トレーニングにはtraining、Feetechサーボにはfeetechが必要です。Python 3.12+に対応しています。

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   各アームのUSBポートを見つける

   両方のアームを接続した状態で実行し、プロンプトが表示されたら片方を抜きます。Linuxでは、ノードのパーミッションを開く必要がある場合があります。

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   モーターIDとボーレートを設定する

   SO-100では、これは組み立て前に行われます。SO-101とは異なり、一度組み立てるとコネクタにアクセスできなくなります。スクリプトはグリッパーから一度に1つのモーターずつバスを巡回し、IDをEEPROMに書き込みます。

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   両方のアームをキャリブレーションする

   すべての関節を可動域の中央に設定し、Enterキーを押し、その後それぞれを全可動域にわたって動かします。キャリブレーションにより、一方のアームでトレーニングされたポリシーを別のアームで実行できるようになります。同じidを再利用してください。

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   カメラをオンにして一度テレポート操作を行う

   lerobotの経験則：カメラ画像だけを見てタスクを実行できるはずです。それができない場合、ACTもできません。これは、後のデバッグよりも多くの不良データセットを発見します。

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50エピソードを記録する

   50はAY-Robotsの最小値であり、ALOHAがタスクごとに使用した数です。lerobotは、オブジェクトの位置ごとに10、カメラは固定、把持は一貫していることを推奨しています。nでエピソードを終了し、rで再記録し、qで停止してエンコードします。

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

トレーニングの前に、少なくとも5つのエピソードを再生してください。は、カメラストリーム、関節の状態、およびアクションをごとに保存し、再生はそのアクションをアームに押し戻します。再生がタスクを実行しない場合、データにはそれが含まれておらず、トレーニングがそれを発明することはありません。

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACTポリシーのトレーニング

これがコマンド全体です。ACT固有のものはすべてデフォルト設定になっているため、lerobot ACTのページではこれらから始めるように指示されています。

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=actはACTConfigをロードします。これは、データセットに記録されたモーターとカメラの数に適応するため、観測形状を宣言する必要はありません。 --wandb.enable=trueはオプションですが、価値があります。100000ステップの実行において、損失曲線は唯一の安価なシグナルです。スケジュールはACTConfigではなく、lerobotの学習設定から取得されます。100000ステップ、バッチ8、シード1000、チェックポイントが20000ステップごと、ログ記録が200ごとに行われます。

完全な実行では、020000から100000までの5つのチェックポイントディレクトリと、最後のシンボリックリンクが残されます。これらすべてを保持してください。最適なポリシーは、多くの場合、最後のポリシーではありません。

期間：論文では11 GB RTX 2080 Tiで約5時間、lerobotのACTページでは10万ステップあたり数時間、AY-Robots 24 GBティアでは2〜5時間かかります。途中で中断しないでください。参照リポジトリのREADMEには、ぎこちない、または一時停止するポリシーは通常、より多くのが必要であると述べられています。損失が安定した後も成功と滑らかさは改善し続けるためです。実世界のデータでは、少なくとも5000エポック、または安定期の後さらに3〜4倍の長さが必要です。

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

訓練済みポリシーをアームで実行する

デプロイにはlerobot-rolloutを使用します。カメラキーは記録されたものと一致する必要があります。つまり、frontとwristで訓練されたポリシーは、cam0とcam1を受け入れません。また、rename_mapは、事前学習済みチェックポイントが必要なため役に立ちません。タスク文字列は省略できます。lerobot自身の例では、ACTではスキップ可能とされています。

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

最終モデルではなくチェックポイントを固定するには、--policy.pretrained_revision を追加します。そのためには、実行が --save_checkpoint_to_hub=true で開始されている必要があります。これはデフォルトでオフになっています。これがないと、lerobot は最終モデルのみをプッシュし、他には何もプッシュしません。これがあると、各チェックポイントはゼロパディングされたステップでタグ付けされるため、--policy.pretrained_revision=060000 で60000ステップのものを復元します。実機で100000ステップのものと比較することは、利用可能な最も安価な実験です。

同じチェックポイントへの2つの経路

上記は手動ルートであり、機能します。プラットフォームルートは、GPUやPython環境を所有しない代わりに制御を犠牲にします。

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

実際に何が問題なのか

訓練コマンド自体に問題があることはほとんどありません。問題は、その周辺にあり、初めて遭遇する頻度順に並べられています。

2つの行は特に強調する価値があります。ACTはLeRobot v3.0で訓練されますが、GR00Tのローダーはそれを使用するとクラッシュし、v2.1を必要とします。そのため、ACTを訓練するデータセットはGR00Tの実行を失敗させる可能性があります。そして最後の行には2つの修正策があります。ACTの作者はぎくしゃくした動きに対してより多くの訓練で対応しますが、n_action_stepsが100の場合、実際の停止がチャンク境界で発生し、30 fpsで3.3秒ごとに目に見える一時停止が生じます。さらに2つ知っておくべきことがあります。単一の関節が動かない場合は通常、書き込まれていないサーボIDであり、近づくが閉じないグリッパーは、デモンストレーションにおけるグリッパーの可動範囲が小さすぎることを意味します。完全なインデックス：失敗モードのページ。

実行にかかる費用

後でVLAを使いたい場合でも、ACTから始めるべき理由がこれです。ACTの実行が失敗してもコーヒー1杯程度の費用で済み、数時間以内にデータセットにそのタスクが含まれているかどうかがわかります。GR00Tの実行が失敗した場合、同じ教訓を得るのにその4倍の費用がかかります。その後、GR00T N1.7やSmolVLAに移行するのは、再構築ではなく形式の変更です。背景：ビジョン言語アクションモデル、SO-100完全ガイド、最初のポリシーをトレーニングするおよび模倣学習。アームがない場合でも？ライブページは、サインアップなしで実際のSO-100を操作できるライブストリームを提供しています。