ライブテレオペレーション

ブラウザコックピット

環境を開き、Controlタブに切り替えます。ロボットがオンライン、つまりハートビートが届いている状態であれば、コックピットにはカメラ映像と操作インターフェースが表示されます。オペレーターはセッション中にこれを使用し、クライアントはペアリング後や予約の合間に、自分のアームをテストするために同じコックピットを使用します。

アカウントなしで操作感を試したい場合は、/liveに公開デモがあります。実際のデモ設備のフォロワーアームを操作するため、そこで目にするものはシミュレーションではなく、本番の制御経路そのものです。

キーボード操作: インパルスとクールダウン

操作はインパルスベースです。キーを押すと、1つの制限されたインパルスが関節に送られ、次のインパルスが適用されるまでに短いクールダウンが挟まります。キーを押し続けると、クールダウンの間隔でインパルスが繰り返されます。そのため、アームはキー入力を連続的に追従するのではなく、小さく予測可能な単位で動きます。

この設計は意図的なものです。ネットワーク接続では、連続的な制御信号は、遅延のスパイクをオーバーシュートに変えてしまいます。アームは古い入力のまま動き続けてしまうのです。制限されたインパルスは、1つのコマンドがアームを動かせる範囲に上限を設けるため、接続が不安定な場合でも制御は予測可能になり、まともな接続であれば遅延は自然な操作を妨げないほど低く抑えられます。有効なキーマップはコックピットに表示されるため、割り当てを暗記する必要はありません。

実践的なコツとして、押し続けるのではなくタップするという発想で臨んでください。目標に向かってタップし、結果を確認し、またタップします。クールダウンに逆らってキーを連打するオペレーターは、まさにデータセットを悪化させるぎこちない軌跡を生み出しますが、クールダウンに合わせて操作するオペレーターは、滑らかでレビューしやすいエピソードを生み出します。

カメラと映像品質

コックピットには、ロボットのすべてのカメラがグリッド表示されます。タイルをクリックすると単一カメラ表示に切り替わり、もう一度クリックすれば戻ります。カメラ名はクライアント側の設定に由来するため、適切に設定されたロボットであれば、匿名の番号ではなくwristやsceneといったタイルが表示されます。どのビューを使うかはタスクの段階によります。アプローチと位置合わせにはsceneビュー、グラスプ周りの細かい作業にはwristビューが向いています。

画質スライダーは、画質と遅延をトレードオフします。画質を下げるとフレームあたりのデータが減り、映像がよりきびきび動きます。画質を上げるとディテールは増えますが、遅延も増えます。積極的な操作を行う際は応答性を優先し、アームがアイドル状態でシーンを確認する際は画質を上げてください。最適な設定は接続状況によって変わるため、固定値ではなくスライダーになっています。

リーダーとフォロワーのミラーリング

アームが2台あるローカル設備では、プラットフォームはミラーリングをサポートしています。リーダーアームを手で動かすと、フォロワーがその動きを再現します。人の手の動きはキー入力よりもはるかに滑らかであるため、これは模倣学習データを記録するための定番のセットアップです。

1. 1
   両方のアームを同じ開始姿勢にする

   リーダーとフォロワーを、物理的に手で動かして一致する位置に揃えます。一致度が高いほど、次のステップは速く完了します。

2. 2
   コックピットでミラーリングを有効にする

   プラットフォームは2つのアーム間の関節位置の比較を開始しますが、この時点ではまだフォロワーは動きません。

3. 3
   リリースを待つ

   ミラーリングは、すべての関節ペアが十分に近づいたときにのみ作動します。このゲートにより、ミラーリングをオンにした瞬間にフォロワーがリーダーの姿勢へ激しく飛びつくことを防ぎます。

4. 4
   リーダーを操作する

   リーダーを手で動かすと、フォロワーがそれを追従します。リモートでテレオペレーションするときと同じように、意図的に作業してください。あなたの手の動きの滑らかさが、そのままデータセットに反映されます。

ダイレクトモードとプロキシ

コックピットには2つの転送経路があります。ダイレクトモードでは、ブラウザがロボットから直接ストリーミングを受け取ります。これが最も遅延の少ない経路で、同じLAN上にあるなど、あなたのネットワークからロボットに到達できる場合に自動的に有効になります。到達できない場合は、代わりにプラットフォームのプロキシを経由して接続されます。このフォールバックは自動で行われ、設定は不要です。あなたがいる場所から利用可能な最良の経路が、そのまま使われます。

緊急停止

コックピットには、ロボットへのコマンドの流れを即座に停止する緊急停止があります。アームが意図しない動きをしていると感じたら、原因を分析するより先に、まずこれを使ってください。停止後は、シーンの安全が確認できてから、意図的に制御を再開してください。

よくある質問