Жива телеоперація

Кокпіт у браузері

Відкрийте середовище і перемкніться на вкладку Control. Якщо робот online, тобто його heartbeat надходить, кокпіт показує відео з камер та інтерфейс керування. Оператори використовують його під час сесій; клієнти використовують той самий кокпіт, щоб перевірити свої руки після спарювання чи між бронюваннями.

Якщо хочете відчути керування без акаунта, є публічне демо на /live. Воно керує рукою-follower справжньої демо-установки, тож ви бачите там продакшн-шлях керування, а не симуляцію.

Керування з клавіатури: імпульси й кулдаун

Керування побудоване на імпульсах. Натискання клавіші надсилає один обмежений імпульс на суглоб, після чого йде короткий кулдаун перед застосуванням наступного імпульсу. Утримання клавіші повторює імпульси з частотою кулдауна. Тому рука рухається невеликими передбачуваними приростами, а не безперервно слідує за натисканням клавіші.

Такий устрій зроблено навмисно. Через мережеве з'єднання безперервний керуючий сигнал перетворює сплески затримки на перельоти: рука продовжує рухатися за застарілим введенням. Обмежені імпульси задають межу того, наскільки далеко може завести руку одна команда, що робить керування передбачуваним навіть при нестабільному з'єднанні, а на хорошому з'єднанні затримка достатньо мала для природного керування. Активна карта клавіш відображається в кокпіті, тож запам'ятовувати прив'язки не потрібно.

Практична техніка: думайте тапами, а не утриманнями. Тапніть у бік цілі, подивіться на результат, тапніть знову. Оператори, які борються з кулдауном, часто натискаючи клавіші, виробляють саме ті уривчасті траєкторії, що погіршують датасети; оператори, які працюють з ним заодно, виробляють плавні, легкі для перегляду епізоди.

Камери та якість потоку

Кокпіт показує всі камери робота сіткою; клацніть по плитці, щоб перемкнутися на вигляд однієї камери і назад. Імена камер надходять з налаштування клієнта, тому добре налаштований робот дає вам плитки на кшталт wrist і scene, а не анонімні номери. Який вигляд використовувати, залежить від фази завдання: вигляд scene для підходу й орієнтації, вигляд wrist для тонкої роботи навколо захвату.

Повзунок якості обмінює якість зображення на затримку. Нижча якість означає менше даних на кадр і жвавіший потік; вища означає більше деталей, але й більше затримки. Для активного керування зміщуйтеся в бік чутливості; для огляду сцени, поки рука бездіє, підіймайте якість. Правильне налаштування залежить від вашого з'єднання, тому це повзунок, а не фіксоване значення.

Дзеркалювання leader і follower

Для локальних установок із двома руками платформа підтримує дзеркалювання: ви рухаєте руку-leader рукою, а follower відтворює рух. Це класична установка для запису даних imitation learning, бо рух людської руки через leader набагато плавніший за будь-яке введення з клавіатури.

1. 1
   Приведіть обидві руки в одну вихідну позу

   Фізично наведіть leader і follower у положення, що збігаються. Чим точніше збіг, тим швидше завершиться наступний крок.

2. 2
   Увімкніть дзеркалювання в кокпіті

   Платформа починає порівнювати положення суглобів обох рук, але follower поки не рухається.

3. 3
   Дочекайтеся звільнення

   Дзеркалювання вмикається лише тоді, коли кожна пара суглобів близька одна до одної. Цей поріг не дає follower різко смикнутися в позу leader у момент увімкнення дзеркалювання.

4. 4
   Ведіть leader

   Рухайте leader рукою; follower відстежує його. Працюйте свідомо, як при віддаленій телеоперації: плавність руху вашої руки, саме вона опиниться в датасеті.

Прямий режим і проксі

У кокпіту два транспортні шляхи. У прямому режимі браузер стрімить безпосередньо від робота, що дає найменшу затримку і вмикається автоматично, коли робот доступний з вашої мережі, наприклад у тій самій локальній мережі. Коли це не так, з'єднання натомість іде через проксі платформи. Перемикання автоматичне і не потребує налаштування: ви просто отримуєте найкращий доступний шлях звідти, де перебуваєте.

Аварійна зупинка

У кокпіті є аварійна зупинка, яка негайно припиняє потік команд до робота. Використовуйте її щоразу, коли рука робить щось незаплановане, перш ніж розбиратися в причинах. Після зупинки відновлюйте керування свідомо, щойно сцена стане безпечною.

Часті запитання