Живая телеоперация

Кокпит в браузере

Откройте среду и переключитесь на вкладку Control. Если робот online, то есть его heartbeat приходит, кокпит показывает видео с камер и интерфейс управления. Операторы используют его во время сессий; клиенты используют тот же кокпит, чтобы проверить свои руки после сопряжения или между бронированиями.

Если вы хотите почувствовать управление без аккаунта, есть публичное демо на /live. Оно управляет рукой-follower настоящей демо-установки, так что вы видите там продакшн-путь управления, а не симуляцию.

Клавиатурное управление: импульсы и кулдаун

Управление построено на импульсах. Нажатие клавиши отправляет один ограниченный импульс на сустав, после чего следует короткий кулдаун перед применением следующего импульса. Удержание клавиши повторяет импульсы с частотой кулдауна. Поэтому рука движется небольшими предсказуемыми приращениями, а не непрерывно следует за нажатием клавиши.

Такое устройство сделано намеренно. По сетевому соединению непрерывный управляющий сигнал превращает всплески задержки в перелёт: рука продолжает двигаться по устаревшему вводу. Ограниченные импульсы задают предел того, как далеко может увести руку одна команда, что делает управление предсказуемым даже при нестабильном соединении, а на хорошем соединении задержка достаточно мала для естественного управления. Активная карта клавиш отображается в кокпите, поэтому запоминать привязки не нужно.

Практическая техника: думайте в тапах, а не в удержаниях. Тапните в сторону цели, посмотрите на результат, тапните снова. Операторы, которые борются с кулдауном, часто нажимая клавиши, производят как раз те рывками получающиеся траектории, что ухудшают датасеты; операторы, работающие с ним заодно, производят плавные, легко просматриваемые эпизоды.

Камеры и качество потока

Кокпит показывает все камеры робота сеткой; кликните по плитке, чтобы переключиться на вид одной камеры и обратно. Имена камер приходят из настройки клиента, поэтому хорошо настроенный робот даёт вам плитки вроде wrist и scene, а не анонимные номера. Какой вид использовать, зависит от фазы задачи: вид scene для подхода и ориентации, вид wrist для тонкой работы вокруг захвата.

Ползунок качества обменивает качество изображения на задержку. Более низкое качество означает меньше данных на кадр и более отзывчивый поток; более высокое означает больше деталей, но больше задержки. Для активного управления смещайтесь в сторону отзывчивости; для осмотра сцены, пока рука бездействует, поднимайте качество. Правильная настройка зависит от вашего соединения, поэтому это ползунок, а не фиксированное значение.

Зеркалирование leader и follower

Для локальных установок с двумя руками платформа поддерживает зеркалирование: вы двигаете руку-leader рукой, а follower воспроизводит движение. Это классическая установка для записи данных imitation learning, потому что движение человеческой руки через leader гораздо плавнее любого ввода с клавиатуры.

1. 1
   Приведите обе руки в одну исходную позу

   Физически направьте leader и follower в совпадающие положения. Чем ближе совпадение, тем быстрее завершится следующий шаг.

2. 2
   Включите зеркалирование в кокпите

   Платформа начинает сравнивать положения суставов обеих рук, но follower пока не двигается.

3. 3
   Дождитесь освобождения

   Зеркалирование включается только тогда, когда каждая пара суставов близка друг к другу. Этот порог не даёт follower резко дёрнуться в позу leader в момент включения зеркалирования.

4. 4
   Ведите leader

   Двигайте leader рукой; follower отслеживает его. Работайте осознанно, как при удалённой телеоперации: плавность движения вашей руки: именно она окажется в датасете.

Прямой режим и прокси

У кокпита два транспортных пути. В прямом режиме браузер стримит напрямую от робота, что даёт наименьшую задержку и включается автоматически, когда робот доступен из вашей сети, например в той же локальной сети. Когда это не так, соединение вместо этого идёт через прокси платформы. Переключение автоматическое и не требует настройки: вы просто получаете лучший доступный путь оттуда, где находитесь.

Аварийная остановка

В кокпите есть аварийная остановка, которая немедленно прекращает поток команд к роботу. Используйте её всякий раз, когда рука делает что-то незапланированное, прежде чем разбираться в причинах. После остановки возобновляйте управление осознанно, как только сцена станет безопасной.

Частые вопросы