Teleoperação em tempo real

O cockpit no browser

Abra um ambiente e mude para o separador Control. Se o robô estiver online, ou seja, se o seu heartbeat estiver a chegar, o cockpit mostra os feeds das câmaras e a interface de controlo. Os operadores usam-no durante as sessões; os clientes usam o mesmo cockpit para testar os seus próprios braços depois do emparelhamento ou entre reservas.

Se quiser sentir os controlos sem uma conta, há uma demonstração pública em /live. Controla o braço follower de uma instalação de demonstração real, por isso o que vê ali é o caminho de controlo de produção, não uma simulação.

Controlo por teclado: impulsos e cooldown

O controlo é baseado em impulsos. Uma tecla premida envia um impulso limitado a uma junta, seguido de um curto cooldown antes de o impulso seguinte ser aplicado. Manter uma tecla premida repete impulsos à taxa do cooldown. O braço move-se, portanto, em incrementos pequenos e previsíveis, em vez de seguir continuamente a sua tecla.

Este design é deliberado. Numa ligação de rede, um sinal de controlo contínuo transforma picos de latência em overshoot: o braço continua a mover-se com base numa entrada desatualizada. Impulsos limitados limitam a distância que qualquer comando único pode levar o braço, o que torna o controlo previsível mesmo quando a ligação oscila, e numa ligação decente a latência é suficientemente baixa para um controlo natural. O mapa de teclas ativo é mostrado no cockpit, por isso nunca precisa de memorizar atalhos.

Técnica prática: pense em toques, não em pressões contínuas. Toque na direção do alvo, observe o resultado, toque de novo. Operadores que lutam contra o cooldown martelando teclas produzem exatamente as trajetórias bruscas que pioram os datasets; operadores que trabalham com ele produzem episódios suaves e revíveis.

Câmaras e qualidade do stream

O cockpit mostra todas as câmaras do robô numa grelha; clique num mosaico para mudar para uma vista de câmara única e voltar. Os nomes das câmaras vêm da configuração do cliente, por isso um robô bem configurado dá-lhe mosaicos como wrist e scene em vez de números anónimos. A vista a usar é uma questão da fase da tarefa: a vista scene para aproximação e orientação, a vista wrist para trabalho fino em torno da preensão.

Um cursor de qualidade troca qualidade de imagem por latência. Qualidade mais baixa significa menos dados por frame e um feed mais ágil; qualidade mais alta significa mais detalhe mas mais atraso. Para controlo ativo, incline para a capacidade de resposta; para inspecionar uma cena com o braço parado, aumente a qualidade. A definição certa depende da sua ligação, e é por isso que é um cursor e não um valor fixo.

Espelhamento leader e follower

Para instalações locais com dois braços, a plataforma suporta espelhamento: move um braço leader à mão e o follower reproduz o movimento. É a configuração clássica para gravar dados de imitation learning, porque o movimento da mão humana através de um braço leader é muito mais suave do que qualquer entrada baseada em teclas.

1. 1
   Coloque ambos os braços na mesma posição inicial

   Guie fisicamente o leader e o follower para posições correspondentes. Quanto mais próxima a correspondência, mais rápido se conclui o passo seguinte.

2. 2
   Ative o espelhamento no cockpit

   A plataforma começa a comparar as posições das juntas entre os dois braços, mas o follower ainda não se move.

3. 3
   Aguarde a libertação

   O espelhamento só se ativa quando cada par de juntas está próximo. Este bloqueio impede que o follower salte violentamente para a posição do leader no momento em que o espelhamento é ligado.

4. 4
   Controle o leader

   Mova o leader à mão; o follower acompanha-o. Trabalhe de forma deliberada, como faria ao teleoperar remotamente: a suavidade do movimento da sua mão é exatamente o que acaba no dataset.

Modo direto e o proxy

O cockpit tem dois caminhos de transporte. No modo direto o browser transmite diretamente a partir do robô, que é o caminho de menor latência e ativa-se automaticamente quando o robô é alcançável a partir da sua rede, por exemplo na mesma LAN. Quando não é alcançável, a ligação passa antes pelo proxy da plataforma. A alternativa é automática e não precisa de configuração; simplesmente obtém o melhor caminho disponível a partir de onde está.

Paragem de emergência

O cockpit tem uma paragem de emergência que interrompe imediatamente o fluxo de comandos para o robô. Recorra a ela sempre que o braço estiver a fazer algo que não pretendia, antes de analisar porquê. Depois de uma paragem, retome o controlo de forma deliberada assim que a cena estiver segura.

Perguntas frequentes