Teleoperacja na żywo

Kokpit w przeglądarce

Otwórz środowisko i przełącz się na kartę Control. Jeśli robot jest online, czyli dociera jego heartbeat, kokpit pokazuje obraz z kamer i interfejs sterowania. Operatorzy używają go podczas sesji; klienci używają tego samego kokpitu, by przetestować własne ramiona po sparowaniu lub między rezerwacjami.

Jeśli chcesz poczuć sterowanie bez konta, dostępne jest publiczne demo na /live. Steruje ono ramieniem follower prawdziwego stanowiska demonstracyjnego, więc to, co tam widzisz, jest ścieżką sterowania produkcyjnego, a nie symulacją.

Sterowanie klawiaturą: impulsy i cooldown

Sterowanie jest oparte na impulsach. Naciśnięcie klawisza wysyła jeden ograniczony impuls do przegubu, po którym następuje krótki cooldown, zanim zostanie zastosowany kolejny impuls. Przytrzymanie klawisza powtarza impulsy z częstotliwością cooldownu. Ramię porusza się więc małymi, przewidywalnymi krokami, zamiast ciągle podążać za naciśniętym klawiszem.

Ten projekt jest świadomy. Przez połączenie sieciowe ciągły sygnał sterujący zamienia skoki opóźnienia w overshoot: ramię wciąż się porusza na podstawie nieaktualnego wejścia. Ograniczone impulsy ograniczają, jak daleko może przesunąć ramię pojedyncze polecenie, co czyni sterowanie przewidywalnym nawet przy chwiejnym połączeniu, a przy przyzwoitym połączeniu opóźnienie jest wystarczająco niskie dla naturalnego sterowania. Aktywna mapa klawiszy jest wyświetlana w kokpicie, więc nigdy nie musisz zapamiętywać przypisań.

Praktyczna technika: myśl w kategoriach stuknięć, nie przytrzymań. Stuknij w kierunku celu, obserwuj efekt, stuknij ponownie. Operatorzy, którzy walczą z cooldownem, waląc w klawisze, produkują dokładnie te szarpane trajektorie, które pogarszają datasety; operatorzy, którzy z nim współpracują, produkują płynne, łatwe do przejrzenia epizody.

Kamery i jakość strumienia

Kokpit pokazuje wszystkie kamery robota w siatce; kliknij kafelek, żeby przełączyć się na widok pojedynczej kamery i z powrotem. Nazwy kamer pochodzą z konfiguracji klienta, więc dobrze skonfigurowany robot daje Ci kafelki takie jak wrist i scene zamiast anonimowych numerów. Który widok wybrać, zależy od fazy zadania: widok scene do podejścia i orientacji, widok wrist do precyzyjnej pracy wokół chwytu.

Suwak jakości wymienia jakość obrazu na opóźnienie. Niższa jakość oznacza mniej danych na klatkę i bardziej responsywny obraz; wyższa jakość oznacza więcej szczegółów, ale większe opóźnienie. Przy aktywnym sterowaniu przechyl się w stronę responsywności; przy oglądaniu sceny, gdy ramię jest bezczynne, zwiększ jakość. Właściwe ustawienie zależy od Twojego połączenia, dlatego to suwak, a nie stała wartość.

Odzwierciedlanie leader i follower

Dla lokalnych stanowisk z dwoma ramionami platforma obsługuje odzwierciedlanie: poruszasz ramieniem leader ręcznie, a follower odtwarza ten ruch. To klasyczna konfiguracja do nagrywania danych imitation learning, ponieważ ruch ludzkiej dłoni przez ramię leader jest o wiele płynniejszy niż jakiekolwiek wejście oparte na klawiszach.

1. 1
   Ustaw oba ramiona w tej samej pozycji startowej

   Fizycznie naprowadź leader i follower na zgodne pozycje. Im bliższe dopasowanie, tym szybciej zakończy się kolejny krok.

2. 2
   Włącz odzwierciedlanie w kokpicie

   Platforma zaczyna porównywać pozycje przegubów obu ramion, ale follower jeszcze się nie porusza.

3. 3
   Poczekaj na zwolnienie

   Odzwierciedlanie włącza się dopiero, gdy każda para przegubów jest blisko siebie. Ta blokada zapobiega gwałtownemu przeskoczeniu followera do pozycji leadera w chwili włączenia odzwierciedlania.

4. 4
   Steruj leaderem

   Poruszaj leaderem ręcznie; follower go śledzi. Pracuj świadomie, tak jak podczas zdalnej teleoperacji: płynność ruchu Twojej dłoni to dokładnie to, co trafia do datasetu.

Tryb bezpośredni i proxy

Kokpit ma dwie ścieżki transportu. W trybie bezpośrednim przeglądarka strumieniuje wprost z robota, co jest ścieżką o najniższym opóźnieniu i włącza się automatycznie, gdy robot jest osiągalny z Twojej sieci, na przykład w tym samym LAN. Gdy nie jest osiągalny, połączenie idzie zamiast tego przez proxy platformy. Przełączenie zapasowe jest automatyczne i nie wymaga konfiguracji; po prostu otrzymujesz najlepszą dostępną ścieżkę z miejsca, w którym się znajdujesz.

Wyłącznik awaryjny

Kokpit ma wyłącznik awaryjny, który natychmiast wstrzymuje przepływ poleceń do robota. Sięgnij po niego, gdy tylko ramię robi coś, czego nie zamierzałeś, zanim zaczniesz analizować dlaczego. Po zatrzymaniu wznów sterowanie świadomie, gdy scena jest bezpieczna.

Najczęściej zadawane pytania