Živá teleoperace

Prohlížečový kokpit

Otevřete prostředí a přepněte na záložku Control. Pokud je robot online, tedy přichází jeho heartbeat, kokpit ukáže obraz z kamer a ovládací rozhraní. Operátoři ho používají během session; klienti stejný kokpit používají k otestování vlastních ramen po spárování nebo mezi rezervacemi.

Pokud si chcete ovládání vyzkoušet bez účtu, existuje veřejná demoverze na /live. Ovládá follower rameno skutečného demo pracoviště, takže to, co tam vidíte, je produkční cesta řízení, ne simulace.

Ovládání klávesnicí: impulzy a cooldown

Ovládání je založené na impulzech. Stisk klávesy pošle jeden omezený impulz do kloubu a poté následuje krátký cooldown, než se použije další impulz. Podržení klávesy opakuje impulzy rychlostí cooldownu. Rameno se tak pohybuje malými, předvídatelnými kroky, místo aby plynule sledovalo váš stisk.

Tento návrh je záměrný. Přes síťové připojení se spojitý řídicí signál při výpadku latence mění v přestřelení: rameno pokračuje v pohybu podle zastaralého vstupu. Omezené impulzy shora ohraničují, jak daleko může kterýkoli jednotlivý příkaz rameno posunout, což dělá ovládání předvídatelným i při kolísajícím připojení, a na slušném připojení je latence dost nízká na přirozené ovládání. Aktivní mapa kláves se zobrazuje v kokpitu, takže si vazby nikdy nemusíte pamatovat.

Praktická technika: přemýšlejte v ťuknutích, ne v podržení. Ťukněte směrem k cíli, sledujte výsledek, ťukněte znovu. Operátoři, kteří bojují s cooldownem tím, že bucharí klávesy, produkují přesně ty trhané trajektorie, které dataset zhoršují; operátoři, kteří s ním pracují, produkují plynulé, dobře kontrolovatelné epizody.

Kamery a kvalita streamu

Kokpit zobrazuje všechny kamery robota v mřížce; kliknutím na dlaždici přepnete na pohled jedné kamery a zpět. Názvy kamer pochází z nastavení klienta, takže dobře nakonfigurovaný robot dá dlaždice jako wrist a scene, ne anonymní čísla. Který pohled použít, záleží na fázi úkolu: pohled scene pro přiblížení a orientaci, pohled wrist pro jemnou práci kolem úchopu.

Posuvník kvality vyměňuje kvalitu obrazu za latenci. Nižší kvalita znamená méně dat na snímek a svižnější přenos; vyšší kvalita znamená víc detailů, ale víc zpoždění. Pro aktivní řízení volte spíš odezvu; při prohlížení scény, zatímco rameno stojí, kvalitu zvyšte. Správné nastavení závisí na vašem připojení, proto jde o posuvník, ne o pevnou hodnotu.

Zrcadlení leader a follower

U lokálních pracovišť se dvěma rameny platforma podporuje zrcadlení: leader rameno pohybujete rukou a follower pohyb reprodukuje. Je to klasické nastavení pro nahrávání dat pro imitation learning, protože pohyb lidské ruky přes leader rameno je mnohem plynulejší než jakýkoli vstup z klávesnice.

1. 1
   Nastavte obě ramena do stejné výchozí polohy

   Fyzicky nasměrujte leader a follower do odpovídajících poloh. Čím bližší shoda, tím rychleji se dokončí další krok.

2. 2
   Zapněte zrcadlení v kokpitu

   Platforma začne porovnávat polohy kloubů mezi oběma rameny, ale follower se ještě nehýbe.

3. 3
   Počkejte na uvolnění

   Zrcadlení se zapojí, jen když je každý pár kloubů blízko sebe. Tato pojistka brání tomu, aby se follower ve chvíli zapnutí zrcadlení prudce přeskočil do polohy leaderu.

4. 4
   Řiďte leader

   Pohybujte leaderem rukou; follower ho sleduje. Pracujte uvážlivě, jako byste teleoperovali na dálku: plynulost pohybu vaší ruky je přesně to, co skončí v datasetu.

Přímý režim a proxy

Kokpit má dvě přenosové cesty. V přímém režimu prohlížeč streamuje rovnou z robota, což je cesta s nejnižší latencí a automaticky se zapojí, když je robot dosažitelný z vaší sítě, například ve stejné LAN. Když dosažitelný není, spojení místo toho běží přes proxy platformy. Přepnutí je automatické a nevyžaduje žádné nastavení; jednoduše dostanete nejlepší dostupnou cestu z místa, kde právě jste.

Nouzové zastavení

Kokpit má nouzové zastavení, které okamžitě přeruší tok příkazů k robotovi. Sáhněte po něm vždy, když rameno dělá něco, co jste nezamýšleli, ještě dřív, než rozeberete proč. Po zastavení obnovte řízení uvážlivě, jakmile je scéna bezpečná.

Časté dotazy