Živá teleoperácia

Kokpit v prehliadači

Otvorte prostredie a prepnite na kartu Control. Ak je robot online, čiže jeho heartbeat prichádza, kokpit zobrazí kamerové streamy a ovládacie rozhranie. Operátori ho používajú počas relácií; klienti používajú ten istý kokpit na otestovanie vlastných ramien po spárovaní alebo medzi rezerváciami.

Ak si chcete ovládanie vyskúšať bez účtu, existuje verejné demo na /live. Ovláda sledovacie rameno skutočného demo pracoviska, takže to, čo tam vidíte, je skutočná produkčná cesta ovládania, nie simulácia.

Ovládanie klávesnicou: impulzy a chladnutie

Ovládanie je založené na impulzoch. Stlačenie klávesu pošle jeden ohraničený impulz do kĺbu a nasleduje krátke obdobie chladnutia, kým sa použije ďalší impulz. Podržanie klávesu opakuje impulzy rýchlosťou chladnutia. Rameno sa preto pohybuje v malých, predvídateľných krokoch namiesto toho, aby priebežne sledovalo stlačenie klávesu.

Tento návrh je zámerný. Cez sieťové pripojenie mení nepretržitý riadiaci signál výkyvy latencie na preskočenie: rameno sa naďalej pohybuje podľa zastaraného vstupu. Ohraničené impulzy obmedzujú, ako ďaleko môže jediný príkaz rameno posunúť, čo robí ovládanie predvídateľným aj vtedy, keď pripojenie kolíše, a na slušnom pripojení je latencia dosť nízka na prirodzené ovládanie. Aktívna mapa klávesov sa zobrazuje v kokpite, takže si väzby nikdy nemusíte pamätať.

Praktická technika: myslite v ťuknutiach, nie v podržaniach. Ťuknite smerom k cieľu, sledujte výsledok, ťuknite znova. Operátori, ktorí bojujú s chladnutím búchaním do klávesov, produkujú presne tie trhavé trajektórie, ktoré datasety zhoršujú; operátori, ktorí s ním pracujú, produkujú plynulé epizódy vhodné na kontrolu.

Kamery a kvalita streamu

Kokpit zobrazuje všetky kamery robota v mriežke; kliknutím na dlaždicu prepnete na zobrazenie jednej kamery a späť. Názvy kamier pochádzajú z nastavenia klienta, takže dobre nakonfigurovaný robot vám ponúkne dlaždice ako zápästie a scéna namiesto anonymných čísel. Ktorý pohľad použiť, závisí od fázy úlohy: pohľad scény pri priblížení a orientácii, pohľad zápästia pri jemnej práci okolo uchopenia.

Posuvník kvality vymieňa kvalitu obrazu za latenciu. Nižšia kvalita znamená menej dát na snímku a pružnejší stream; vyššia kvalita znamená viac detailov, ale viac oneskorenia. Pri aktívnom ovládaní preferujte odozvu; pri kontrole scény, kým rameno stojí, kvalitu zvýšte. Správne nastavenie závisí od vášho pripojenia, preto je to posuvník, a nie pevná hodnota.

Zrkadlenie vodiaceho a sledovacieho ramena

Pre lokálne pracoviská s dvomi ramenami platforma podporuje zrkadlenie: vodiace rameno pohybujete rukou a sledovacie rameno pohyb reprodukuje. Toto je klasické nastavenie na nahrávanie dát pre imitačné učenie, pretože pohyb ľudskej ruky cez vodiace rameno je oveľa plynulejší než akýkoľvek vstup z klávesnice.

1. 1
   Priveďte obe ramená do rovnakej východiskovej polohy

   Fyzicky nasmerujte vodiace a sledovacie rameno do zhodných pozícií. Čím bližšia zhoda, tým rýchlejšie sa dokončí ďalší krok.

2. 2
   Zapnite zrkadlenie v kokpite

   Platforma začne porovnávať pozície kĺbov medzi oboma ramenami, no sledovacie rameno sa ešte nehýbe.

3. 3
   Počkajte na uvoľnenie

   Zrkadlenie sa zapne, až keď je každý pár kĺbov blízko seba. Táto poistka zabraňuje tomu, aby sledovacie rameno prudko preskočilo do polohy vodiaceho ramena vo chvíli, keď sa zrkadlenie zapne.

4. 4
   Riaďte vodiace rameno

   Pohybujte vodiacim ramenom rukou; sledovacie rameno ho sleduje. Pracujte rozvážne, tak, ako by ste to robili pri vzdialenej teleoperácii: plynulosť pohybu vašej ruky je presne to, čo sa napokon ocitne v datasete.

Priamy režim a proxy

Kokpit má dve prenosové cesty. V priamom režime prehliadač streamuje priamo z robota, čo je cesta s najnižšou latenciou a zapína sa automaticky, keď je robot dosiahnuteľný z vašej siete, napríklad v rovnakej LAN. Keď dosiahnuteľný nie je, pripojenie namiesto toho beží cez proxy platformy. Prepnutie je automatické a nevyžaduje žiadnu konfiguráciu; jednoducho dostanete najlepšiu dostupnú cestu z miesta, kde sa nachádzate.

Núdzové zastavenie

Kokpit má núdzové zastavenie, ktoré okamžite zastaví tok príkazov k robotovi. Siahnite po ňom vždy, keď rameno robí niečo, čo ste nezamýšľali, ešte pred tým, ako analyzujete prečo. Po zastavení obnovte ovládanie rozvážne, len čo je scéna bezpečná.

Časté otázky