Teleoperacija uživo

Kokpit u pregledaču

Otvorite okruženje i pređite na karticu Control. Ako je robot online, što znači da njegov heartbeat stiže, kokpit prikazuje slike sa kamera i interfejs za upravljanje. Operateri ga koriste tokom sesija; klijenti isti kokpit koriste za testiranje sopstvenih ruku nakon uparivanja ili između rezervacija.

Ako želite da osetite upravljanje bez naloga, postoji javna demonstracija na /live. Ona upravlja follower rukom pravog demo postava, pa ono što tamo vidite jeste produkcioni put upravljanja, a ne simulacija.

Upravljanje tastaturom: impulsi i cooldown

Upravljanje je zasnovano na impulsima. Pritisak tastera šalje jedan ograničen impuls zglobu, nakon čega sledi kratak cooldown pre sledećeg impulsa. Držanje tastera ponavlja impulse brzinom cooldown-a. Ruka se stoga kreće u malim, predvidljivim koracima, umesto da kontinuirano prati vaš pritisak tastera.

Ovaj dizajn je namerаn. Preko mrežne veze, kontinuirani signal upravljanja pretvara skokove latencije u preskakanje cilja: ruka nastavlja da se kreće na osnovu zastarelog unosa. Ograničeni impulsi ograničavaju koliko daleko bilo koja pojedinačna komanda može da odvede ruku, što upravljanje čini predvidljivim čak i kada veza podrhtava, a na pristojnoj vezi latencija je dovoljno niska za prirodno upravljanje. Aktivna mapa tastera je prikazana u kokpitu, pa nikada ne morate da pamtite prečice.

Praktična tehnika: razmišljajte u dodirima, ne u držanju. Dodirnite ka cilju, posmatrajte rezultat, dodirnite ponovo. Operateri koji se bore protiv cooldown-a udaranjem po tasterima proizvode upravo trzave putanje koje pogoršavaju dataset-ove; operateri koji rade sa njim proizvode glatke, pregledne epizode.

Kamere i kvalitet stream-a

Kokpit prikazuje sve kamere robota u mreži; kliknite pločicu da biste se prebacili na prikaz jedne kamere i nazad. Nazivi kamera dolaze iz podešavanja klijenta, pa vam dobro konfigurisan robot daje pločice poput wrist i scene umesto anonimnih brojeva. Koji prikaz koristiti pitanje je faze zadatka: prikaz scene za prilaz i orijentaciju, prikaz wrist za fini rad oko hvatanja.

Klizač kvaliteta menja kvalitet slike za latenciju. Niži kvalitet znači manje podataka po kadru i brži prenos; viši kvalitet znači više detalja, ali više kašnjenja. Za aktivno upravljanje naginjite ka odzivnosti; za pregledanje scene dok robot miruje, povećajte kvalitet. Prava postavka zavisi od vaše veze, zato je to klizač, a ne fiksna vrednost.

Zrcaljenje leader i follower ruke

Za lokalne postavke sa dve ruke, platforma podržava zrcaljenje: leader ruku pomerate rukom, a follower reprodukuje pokret. Ovo je klasična postavka za snimanje podataka za imitation learning, jer je pokret ljudske ruke kroz leader ruku daleko gladji od bilo kog unosa zasnovanog na tasterima.

1. 1
   Dovedite obe ruke u isti početni položaj

   Fizički vodite leader i follower ruku u odgovarajuće položaje. Što je poklapanje bliže, brže se dovršava sledeći korak.

2. 2
   Omogućite zrcaljenje u kokpitu

   Platforma počinje da upoređuje položaje zglobova između dve ruke, ali follower se još ne pomera.

3. 3
   Sačekajte otpuštanje

   Zrcaljenje se uključuje tek kada je svaki par zglobova blizu jedan drugom. Ova brava sprečava da follower naglo skoči u leader položaj u trenutku kada se zrcaljenje uključi.

4. 4
   Vodite leader ruku

   Pomerajte leader ruku rukom; follower je prati. Radite namerno, kao što biste kod udaljenog teleoperisanja: glatkoća pokreta vaše ruke je tačno ono što završava u dataset-u.

Direktni režim i proxy

Kokpit ima dva transportna puta. U direktnom režimu pregledač stream-uje direktno sa robota, što je put sa najmanjom latencijom i uključuje se automatski kada je robot dostupan iz vaše mreže, na primer na istom LAN-u. Kada nije dostupan, veza umesto toga ide kroz proxy platforme. Prebacivanje je automatsko i ne zahteva podešavanje; jednostavno dobijate najbolji dostupan put odande gde se nalazite.

Hitno zaustavljanje

Kokpit ima hitno zaustavljanje koje odmah zaustavlja tok komandi ka robotu. Posegnite za njim kad god ruka radi nešto što niste nameravali, pre nego što analizirate zašto. Nakon zaustavljanja, nastavite sa upravljanjem namerno tek kada je scena bezbedna.

Često postavljana pitanja