Teleoperacija uživo

Kokpit u pregledniku

Otvorite okruženje i prebacite se na karticu Control. Ako je robot online, što znači da njegov heartbeat stiže, kokpit prikazuje slike s kamera i sučelje za upravljanje. Operateri ga koriste tijekom sesija; klijenti isti kokpit koriste za testiranje vlastitih ruku nakon uparivanja ili između rezervacija.

Ako želite osjetiti upravljanje bez računa, postoji javna demonstracija na /live. Ona upravlja follower rukom pravog demo postava, pa ono što tamo vidite jest produkcijski put upravljanja, a ne simulacija.

Upravljanje tipkovnicom: impulsi i cooldown

Upravljanje je temeljeno na impulsima. Pritisak tipke šalje jedan ograničeni impuls zglobu, nakon čega slijedi kratak cooldown prije sljedećeg impulsa. Držanje tipke ponavlja impulse brzinom cooldowna. Ruka se stoga kreće u malim, predvidljivim koracima, umjesto da kontinuirano prati vaš pritisak tipke.

Ovaj dizajn je namjeran. Preko mrežne veze, kontinuirani signal upravljanja pretvara skokove latencije u preskok cilja: ruka nastavlja se kretati na temelju zastarjelog unosa. Ograničeni impulsi ograničavaju koliko daleko bilo koja pojedinačna naredba može odvesti ruku, što upravljanje čini predvidljivim čak i kad veza podrhtava, a na pristojnoj vezi latencija je dovoljno niska za prirodno upravljanje. Aktivna mapa tipki prikazana je u kokpitu, pa nikad ne morate pamtiti prečace.

Praktična tehnika: razmišljajte u dodirima, ne u držanju. Dotaknite prema cilju, promotrite rezultat, dotaknite ponovno. Operateri koji se bore protiv cooldowna udaranjem po tipkama proizvode upravo trzave putanje koje pogoršavaju datasetove; operateri koji rade s njim proizvode glatke, pregledne epizode.

Kamere i kvaliteta streama

Kokpit prikazuje sve kamere robota u mreži; kliknite pločicu za prebacivanje na prikaz jedne kamere i natrag. Nazivi kamera dolaze iz postavki klijenta, pa vam dobro konfiguriran robot daje pločice poput wrist i scene umjesto anonimnih brojeva. Koji prikaz koristiti pitanje je faze zadatka: prikaz scene za prilaz i orijentaciju, prikaz wrist za fini rad oko hvatanja.

Klizač kvalitete mijenja kvalitetu slike za latenciju. Niža kvaliteta znači manje podataka po kadru i brži prijenos; viša kvaliteta znači više detalja, ali više kašnjenja. Za aktivno upravljanje naginjite prema odzivnosti; za pregledavanje scene dok ruka miruje, povećajte kvalitetu. Ispravna postavka ovisi o vašoj vezi, zato je to klizač, a ne fiksna vrijednost.

Zrcaljenje leader i follower ruke

Za lokalne postave s dvije ruke, platforma podržava zrcaljenje: leader ruku pomičete rukom, a follower reproducira pokret. Ovo je klasičan postav za snimanje podataka za imitation learning, jer je pokret ljudske ruke kroz leader ruku daleko glađi od bilo kojeg unosa temeljenog na tipkama.

1. 1
   Dovedite obje ruke u isti početni položaj

   Fizički vodite leader i follower ruku u odgovarajuće položaje. Što je podudaranje bliže, brže se dovršava sljedeći korak.

2. 2
   Omogućite zrcaljenje u kokpitu

   Platforma počinje uspoređivati položaje zglobova između dviju ruku, ali follower se još ne pomiče.

3. 3
   Pričekajte otpuštanje

   Zrcaljenje se uključuje tek kad je svaki par zglobova blizu jedan drugome. Ova brava sprječava da follower naglo skoči u leader položaj u trenutku kad se zrcaljenje uključi.

4. 4
   Vodite leader ruku

   Pomičite leader ruku rukom; follower je prati. Radite namjerno, kao što biste kod udaljenog teleoperiranja: glatkoća pokreta vaše ruke točno je ono što završava u datasetu.

Direktni način i proxy

Kokpit ima dva prijenosna puta. U direktnom načinu preglednik streama izravno s robota, što je put s najmanjom latencijom i uključuje se automatski kad je robot dostupan iz vaše mreže, primjerice na istom LAN-u. Kad nije dostupan, veza umjesto toga ide kroz proxy platforme. Prebacivanje je automatsko i ne zahtijeva postavljanje; jednostavno dobivate najbolji dostupan put odande gdje se nalazite.

Hitno zaustavljanje

Kokpit ima hitno zaustavljanje koje odmah zaustavlja tijek naredbi prema robotu. Posegnite za njim kad god ruka radi nešto što niste namjeravali, prije nego što analizirate zašto. Nakon zaustavljanja, nastavite s upravljanjem namjerno tek kad je scena sigurna.

Često postavljana pitanja