Live teleoperation

Ang browser cockpit

Buksan ang environment at lumipat sa Control tab. Kung online ang robot, ibig sabihin ay dumarating ang heartbeat nito, ipinapakita ng cockpit ang camera feed at control interface. Ginagamit ito ng mga operator habang may session; ginagamit ng mga kliyente ang parehong cockpit para subukan ang sarili nilang arm matapos mag-pair o sa pagitan ng mga booking.

Kung gusto mong maranasan ang mga control nang walang account, may public demo sa /live. Pinapatakbo nito ang follower arm ng isang totoong demo rig, kaya ang nakikita mo doon ang production control path, hindi simulation.

Keyboard control: impulse at cooldown

Impulse-based ang control. Nagpapadala ang isang keypress ng isang bounded na impulse sa isang joint, at sumusunod ang maikling cooldown bago ang susunod na impulse. Uulit ang impulse sa cooldown rate kung pinipindot mo nang matagal ang key. Kaya't gumagalaw ang arm sa maliliit, predictable na dagdag sa halip na sumusunod sa key press mo nang tuloy-tuloy.

Sinasadya ang disenyong ito. Sa isang network connection, ginagawang overshoot ng continuous control signal ang mga latency spike: patuloy na gumagalaw ang arm sa stale input. Nililimitahan ng bounded impulse kung gaano kalayo ang maidadala ng kahit anong isang command sa arm, na nagpapanatiling predictable ang control kahit umuungol ang koneksyon, at sa disenteng koneksyon, sapat na mababa ang latency para sa natural na control. Ipinapakita sa cockpit ang aktibong key map, kaya hindi mo na kailangang memoryahin ang mga binding.

Praktikal na teknik: mag-isip sa tap, hindi hold. Mag-tap papunta sa target, panoorin ang resulta, mag-tap ulit. Ang mga operator na lumalaban sa cooldown sa pamamagitan ng pagmamartilyo ng key ay gumagawa nang eksakto ng jerky trajectory na nagpapasama sa dataset; ang mga operator na gumagawa nang tugma dito ay gumagawa ng maayos, mareresenyang episode.

Camera at kalidad ng stream

Ipinapakita ng cockpit ang lahat ng camera ng robot sa isang grid; i-click ang isang tile para lumipat sa single-camera view at bumalik. Galing sa client setup ang mga pangalan ng camera, kaya't bibigyan ka ng maayos na na-configure na robot ng mga tile tulad ng wrist at scene sa halip na anonymous na numero. Depende sa phase ng gawain kung anong view ang gagamitin: ang scene view para sa paglapit at pag-orient, ang wrist view para sa maiinam na trabaho sa paligid ng grasp.

Ipinagpapalit ng quality slider ang kalidad ng imahe sa latency. Mas kaunting data kada frame at mas mabilis na feed ang ibig sabihin ng mas mababang kalidad; mas maraming detalye pero mas maraming delay ang ibig sabihin ng mas mataas na kalidad. Para sa aktibong control, umayon sa responsiveness; para sa pagsusuri ng eksena habang idle ang arm, itaas ang kalidad. Depende sa koneksyon mo ang tamang setting, kaya slider ito at hindi fixed na value.

Leader at follower mirroring

Para sa lokal na rig na may dalawang arm, sinusuportahan ng platform ang mirroring: iginagalaw mo gamit ang kamay ang leader arm at gina-gaya ito ng follower. Ito ang klasikong setup para sa pag-record ng imitation learning data, dahil mas maayos ang paggalaw ng kamay ng tao sa pamamagitan ng leader arm kaysa sa anumang key-based na input.

1. 1
   Dalhin ang dalawang arm sa parehong start pose

   Physically na gabayan ang leader at follower papunta sa magkatugmang posisyon. Kung mas magkatugma, mas mabilis matatapos ang susunod na hakbang.

2. 2
   I-enable ang mirroring sa cockpit

   Sisimulan ng platform na ikumpara ang joint position ng dalawang arm, pero hindi pa gagalaw ang follower.

3. 3
   Hintayin ang release

   Nagki-kick in lang ang mirroring kapag magkalapit na ang bawat pares ng joint. Pinipigilan ng gate na ito na biglang matalon ang follower papunta sa pose ng leader sa sandaling mag-on ang mirroring.

4. 4
   Patakbuhin ang leader

   Igalaw ang leader gamit ang kamay; susundan ito ng follower. Magtrabaho nang sinasadya, gaya ng gagawin mo kapag remote na nagte-teleoperate: eksaktong ang smoothness ng paggalaw ng kamay mo ang mapupunta sa dataset.

Direct mode at ang proxy

May dalawang transport path ang cockpit. Sa direct mode, direktang nag-i-stream ang browser mula sa robot, na siyang pinakamababang latency path at umaandar nang automatic kapag naaabot ang robot mula sa network mo, halimbawa sa parehong LAN. Kapag hindi ito naaabot, dumadaan na lang ang koneksyon sa platform proxy. Automatic ang fallback at walang kailangang i-configure; makukuha mo lang ang pinakamagandang path na available mula sa kinaroroonan mo.

Emergency stop

May emergency stop ang cockpit na agad na humihinto sa daloy ng command papunta sa robot. Puntahan ito kapag may ginagawa ang arm na hindi mo intensyon, bago mo pa suriin kung bakit. Matapos ang isang stop, i-resume ang control nang sinasadya kapag ligtas na ang eksena.

Mga madalas itanong