Τηλεχειρισμός σε πραγματικό χρόνο

Το cockpit του browser

Ανοίξτε ένα περιβάλλον και μεταβείτε στην καρτέλα Control. Αν το ρομπότ είναι online, δηλαδή το heartbeat του φτάνει, το cockpit δείχνει τις ροές καμερών και τη διεπαφή ελέγχου. Οι χειριστές το χρησιμοποιούν κατά τις συνεδρίες· οι πελάτες χρησιμοποιούν το ίδιο cockpit για να δοκιμάσουν τους δικούς τους βραχίονες μετά τη σύζευξη ή ανάμεσα σε κρατήσεις.

Αν θέλετε να νιώσετε τους χειρισμούς χωρίς λογαριασμό, υπάρχει ένα δημόσιο demo στο /live. Οδηγεί τον βραχίονα follower μιας πραγματικής εγκατάστασης demo, οπότε αυτό που βλέπετε εκεί είναι η πραγματική διαδρομή ελέγχου παραγωγής, όχι μια προσομοίωση.

Έλεγχος πληκτρολογίου: impulses και cooldown

Ο έλεγχος βασίζεται σε impulses. Ένα πάτημα πλήκτρου στέλνει ένα οριοθετημένο impulse σε μια άρθρωση, και ακολουθεί ένα σύντομο cooldown πριν εφαρμοστεί το επόμενο impulse. Το κράτημα ενός πλήκτρου επαναλαμβάνει impulses με τον ρυθμό του cooldown. Ο βραχίονας επομένως κινείται σε μικρά, προβλέψιμα βήματα αντί να ακολουθεί συνεχώς το πάτημα του πλήκτρου σας.

Αυτός ο σχεδιασμός είναι σκόπιμος. Πάνω σε μια σύνδεση δικτύου, ένα συνεχές σήμα ελέγχου μετατρέπει τις αιχμές καθυστέρησης σε υπερβολική κίνηση: ο βραχίονας συνεχίζει να κινείται με μπαγιάτικη εισαγωγή. Τα οριοθετημένα impulses περιορίζουν πόσο μακριά μπορεί να πάει τον βραχίονα οποιαδήποτε μεμονωμένη εντολή, κάτι που κάνει τον έλεγχο προβλέψιμο ακόμα κι όταν η σύνδεση κλυδωνίζεται, και σε μια καλή σύνδεση η καθυστέρηση είναι αρκετά χαμηλή για φυσικό έλεγχο. Ο ενεργός χάρτης πλήκτρων εμφανίζεται στο cockpit, οπότε δεν χρειάζεται ποτέ να απομνημονεύσετε αντιστοιχίσεις.

Πρακτική τεχνική: σκεφτείτε σε χτυπήματα, όχι κρατήματα. Χτυπήστε προς τον στόχο, παρατηρήστε το αποτέλεσμα, χτυπήστε ξανά. Χειριστές που παλεύουν με το cooldown σφυροκοπώντας πλήκτρα παράγουν ακριβώς τις απότομες τροχιές που χειροτερεύουν τα datasets· χειριστές που δουλεύουν μαζί του παράγουν ομαλά, ελέγξιμα επεισόδια.

Κάμερες και ποιότητα ροής

Το cockpit δείχνει όλες τις κάμερες του ρομπότ σε πλέγμα· κάντε κλικ σε ένα πλακίδιο για να μεταβείτε σε προβολή μίας κάμερας και πίσω. Τα ονόματα καμερών προέρχονται από τη ρύθμιση του πελάτη, οπότε ένα καλά ρυθμισμένο ρομπότ σάς δίνει πλακίδια όπως wrist και scene αντί για ανώνυμους αριθμούς. Ποια προβολή να χρησιμοποιήσετε είναι θέμα φάσης εργασίας: την προβολή scene για προσέγγιση και προσανατολισμό, την προβολή wrist για λεπτή δουλειά γύρω από το πιάσιμο.

Ένας ρυθμιστής ποιότητας ανταλλάσσει ποιότητα εικόνας με καθυστέρηση. Χαμηλότερη ποιότητα σημαίνει λιγότερα δεδομένα ανά καρέ και μια πιο ζωηρή ροή· υψηλότερη ποιότητα σημαίνει περισσότερη λεπτομέρεια αλλά περισσότερη καθυστέρηση. Για ενεργό έλεγχο, γείρετε προς την ανταπόκριση· για επιθεώρηση μιας σκηνής όσο ο βραχίονας είναι αδρανής, ανεβάστε την ποιότητα. Η σωστή ρύθμιση εξαρτάται από τη σύνδεσή σας, γι᾽ αυτό είναι ρυθμιστής και όχι σταθερή τιμή.

Αντικατοπτρισμός leader και follower

Για τοπικές εγκαταστάσεις με δύο βραχίονες, η πλατφόρμα υποστηρίζει αντικατοπτρισμό: μετακινείτε έναν βραχίονα leader με το χέρι και ο follower αναπαράγει την κίνηση. Αυτή είναι η κλασική εγκατάσταση για καταγραφή δεδομένων μάθησης μίμησης, γιατί η κίνηση ανθρώπινου χεριού μέσω ενός βραχίονα leader είναι πολύ πιο ομαλή από οποιαδήποτε εισαγωγή βασισμένη σε πλήκτρα.

1. 1
   Φέρτε και τους δύο βραχίονες στην ίδια αρχική στάση

   Καθοδηγήστε φυσικά τον leader και τον follower σε αντίστοιχες θέσεις. Όσο πιο κοντά η αντιστοιχία, τόσο πιο γρήγορα ολοκληρώνεται το επόμενο βήμα.

2. 2
   Ενεργοποιήστε τον αντικατοπτρισμό στο cockpit

   Η πλατφόρμα αρχίζει να συγκρίνει τις θέσεις αρθρώσεων ανάμεσα στους δύο βραχίονες, αλλά ο follower δεν κινείται ακόμα.

3. 3
   Περιμένετε την απελευθέρωση

   Ο αντικατοπτρισμός ενεργοποιείται μόνο όταν κάθε ζευγάρι αρθρώσεων είναι κοντά μεταξύ τους. Αυτή η πύλη εμποδίζει τον follower να πεταχτεί βίαια στη στάση του leader τη στιγμή που ενεργοποιείται ο αντικατοπτρισμός.

4. 4
   Οδηγήστε τον leader

   Μετακινήστε τον leader με το χέρι· ο follower τον ακολουθεί. Δουλέψτε σκόπιμα, όπως θα κάνατε σε απομακρυσμένο τηλεχειρισμό: η ομαλότητα της κίνησης του χεριού σας είναι ακριβώς αυτό που καταλήγει στο dataset.

Άμεση λειτουργία και ο proxy

Το cockpit έχει δύο διαδρομές μεταφοράς. Σε άμεση λειτουργία ο browser μεταδίδει απευθείας από το ρομπότ, που είναι η διαδρομή χαμηλότερης καθυστέρησης και ενεργοποιείται αυτόματα όταν το ρομπότ είναι προσβάσιμο από το δίκτυό σας, για παράδειγμα στο ίδιο LAN. Όταν δεν είναι προσβάσιμο, η σύνδεση περνά αντ᾽ αυτού μέσω του proxy της πλατφόρμας. Η εναλλακτική διαδρομή είναι αυτόματη και δεν χρειάζεται καμία ρύθμιση· απλώς παίρνετε την καλύτερη διαθέσιμη διαδρομή από όπου βρίσκεστε.

Emergency stop

Το cockpit έχει ένα emergency stop που σταματά αμέσως τη ροή εντολών προς το ρομπότ. Απλώστε το χέρι σας σε αυτό όποτε ο βραχίονας κάνει κάτι που δεν σκοπεύατε, πριν αναλύσετε γιατί. Μετά από μια διακοπή, συνεχίστε τον έλεγχο σκόπιμα μόλις η σκηνή είναι ασφαλής.

Συχνές ερωτήσεις