Εργασία με datasets

Η μορφή LeRobot dataset

Το AY-Robots αποθηκεύει όλα τα δεδομένα επίδειξης στη μορφή LeRobot dataset που συντηρεί η Hugging Face. Το πρακτικό όφελος είναι η φορητότητα: ένα dataset που καταγράφηκε εδώ φορτώνεται απευθείας σε κώδικα εκπαίδευσης βασισμένο στο LeRobot, και datasets που καταγράφηκαν αλλού στην ίδια μορφή μπορούν να ανέβουν και να χρησιμοποιηθούν στην πλατφόρμα χωρίς μετατροπή.

Ένα dataset είναι μια συλλογή επεισοδίων. Ένα επεισόδιο είναι μία πλήρης προσπάθεια σε μια εργασία, από μια καθορισμένη αρχική κατάσταση μέχρι το σημείο όπου σταματήσατε την καταγραφή. Στον δίσκο, ένα επεισόδιο διαχωρίζεται σε τρεις τύπους αρχείων: ένα αρχείο Parquet με τα αριθμητικά streams, ένα αρχείο βίντεο ανά κάμερα, και metadata που τα συνδέει όλα.

Το σχήμα χαρακτηριστικών στο info.json είναι αυτό που διαβάζει ο κώδικας εκπαίδευσης για να κατανοήσει τα δεδομένα σας: ποια κλειδιά παρατήρησης υπάρχουν, τα σχήματά τους, και τον ρυθμό καταγραφής. Δύο datasets είναι συμβατά μόνο αν τα σχήματά τους συμφωνούν, κάτι που ελέγχει ακριβώς η επικύρωση συγχώνευσης.

Οι τιμές αρθρώσεων είναι ποσοστά, όχι μοίρες

Όλες οι τιμές αρθρώσεων στα datasets του AY-Robots είναι κανονικοποιημένες κατά LeRobot: κάθε τιμή κυμαίνεται από -100 έως 100 και αντιπροσωπεύει ένα ποσοστό του βαθμονομημένου εύρους αυτής της άρθρωσης, όχι γωνία σε μοίρες. Μια ένδειξη 0 είναι το κέντρο του βαθμονομημένου εύρους, -100 και 100 είναι τα όριά του.

Cloud datasets στον πίνακα ελέγχου

Το Dashboard > Datasets αναγράφει τα cloud datasets σας με πλήθος επεισοδίων, μεγέθη αρχείων, και κατάσταση συλλογής. Τα datasets δημιουργούνται αυτόματα όταν μια συνεδρία τηλεχειρισμού καταγράφει δεδομένα, και μπορείτε επίσης να δημιουργήσετε ένα ρητά και να το γεμίσετε ανεβάζοντας καταγραφές από την εφαρμογή desktop.

• Δημιουργία: νέα datasets εμφανίζονται αυτόματα από συνεδρίες, ή δημιουργήστε ένα κενό και ανεβάστε σε αυτό.
• Μετονομασία: αλλάξτε το εμφανιζόμενο όνομα ανά πάσα στιγμή· η αλλαγή δεν αγγίζει τα ίδια τα δεδομένα.
• Διαγραφή: αφαιρεί το dataset και όλα τα επεισόδια και αρχεία του. Η διαγραφή είναι μόνιμη, οπότε κατεβάστε πρώτα ένα αρχείο αν μπορεί να χρειαστείτε ξανά τα δεδομένα.

Ο browser επεισοδίων

Το άνοιγμα ενός dataset σάς πηγαίνει στον browser επεισοδίων. Κάθε επεισόδιο έχει έναν video player για τα streams καμερών του και συγχρονισμένα διαγράμματα αρθρώσεων που σχεδιάζουν τις κανονικοποιημένες τιμές αρθρώσεων σε όλο το επεισόδιο. Η περιήγηση στο βίντεο μετακινεί τον δείκτη του διαγράμματος μαζί του, κάτι που κάνει γρήγορο τον εντοπισμό προβλημάτων: μια απότομη προσέγγιση εμφανίζεται ως αιχμές στα διαγράμματα, ένα αποτυχημένο πιάσιμο είναι ορατό στο κανάλι της αρπάγης ακόμα και πριν δείτε το βίντεο.

Ετικέτες επεισοδίων: Success, Recovery, Failure

Κάθε επεισόδιο μπορεί να φέρει μία από τρεις ετικέτες. Το Success σημαδεύει μια καθαρή επίδειξη της εργασίας. Το Recovery σημαδεύει ένα επεισόδιο όπου κάτι πήγε στραβά στη μέση της προσπάθειας και το διορθώσατε· αυτά είναι πολύτιμα γιατί διδάσκουν σε μια policy πώς να επανέλθει στον σωστό δρόμο. Το Failure σημαδεύει επεισόδια που δεν έφτασαν τον στόχο και συνήθως πρέπει να μείνουν έξω από την εκπαίδευση. Η ετικετοποίηση κατά τον έλεγχο είναι πολύ φθηνότερη από το debugging μιας policy που έμαθε σιωπηλά από κακές επιδείξεις.

Συγχώνευση datasets

Η συγχώνευση συνδυάζει πολλαπλές καταγραφές σε ένα μεγαλύτερο dataset, για παράδειγμα μια εβδομάδα συνεδριών στην ίδια εργασία ή καταγραφές από δύο βαθμονομημένους βραχίονες. Η συγχώνευση παίρνει πολλαπλά αρχεία tar.gz, καθένα περιέχοντας ένα dataset LeRobot, και παράγει ένα ενιαίο dataset με επανευρετηριασμένα επεισόδια.

1. 1
   Προετοιμάστε τα αρχεία

   Κάθε είσοδος πρέπει να είναι ένα πλήρες dataset LeRobot συσκευασμένο ως αρχείο tar.gz, συμπεριλαμβανομένου του καταλόγου meta. Μερικά αρχεία χωρίς info.json δεν μπορούν να επικυρωθούν και απορρίπτονται.

2. 2
   Ανεβάστε πολλαπλά αρχεία

   Στο Dashboard > Datasets, ξεκινήστε μια συγχώνευση και επιλέξτε όλα τα αρχεία tar.gz που θέλετε να συνδυάσετε σε ένα βήμα.

3. 3
   Επικύρωση

   Η πλατφόρμα ελέγχει ότι το fps, το σχήμα χαρακτηριστικών, και το robot_type ταιριάζουν σε όλες τις εισόδους. Αν κάποιο από τα τρία διαφέρει, η συγχώνευση απορρίπτεται με την αναφορά της ασυμφωνίας, γιατί ένα συνδυασμένο dataset με ασυνεπή streams θα διέφθειρε σιωπηλά την εκπαίδευση.

4. 4
   Ελέγξτε το αποτέλεσμα

   Το συγχωνευμένο dataset εμφανίζεται στη λίστα σας με το συνδυασμένο πλήθος επεισοδίων. Ανοίξτε τον browser επεισοδίων και ελέγξτε δειγματοληπτικά λίγα επεισόδια από κάθε πηγή πριν εκπαιδεύσετε πάνω του.

Οι τρεις κανόνες συμβατότητας είναι αυστηροί σκόπιμα. Οι ασυμφωνίες ρυθμού καρέ αλλάζουν το νόημα κάθε χρονικού βήματος, οι ασυμφωνίες σχήματος σπάνε τους loaders εντελώς, και η ανάμειξη τύπων ρομπότ παράγει ένα dataset στο οποίο καμία μεμονωμένη policy δεν μπορεί να δράσει. Αν χρειάζεστε να συνδυάσετε δεδομένα από διαφορετικούς βραχίονες του ίδιου μοντέλου, αυτό είναι εντάξει: το robot_type αναφέρεται στο μοντέλο, όχι στη φυσική μονάδα.

Η αγορά datasets

Η αγορά σάς επιτρέπει να αγοράσετε datasets που καταγράφηκαν από άλλους και να πουλήσετε τα δικά σας. Τα αγορασμένα datasets φτάνουν στον πίνακα ελέγχου σας στην ίδια διάταξη LeRobot με τις δικές σας καταγραφές, οπότε λειτουργούν με τον browser επεισοδίων, τη συγχώνευση, και την εκπαίδευση χωρίς κανένα επιπλέον βήμα.

Αν πουλάτε, επιμεληθείτε πριν καταχωρίσετε. Ελέγξτε τα επεισόδια, ετικετοποιήστε τα ειλικρινά, και βεβαιωθείτε ότι οι συμβολοσειρές εργασίας περιγράφουν αυτό που πράγματι συμβαίνει στις καταγραφές. Ένας αγοραστής που αξιολογεί το dataset σας βλέπει τον ίδιο browser επεισοδίων που βλέπετε κι εσείς, και datasets με καθαρές ετικέτες και συνεπείς επιδείξεις αξίζουν περισσότερο από ακατέργαστα σωρειάσματα οτιδήποτε έχετε καταγράψει ποτέ.

Συχνές ερωτήσεις