DAgger Εξηγημένο: Γιατί το Behavior Cloning αποτυγχάνει και τι αποδεικνύει η Dataset Aggregation

Υπάρχει μια συγκεκριμένη αποτυχία που συναντούν όλοι που εκπαιδεύουν μια πολιτική χειρισμού λίγο-πολύ νωρίτερα ή αργότερα. Η πολιτική φτάνει στον κύβο, πλησιάζει μέσα σε δύο εκατοστά, δίστάζει, ολισθαίνει προς τα πλάγια, τότε κάνει κάτι άσχετο με το έργο. Η απώλεια επαλήθευσης ήταν καλή. Η αναπαραγωγή ανοιχτού βρόχου ενάντια σε συγκρατημένα επεισόδια ήταν καλή. Και όμως ο βραχίονας καταλήγει σε μια θέση που δεν εμφανίζεται πουθενά στα δεδομένα εκπαίδευσης, και από εκεί δεν έχει τίποτα λογικό να πει.

Αυτή η αποτυχία έχει ένα όνομα και ένα καθιερωμένο κομμάτι θεωρίας πίσω από αυτό. Αυτό είναι το πρώτο από τέσσερα άρθρα σχετικά με DAgger, και καλύπτει το επιχείρημα: γιατί η προσαρμογή μιας πολιτικής στις δικές της τροχιές του επιδεικνύματος παράγει ένα σφάλμα που μπορεί να αυξηθεί με το τετράγωνο του μήκους του επεισοδίου, τι αλλάζει η συνάθροιση δεδομένων, και τι δεν υπόσχεται η απόδειξη χωρίς ζημία. Ο βρόχος σε πραγματικό υλικό καλύπτεται σε εκτέλεση ενός βρόχου DAgger σε SO-100, η παραλλαγή με ανθρώπινες πύλες σε HG-DAgger και παρεμβάσεις με ανθρώπινες πύλες, και το ερώτημα μέτρησης σε μέτρηση ενός βρόχου DAgger.

Η υπόθεση που κάνει αθόρυβα το behavior cloning

Ένα σύνολο δεδομένων επίδειξης είναι ένας σωρός ζευγών παρατήρησης-ενέργειας. Το Behavior cloning προσαρμόζει μια συνάρτηση σε αυτόν τον σωρό με συνηθισμένη μάθηση υπό επίβλεψη και σταματά εκεί. Είναι η παλαιότερη ιδέα στο πεδίο. Το ALVINN του Pomerleau το 1988 ήταν ένα δίκτυο ανάστροφης διάδοσης τριών επιπέδων που έπαιρνε εικόνες από μια κάμερα και έναν αισθητήρα laser range finder και παράγαγε την κατεύθυνση που θα έπρεπε να ταξιδέψει το όχημα· εκπαιδεύθηκε σε προσομοιωμένες εικόνες δρόμου και ακολούθησε πραγματικούς δρόμους υπό ορισμένες συνθήκες πεδίου. Η συνταγή δεν έχει αλλάξει πολύ· τα δίκτυα έχουν.

Αυτό που παραλείπεται είναι ένας έλεγχος για το πού προήλθαν τα ζεύγη. Καθένα από αυτά βρίσκεται σε μια τροχιά που παράγαγε ο επιδεικνύων. Η πολιτική που αναπτύσσετε παράγει τη δική της. Τη στιγμή που αποκλίνει, ερωτάται για καταστάσεις που δεν ήταν στην κατανομή εκπαίδευσης, και η απάντησή της την απομακρύνει περαιτέρω. Ο Ross, ο Gordon και ο Bagnell ανοίγουν το άρθρο DAgger ακριβώς με αυτό: η διαδοχική πρόβλεψη παραβιάζει την υπόθεση i.i.d. κάτω από τη στατιστική μάθηση, επειδή οι δικές της προβλέψεις του μαθητή καθορίζουν τα δεδομένα εισόδου που βλέπει στη συνέχεια.

Η σαφέστερη απεικόνιση σε αυτό το άρθρο δεν είναι ένα ρομπότ καθόλου. Η κλωνοποίηση ενός σχεδόν βέλτιστου σχεδιαστή για το Super Mario Bros. παράγαγε μια πολιτική που επανειλημμένα κόλλησε ενάντια σε ένα εμπόδιο αντί να το πηδάει. Ο λόγος είναι ολόκληρο το επιχείρημα σε μια πρόταση: ο ειδικός πάντα πήδαγε από μια άνετη απόσταση, οπότε το σύνολο δεδομένων δεν περιείχε καμία κατάσταση στην οποία ο Mario ήταν σφηνωμένος ενάντια σε ένα εμπόδιο, και επομένως κανένα label για το τι να κάνει μόλις ήταν.

Ανταλλάξτε τον Mario για έναν SO-100 arm και η δομή είναι πανομοιότυπη. Οι επιδείξεις σας δείχνουν μια καθαρή προσέγγιση και ένα καθαρό χέρι, όχι το άπλωμα κλείνοντας δύο εκατοστά κοντά - επομένως η πολιτική δεν έχει ιδέα τι να κάνει από εκεί, και ό,τι μαντεύει την απομακρύνει περαιτέρω. Το Covariate shift είναι ιδιότητα της διαδικασίας συλλογής δεδομένων, όχι της αρχιτεκτονικής δικτύου.

Από πού προέρχεται ο τετραγωνικός όρος

Το άρθρο 2010 AISTATS του Ross και Bagnell, Efficient Reductions for Imitation Learning, κάνει την σύγκλιση ακριβή. Έστω T ο ορίζοντας εργασίας, έστω το κόστος εργασίας να περιορίζεται στο μοναδιαίο διάστημα, και έστω epsilon να είναι η απώλεια αντικατάστασης που μετράται υπό την κατανομή κατάστασης του ειδικού - ο αριθμός που αναφέρει το σύνολο επαλήθευσής σας. Τότε το επιπλέον κόστος της εκτέλεσης αυτής της πολιτικής για T βήματα, σε σχέση με τον ειδικό, περιορίζεται από T τετράγωνο επί epsilon. Ο Ross, ο Gordon και ο Bagnell επαναδιατυπώνουν αυτό ως Θεώρημα 2.1 στο άρθρο DAgger και προσθέτουν την πρόταση που σημαίνει: το όριο είναι ακριβές. Προβλήματα υπάρχουν όπου μια πολιτική με απώλεια epsilon στην κατανομή του ειδικού πραγματικά επιφέρει επιπλέον κόστος που αυξάνεται τετραγωνικά σε T.

Η ακρίβεια δεν σημαίνει τυπικό. Ο τετραγωνικός όρος είναι μια χειρότερη περίπτωση σε μια κατηγορία προβλημάτων, όχι πρόβλεψη για την επιλογή σας pick-and-place. Αυτό που καθορίζει είναι ότι περισσότερη επίδειξη ειδικού δεν μπορεί να αφαιρέσει το πρόβλημα: μόνο οξύνει την εκτίμηση του epsilon σε μια κατανομή στην οποία η πολιτική δεν θα δοκιμαστεί.

Η διαδρομή διαφυγής είναι στο ίδιο άρθρο, επαναδιατυπωμένη ως Θεώρημα 2.2. Εάν μια πολιτική επιτυγχάνει απώλεια epsilon υπό την δική της κατανομή κατάστασης, και μια μόνο λάθος ενέργεια κοστίζει το πολύ u σε κόστος-προς-go υπό τον ειδικό, το επιπλέον κόστος περιορίζεται από u επί T επί epsilon - γραμμικό στον ορίζοντα. Η σταθερά u είναι το ενδιαφέρον μέγεθος: το πολύ 1 για αποχρώματα 0-1 από τον ειδικό, και O(1) όποτε ο ειδικός μπορεί να ανακάμψει μέσα σε λίγα βήματα. Στη χειρότερη περίπτωση είναι O(T), και το γραμμικό όριο δεν είναι καλύτερο από το τετραγωνικό.

Οι δύο απόπειρες που προηγούνταν του DAgger

Η εμπρόσθια εκπαίδευση είναι η ειλικρινής αλλά μη πρακτική απάντηση. Εκπαιδεύστε μια ξεχωριστή πολιτική για κάθε χρονικό σημείο, κατά σειρά, καθεμία στην κατανομή κατάστασης που προκαλείται από τις πολιτικές που ήδη έχουν σταθεροποιηθεί για προηγούμενα βήματα, ώστε κάθε πολιτική να βλέπει ακριβώς την κατανομή που θα αντιμετωπίσει. Η ασφάλεια είναι στην περιγραφή: T πολιτικές, που εκπαιδεύονται διαδοχικά, χωρίς πρώιμη διακοπή. Για χειρισμό επεισοδίου σε 30 frames ανά δευτερόλεπτο, T είναι εκατοντάδες.

Το SMILe από το ίδιο άρθρο, και SEARN από το έργο των Daume, Langford και Marcu για δομημένη πρόβλεψη, παίρνουν την άλλη διαδρομή: μια ακίνητη πολιτική, αλλά στοχαστική. Κάθε επανάληψη εκπαιδεύει ένα συστατικό και το προσθέτει σε ένα μίγμα, μετατοπίζοντας τη μάζα πιθανότητας μακριά από τον ειδικό. Το αποτέλεσμα είναι ένα μίγμα στο οποίο ορισμένα στοιχεία είναι χειρότερα από άλλα - σε έναν φυσικό βραχίονα, έναν ελεγκτή που μπορεί να δοκιμάσει ένα κακό στοιχείο κατά τη διάρκεια της κίνησης. Αυτή είναι η αναφερόμενη κίνητρο για να θέλουν μια ακίνητη ντετερμινιστική πολιτική αντ 'αυτού.

DAgger: μια ιδέα, ένα κουτί

Η Dataset Aggregation διατηρεί την ντετερμινιστική πολιτική και μετακινεί τη διόρθωση στη συλλογή δεδομένων. Κάθε γύρος: μετακίνηση της τρέχουσας πολιτικής, καταγραφή των καταστάσεων που επισκέπτεται, ζητήστε από τον ειδικό ποια θα ήταν η σωστή ενέργεια σε κάθε, προσθέστε τα ζεύγη αυτά στο σύνολο δεδομένων που ήδη έχετε, επανεκπαιδεύστε στην ένωση. Το όνομα είναι ο αλγόριθμος - συγκεντρώνετε, ποτέ δεν απορρίπτετε.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Τρεις λεπτομέρειες έχουν περισσότερο βάρος από ό,τι φαίνονται. Τα labels είναι για καταστάσεις που επισκέπτεται η μικτή πολιτική, αλλά οι ενέργειες προέρχονται από τον ειδικό - η πολιτική παρέχει τα ερωτήματα, ο ειδικός τις απαντήσεις. Η επανεκπαίδευση είναι σε ολόκληρο το συγκεντρωμένο σύνολο, το οποίο κάνει κάθε γύρο ένα βήμα Follow-The-Leader: στον γύρο n επιλέγετε την καλύτερη πολιτική με το σκεπτικό της ανάλογης τακτικής σε κάθε τροχιά μέχρι τώρα. Αυτή η διατύπωση είναι αυτό που ηρεμεί η απόδειξη. Και ο αλγόριθμος τερματίζει επιστρέφοντας την καλύτερη πολιτική στη σειρά όπως επιλέγεται σε ένα σύνολο επαλήθευσης, επειδή τα θεωρήματα εγγυώνται ότι κάποια πολιτική στη σειρά είναι καλή, όχι ότι η τελευταία είναι.

Το beta schedule, και γιατί δεν είναι ένα κουμπί ρύθμισης

Η μικτή πολιτική είναι beta_i επί τον ειδικό συν ένα μείον beta_i επί τον μαθητή. Το σημείο είναι πρακτικό: οι πρώτες μαθημένες πολιτικές εκπαιδεύονται σε πολύ λίγα δεδομένα, κάνουν πολλά λάθη, και διαφορετικά θα δαπανούσαν την κύλιση σε καταστάσεις που γίνονται άσχετες μόλις η πολιτική βελτιωθεί.

Η θεωρία επιβάλλει ακριβώς μία συνθήκη: ο τρέχων μέσος όρος του betas πρέπει να πάει στο μηδέν. Η ανάλυση λειτουργεί με beta_i περιορισμένη από (1 - alpha) στη δύναμη i-1, για μια σταθερά alpha ανεξάρτητη από T.

Το κενό μεταξύ 2980 και 3030 σε κλίμακα που τρέχει έως περίπου 4300 είναι μικρό, αλλά η εξήγηση του άρθρου γι 'αυτό είναι η πιο χρήσιμη πρακτική σημείωση στο τμήμα. Με το χωρίς παράμετρο χρονοδιάγραμμα, ο Mario κόλλησε στο ίδιο σημείο νωρίς και παράγαγε μια μάζα σχεδόν διπλοτύπων δεδομένων από αυτή την τοποθεσία· επιτρέποντας στον ειδικό να οδηγήσει ένα κλάσμα του χρόνου και τον ξεκόλλησαν και διεύρυναν την ποικιλία των καταστάσεων. Το χρονοδιάγραμμα είναι λιγότερο σχετικά με τον λόγο ανάμιξης από το αν η συλλογή δεδομένων σας συνεχίζει να παράγει νέες καταστάσεις ή το ίδιο αποτυχία.

Η εγγύηση: αναγωγή σε ηλεκτρονική μάθηση χωρίς ζημία

Ορίστε η κίνηση που κάνει το άρθρο αυτό. Αντιμετωπίστε κάθε γύρο DAgger ως ένα παράδειγμα σε ένα ηλεκτρονικό πρόβλημα μάθησης, όπου η απώλεια στον γύρο i είναι η απώλεια αντικατάστασης κάτω από την κατανομή κατάστασης της πολιτικής που χρησιμοποιήθηκε στον γύρο i. Ο μαθητής δεσμεύεται σε μια πολιτική πριν δει αυτή την απώλεια, και η σειρά είναι μη στατική επειδή εξαρτάται από τις πολιτικές που παράγοντας μέχρι τώρα.

Ένας αλγόριθμος είναι χωρίς ζημία αν ο μέσος όρος της απώλειάς του σε N γύρους πλησιάζει εκείνη της καλύτερης μόνης πολιτικής με το σκεπτικό της ανάλογης τακτικής. Το Follow-The-Leader σε έντονα κυρτές απώλειες είναι ένας τέτοιος αλγόριθμος, με μέση ζημία που συρρικνώνεται κατά σειρά 1/N - και η επανεκπαίδευση στο πλήρες συγκεντρωμένο σύνολο είναι ακριβώς Follow-The-Leader. Κάθε άλλος μαθητής χωρίς ζημία θα υπηρετούσε καθ 'όμοια: η ανάλυση είναι μια αναγωγή, όχι ιδιότητα ενός βελτιστοποιητή.

Ένα λήμμα γεφυρώνει το κενό μεταξύ της μικτής πολιτικής που συγκέντρωσε τα δεδομένα και της μαθημένης πολιτικής που θα αναπτυχθεί: το Λήμμα 4.1 περιορίζει την απόσταση L1 μεταξύ των κατανομών κατάστασης με 2 T beta_i. Αυτός είναι ο λόγος για τον οποίο το betas πρέπει να αποσυνθέσει - ενώ ο ειδικός εξακολουθεί να έχει σημαντική αυθεντικότητα ελέγχου, οι καταστάσεις που συγκεντρώνετε δεν είναι οι καταστάσεις που θα παράγει η πολιτική σας. Συνδυάστε το λήμμα με το όριο ζημίας και το κύριο αποτέλεσμα ακολουθεί: μετά από περίπου T επαναλήψεις, κάποια πολιτική στη σειρά έχει απώλεια αντικατάστασης κάτω από τη δική της κατανομή εντός O(1/T) του epsilon_N. Τροφοδοτήστε αυτό στο γραμμικό όριο και εσείς καταλήγετε στο Θεώρημα 3.2.

Η εμπειρική πλευρά είναι μέτρια κατά τα σημερινά πρότυπα. Στο Super Tux Kart η επιτηρούμενη γραμμή βάσης δεν βελτίωσε τις μέσες πτώσεις της ανά γύρο καθώς έφτασαν περισσότερα δεδομένα, το DAgger έφτασε μια πολιτική που δεν έπεσε ποτέ από την πίστα μετά από δεκαπέντε επαναλήψεις, και το SMILe μετά από είκοσι εξακολουθούσε να πέφτει περίπου δύο φορές ανά γύρο. Κανένα από αυτά δεν είναι αποτέλεσμα χειρισμού.

Τι δεν υπόσχεται η απόδειξη

Οι δηλώσεις θεωρήματος είναι υπό όρο, και οι συνθήκες φέρουν φορτίο.

Ένα περαιτέρω αποτέλεσμα συχνά αναφέρεται ως διάψευση και δεν είναι ένα. Οι Rajaraman, Yang, Jiao και Ramachandran μελετούν τα minimax όρια της μάθησης μίμησης σε επεισοδιακές MDPs με πεπερασμένο κράτος S και ορίζοντα H, και αποδεικνύουν ένα κατώτερο όριο υπο-βελτιστικότητας κατά σειρά |S| H τετράγωνο σε N που ισχύει ακόμη και όταν ο μαθητής μπορεί να ερωτήσει ενεργά τον ειδικό στις επισκέψιμες καταστάσεις. Αυτό είναι ένα ποσοστό χειρότερης περίπτωσης πάνω σε μια κατηγορία MDPs σε σταθερό προϋπολογισμό επεισοδίου, και αυτό που αποκλείει είναι η ιδέα ότι η διαδραστικότητα βελτιώνει το ποσοστό minimax· το θεώρημα του DAgger είναι μια διαφορετική δήλωση, που περιορίζει την αναπτυχθείσα πολιτική σε σχέση με αυτό που η δική της κατηγορία πολιτικής μπορεί να επιτύχει.

Οι Swamy, Choudhury, Bagnell και Wu αργότερα ταξινόμησαν αυτούς τους αλγόριθμους ανάλογα με ποιες στιγμές της συμπεριφοράς του ειδικού ταιριάζουν, και εισήγαγαν μια έννοια της ανάκτησης στιγμής που οριοθετεί πόσο καλά κάθε οικογένεια μετριάζει το σφάλμα σύνθεσης. Οι έρευνες του Osa και του Celemin καλύπτουν το αλγοριθμικό τοπίο και τις διεπαφές ανθρώπινης ανάδρασης.

Ο λογαριασμός: επισήμανση καταστάσεων που ο ειδικός δεν παράγαγε ποτέ

Όλα τα παραπάνω υποθέτουν έναν ειδικό που μπορεί να ερωτηθεί οπουδήποτε. Σε προσομοίωση με ένα σχεδιαστή που είναι σχεδόν δωρεάν - τα πειράματα Mario χρησιμοποίησαν ένα σχεδόν βέλτιστο σχεδιαστή με πλήρη πρόσβαση στο κατάσταση παιχνιδιού. Με έναν άνθρωπο σε ένα ρομπότ είναι το κυρίαρχο κόστος, και ένα περίεργο: ο άνθρωπος πρέπει να παράγει μια σωστή ενέργεια σε μια διαμόρφωση στην οποία η δική τους ικανότητα δεν θα είχε ποτέ δημιουργήσει.

Ο Kelly, Sidrane, Driggs-Campbell και Kochenderfer δηλώνουν την αντίρρηση άμεσα στο άρθρο HG-DAgger. Το Vanilla DAgger απαιτεί από τον ειδικό να παράσχει action labels ενώ δεν έχει πλήρη έλεγχο του συστήματος. Αυτό μειώνει την ασφάλεια, και με ανθρώπινους ειδικούς είναι πιθανό να υποβαθμίσει την ποιότητα των συγκεντρωμένων labels, το οποίο αποδίδουν σε αντιληπτή καθυστέρηση ενεργοποιητή. Το label που ανακτάτε δεν είναι το label που ο αλγόριθμος υπέθεσε.

Ο Laskey και οι συνεργάτες επιτίθενται στο πρόβλημα από την άλλη πλευρά με DART, και η διατύπωσή τους είναι άμεση: οι τεχνικές σε πολιτική είναι κουραστικές για ανθρώπινους επόπτες, προσθέτουν υπολογιστικό φορτίο, και ενδέχεται να επισκεφθούν επικίνδυνες καταστάσεις κατά την εκπαίδευση. Η εναλλακτική λύση τους εγχέει βαθμονομημένο θόρυβο στις δικές τους επιδείξεις του επόπτη, ώστε η ανάκαμψη να αποδεικνύεται χωρίς το ρομπότ να εκτελεί ποτέ μια αναξιόπιστη πολιτική. Σε MuJoCo Humanoid αναφέρουν ότι το DART μειώνει τη συνολική ανταμοιβή του επόπτη κατά 5 τοις εκατό κατά την εκπαίδευση, ενώ το DAgger εκτελεί πολιτικές με 80 τοις εκατό λιγότερη συνολική ανταμοιβή από τον επόπτη· σε αρπάγεια σε ακαταστασία με ένα Toyota HSR, μια μέση αύξηση 62 τοις εκατό σε σχέση με το behavior cloning.

Το SafeDAgger του Zhang και Cho αντιμετωπίζει τα queries στη πολιτική αναφοράς ως τον σπάνιο πόρο: μια ξεχωριστή πολιτική ασφαλείας προβλέπει, χωρίς query, αν η πρώτη πολιτική πρόκειται να αποκλίνει από την αναφορά πέρα από ένα κατώφλι, και μόνο αυτές οι καταστάσεις παρέχονται. Και οι τρεις αντιδρούν στο ίδιο γεγονός - η ανάλυση DAgger χρεώνει τίποτα για τα labels του ειδικού, και η πραγματικότητα χρεώνει πολύ.

Τι σημαίνει αυτό για ένα SO-100 στο γραφείο σας

Μεταφράστε τον ορίζοντα στις δικές σας μονάδες. Ένα επεισόδιο είκοσι δευτερολέπτων σε 30 frames ανά δευτερόλεπτο είναι 600 βήματα απόφασης, και T σε κάθε όριο παραπάνω είναι αυτός ο αριθμός. Σε T = 600, η διαφορά μεταξύ ενός όρου κλίμακας με T και ενός κλιμακωτού με T τετράγωνο είναι η διαφορά μεταξύ μιας πολιτικής που ανακάμπτει από μια κακή προσέγγιση και ενός που δεν.

Αυτό είναι μέρος του γιατί η τεμαχισμό ενέργειας βοηθά: όταν μια πολιτική εκπέμπει μια σύντομη σειρά ενεργειών ανά βήμα συμπερασμού, ο αριθμός των σημείων απόφασης μειώνεται, και έτσι κάνει και ο αριθμός των ευκαιριών για σύνθεση. Ο Zhao, Kumar, Levine και Finn ονομάζουν το σφάλμα σύνθεσης ως κίνητρο για τις Action Chunking with Transformers, και αναφέρουν 80 έως 90 τοις εκατό επιτυχία σε έξι δύσκολες εργασίες πραγματικού κόσμου, σε χαμηλού κόστους διμανή υλικό, από δέκα λεπτά αξίας επιδείξεων. Η τεμαχισμό δεν αφαιρεί το covariate shift - οι καταστάσεις είναι ακόμη τα δικά της της πολιτικής - αλλά συντομεύει τον αποτελεσματικό ορίζοντα. Δες action chunking και το SO-100 imitation learning guide.

Η δεύτερη μετάφραση είναι το μετρικό προόδου. Δεν μπορείτε να μετρήσετε epsilon κάτω από τη δική της κατανομή της πολιτικής άμεσα - αυτό χρειάζεται ενέργειες ειδικού εδάφους αλήθειας για κάθε επισκέψιμη κατάσταση, το πράγμα που προσπαθείτε να αποφύγετε να παράγετε. Αυτό που ένας ανθρώπινος-πύλη βρόχος σας δίνει αντ 'αυτού είναι ο ρυθμός παρέμβασης: το κλάσμα των frames σε μια τρέξιμο κατά τη διάρκεια του οποίου ο άνθρωπος είχε αναλάβει. Είναι ένα proxy, και κινείται για λόγους άσχετα με την πολιτική - ένας ασθενέστερος φορέας παρεμβαίνει λιγότερο. Χρησιμοποιούμενο συνεπώς, είναι ο ένας αριθμός που λέει αν ένας γύρος αξίζει το απόγευμα.

Μια τρίτη μετάφραση είναι μια προειδοποίηση ποιότητας δεδομένων που η ανάλυση δεν καλύπτει. Οι Mandlekar και συνάδελφοι μελέτησαν έξι offline learning αλγόριθμους σε πέντε προσομοιωμένα και τρία πραγματικά δεδομένα πολλαπλών σταδίων χειρισμού εργασίες, και αναφέρουν μια ευαισθησία σε αλγοριθμικές επιλογές σχεδίασης, μια εξάρτηση από την ποιότητα των επιδείξεων, και μεταβλητότητα που προκαλείται από το κριτήριο διακοπής. Οι Belkhale, Cui και Sadigh υποστηρίζουν ότι η ποιότητα σύνολο δεδομένων θα πρέπει να επισημοποιηθεί μέσω απόκλισης ενέργειας και ποικιλίας μετάβασης, και σημειώνουν ότι η ποικιλία κατάστασης δεν είναι πάντα ευεργετική. Ένας γύρος DAgger προσθέτει καταστάσεις που κανείς δεν επέλεξε σκόπιμα: κάποια είναι τα δεδομένα ανάκαμψης που χρειάζεστε, κάποια είναι το ρομπότ αναποδογύριστα ενώ παλεύετε για τον έλεγχο takeover.

Μηχανικά ένας γύρος είναι έξι βήματα: εκτέλεση συμπερασμού με καταγραφή σε κατάσταση, λήψη κατά την αποτυχία της πολιτικής, ανασκόπηση της διαδρομής και καταχώρηση κάθε επεισοδίου, σύγχρονος οι διορθώσεις, σύνθεση ενός μικτού σύνολο δεδομένων από πρωτότυπα συν διορθώσεις με επιλογή επεισοδίου έκανε κατά πηγή, και συνέχεια εκπαίδευσης από το προηγούμενο checkpoint παρά το βασικό μοντέλο. Σε ay-robots τα βήματα αυτά υπάρχουν ως κουμπιά, το οποίο αφαιρεί τη σωλήνωση αλλά όχι τη κρίση. Δύο προειδοποιήσεις: η συνέχεια από ένα checkpoint αρχικοποιεί βάρη και δεν είναι μια ανάσταση βελτιστοποιητή, και η κίνηση ευθυγράμμισης βραχίονα-ηγέτη είναι ακόμη ελαφρώς δοκιμασμένη στο υλικό. Δες training και datasets.

Το οικογενειακό δέντρο, σε έναν πίνακα

Συχνές ερωτήσεις

Πού να πάω από εδώ

Εάν δεν έχετε εκπαιδεύσει ακόμη μια πολιτική, αυτή η θεωρία είναι πρώιμη: καταγράψτε πρώτα ένα σύνολο δεδομένων, ξεκινώντας από εκπαίδευση της πρώτης πολιτικής σας και το desktop client. Εάν σταθμίζετε άλλα εκατό καθαρά επιδείξεις ενάντια στη δημιουργία διορθώσεων: καθαρές επιδείξεις δεν επιδιορθώνουν ένα πρόβλημα κατανομής. Για τη μηχανική, συνεχίστε με την παραλλαγή με ανθρώπινη πύλη και στη συνέχεια το SO-100 walkthrough.