Εκτέλεση ενός DAgger Loop σε SO-100 με VLA Policy

Η πολιτική σας τρέχει. Φθάνει για τον κύβο, κλείνει το gripper ένα εκατοστό πολύ νωρίς, και συνεχίζει σαν να τον είχε πάρει. Τίποτα δεν σφάλλει και κανένα ποσό κοίτας στη απώλεια εκπαίδευσης δεν το εξηγεί. Η λύση δεν είναι άλλα 20 000 βήματα gradient στα ίδια παραδείγματα. Είναι να βάλετε ξανά το χέρι σας στο βραχίονα ακριβώς όπου πάει λάθος, να καταγράψετε τι κάνατε αντ' αυτού, και να εκπαιδεύσετε το επόμενο checkpoint στα παλιά δεδομένα συν αυτή τη διόρθωση. Αυτό είναι ένας DAgger κύκλος, και έτσι τρέχει σε ένα SO-100 με μια vision-language-action πολιτική.

Η θεωρία είναι αλλού: γιατί η συναθροιστική δεδομένων λειτουργεί καθόλου και τι αλλάζει η ανθρώπινη έγκριση γι' αυτό. Αυτό είναι το manual λειτουργίας, και υποθέτει ένα εκπαιδευμένο checkpoint, ένα λειτουργικό σύνολο κάμερας, και ένα βραχίονα που κινείται. Τα έξι βήματα παρακάτω είναι ο κύκλος όπως εφαρμόζεται σε τη σελίδα DAgger αυτής της πλατφόρμας, αλλά η ακολουθία είναι η ίδια από τα δικά σας scripts.

Γιατί ο δεύτερος κύκλος δεν είναι απλά περισσότερα δεδομένα

Behavior cloning εκπαιδεύει στις καταστάσεις που επισκέφθηκε ένας άνθρωπος. Κατά τη δοκιμή η πολιτική επισκέπτεται τις καταστάσεις που προκαλεί, και τα μικρά σφάλματα δράσης συντίθενται σε καταστάσεις που καμία demonstration δεν κάλυψε. Ross, Gordon και Bagnell τυποποίησαν αυτή την αποτυχία για AISTATS 2011 και την απάντησαν με ένα επαναληπτικό αλγόριθμο που εκπαιδεύει μια στάσιμη ντερμινιστική πολιτική και, σύμφωνα με τη μείωσή τους, πρέπει να λειτουργεί καλά κάτω από την κατανομή κατάστασης που επάγει: εκτελέστε την τρέχουσα πολιτική, έχετε το ειδικό λάβει τις καταστάσεις που πραγματικά έφτασε, προσθέστε αυτές στο σύνολο δεδομένων, επανεκπαιδεύστε, επαναλάβετε. Kelly et al. κατέστησαν ρεαλιστικό την ερώτηση με HG-DAgger, όπου ο άνθρωπος αποφασίζει πότε να αναλάβει τον έλεγχο αντί να ετικετάσει καταστάσεις χωρίς να κρατά τα χέρια· αναφέρουν βελτιωμένη απόδοση σε σχέση με τόσο DAgger όσο και behavior cloning σε μια προσομοιωμένη και πραγματική αυτόνομη εργασία οδήγησης. Η ανθρώπινη έγκριση είναι αυτό που κάνει τον κύκλο ανεκτό σε ένα γραφείο βραχίονα - κινείτε τα χέρια σας μόνο όταν κάτι πάει στραφί.

Δύο συνέπειες έχουν μεγαλύτερη σημασία στην πράξη από τη θεωρία. Οι διορθώσεις δεν είναι συνηθισμένες demonstrações: συγκεντρώνονται στις περιοχές bottleneck που περιγράφει ο Mandlekar et al., όπου μια μικρή απόκλιση ρίχνει την πολιτική σε καταστάσεις που ποτέ δεν κάλυψαν οι demonstrações. Και ένα σύνολο δεδομένων που αποτελείται μόνο από αυτά τα δύσκολα μέρη είναι ένα κακώς διαμορφωμένο σύνολο δεδομένων - Belkhale, Cui και Sadigh υποστηρίζουν από την πλευρά δεδομένων ότι η ποικιλομορφία κατάστασης δεν είναι πάντα ωφέλιμη, και ότι η απόκλιση δράσης και η ποικιλομορφία μετάβασης μαζί αποφασίζουν την ποιότητα συνόλου δεδομένων. Το μεικτό σύνολο δεδομένων δεν είναι συμβιβασμός, είναι το σημείο.

Παγώστε αυτά πριν από τον πρώτο κύκλο

Ένας DAgger κύκλος συγκρίνει μια πολιτική με τον εαυτό της στο χρόνο. Οτιδήποτε αλλάζετε μεταξύ κύκλων που δεν είναι το σύνολο δεδομένων κάνει αυτή τη σύγκριση άνευ σημασίας.

• Θέσεις κάμερας και στηρίγματα, περιλαμβανομένης της κάμερας καρπού. Χαλαρώστε ένα clamp και αλλάξατε την κατανομή παρατήρησης, όχι την πολιτική.
• Έκθεση και ισορροπία λευκού, αν η στοίβα σας δεδομένων σας επιτρέπει να τις ακινητοποιήσετε. Αυτόματη έκθεση που υπομνέει μεταξύ κύκλων είναι αργή, άορατη domain shift.
• Βαθμονόμηση βραχίονα και θέσεις servo zero. Αν πρέπει να βαθμονομήσετε ξανά, αντιμετωπίστε όλα τα καταγεγραμμένα πριν από αυτό ως ξεχωριστό σύνολο δεδομένων.
• Το κείμενο εργασίας. Κάθε VLA εδώ υπό όρους αυτό· αναφόρηση του εν μέσω loop είναι μια διαφορετική εργασία.
• Φωτισμό, επιφάνεια τραπεζιού, σύνολο αντικειμένων. Ένα νέο αντικείμενο είναι ένα νέο πείραμα, όχι ο επόμενος κύκλος.
• Η ταχύτητα καρέ εγγραφής. Σύγκριση intervention rates διαπασών δύο δειγματοληψίας παράγει διαφορές που προέρχονται από το raster.

Ο κύκλος, από άκρο σε άκρο

1. 1
   Εκτέλεση συμπερασμού και καταγραφή του

   Ξεκινήστε την εκτέλεση εναντίον του checkpoint που θέλετε να βελτιώσετε, στη συνέχεια ξεκινήστε την εγγραφή στη ρίζα συμπερασμού. Που καταγράφηκε με αυτόν τον τρόπο κληρονομεί το δικό του κείμενο εργασίας της εκτέλεσης, το οποίο είναι αυτό που εκπαιδεύθηκε η πολιτική σας, αντί της προεπιλεγμένης ετικέτας τηλεχειρισμού. Χωρίς την εγγραφή μπορείτε να παρακολουθήσετε την αποτυχία αλλά όχι να εκπαιδεύσετε γι' αυτή.

   bash

   # two calls, not one: the run, then its recording
   POST /inference/start      # model_id, and hf_repo_id = the checkpoint to drive
   POST /recording/start      # root=inference
   # root=inference also makes the recording inherit the run's task text

2. 2
   Ανάληψη όταν πάει στραφί

   Πατήστε Ανάληψη και επιλέξτε τη λειτουργία εισόδου: βραχίονας ηγέτη, πληκτρολόγιο ή δρομείς. Ο δρομέας παύεται, διορθώνετε, δίνετε πίσω. Frames που καταγράφηκαν ενώ οδηγούσατε σημαίνονται ως interventions αυτόματα.

   bash

   POST /inference/takeover/start   # input = leader | keyboard | sliders
   POST /inference/takeover/nudge   # keyboard, relative delta per call
   POST /inference/takeover/set     # sliders, absolute target
   POST /inference/takeover/stop    # back to the policy

3. 3
   Triage τα episodes

   Αποφασίστε ανά episode: αρχειοθέτηση ως διόρθωση, διατήρηση ως αξιολόγηση, ή απόρριψη. Μια εκτέλεση που ολοκλήρωσε την πολιτική χωρίς βοήθεια είναι αξιολόγηση δεδομένων.

4. 4
   Συγχρονισμός του συνόλου διόρθωσης δεδομένων

   Οι διορθώσεις συλλέγονται σε ένα τοπικό σύνολο δεδομένων ανά πολιτική και πηγαίνουν στο cloud storage μέσω του αυτόματου συγχρονισμού. Τίποτα δεν αναμιγνύεται που δεν βάλατε εκεί.

5. 5
   Σύνθεση του μεικτού συνόλου δεδομένων

   Συνδυάστε το αρχικό σύνολο δεδομένων με το σύνολο διόρθωσης, επιλέγοντας episodes ρητά ανά πηγή. Το αποτέλεσμα είναι ένα συνηθισμένο σύνολο δεδομένων από εκείνο το σημείο και μετά.

   bash

   POST /training/datasets/compose
     sources  = [ original_dataset, korrekturen_<policy> ]
     episodes = explicit selection per source

6. 6
   Συνέχιση της εκπαίδευσης από το checkpoint

   Εκπαιδεύστε το μίγμα από το προηγούμενο checkpoint αντί του base model. Σημείωση ποιο checkpoint και ποιο μίγμα· χωρίς αυτό το ζεύγος ο κύκλος δεν είναι αναπαραγώγιμος.

   bash

   # field on the training job
   base_checkpoint = s3://ay-robots/checkpoints/<run>/<checkpoint>
   # the platform passes it to the training pod as BASE_CKPT_S3

Βήμα 2 λεπτομερώς: οι δύο τρόποι ανάληψης

Με ένα βραχίονα ηγέτη

Σε leader-follower λειτουργία η ανάληψη είναι μια handover μεταξύ δύο βραχιόνων που δεν βρίσκονται στην ίδια posture. Πατώντας Ανάληψη σταματά τον δρομέα και οδηγεί το leader στο current pose του follower, έτσι τίποτα δεν πηδάει όταν μεταφέρεται η ροπή. Αν η μονάδα ευθυγράμμισης χρονοδιακόπτης, ευθυγραμμίστε το leader με το χέρι και απελευθερώστε μόνο όταν τα δύο βρίσκονται εντός πέντε μοιρών. Από τότε τηλεχειρίζεστε κανονικά και η στήλη δράσης καταγράφει αυτό που διέταξαν.

Να είστε ειλικρινείς για αυτή τη διαδρομή: η μονάδα ευθυγράμμισης και η handover ροπής είναι το λιγότερο δοκιμασμένο μέρος του κύκλου στο πραγματικό hardware. Δοκιμάστε τη handover σε αργή, αβλαβή posture πριν να στηρίξετε σε μια εκτέλεση που σας ενδιαφέρει. Ένας βραχίονας ηγέτη παράγει τις ομαλότερες διορθώσεις των τριών λειτουργιών, και επίσης έχει περισσότερα που μπορούν να πάνε λάθος μηχανικά.

Χωρίς ένα βραχίονα ηγέτη: πληκτρολόγιο και δρομείς

Οι περισσότεροι άνθρωποι που διαβάζουν αυτό έχουν ένα βραχίονα. Αυτό είναι αρκετό. Επιλέξτε πληκτρολόγιο ή slider εισόδου τη στιγμή που πατάτε Ανάληψη, και η ανάληψη είναι άμεση και χειροκίνητη - δεν υπάρχει δεύτερος βραχίονας να ευθυγραμμίσετε, έτσι δεν υπάρχει step ευθυγράμμισης. Ο follower κρατά τη posture του και περιμένει εισόδου.

Οι clamps επιβάλλονται στη διακομιστή πλευρά, όχι στη διεπαφή, επειδή ένα δακτυλογραφημένο delta σε ένα bus-servo arm είναι σύγκρουση. Οι διορθώσεις πληκτρολογίου βγαίνουν stepwise και λίγο χοντρή· οι διορθώσεις δρομέα είναι ομαλότερες, επειδή ο server περπατά προς τον στόχο ενώ η διεπαφή συνεχίζει το streaming. Είτε και οι δύο η στήλη δράσης λαμβάνει το full commanded pose vector και η intervention marking είναι αναπόδογος με τη διαδρομή ηγέτη, έτσι οι διορθώσεις πληκτρολογίου προσγειώνονται στο ίδιο σύνολο δεδομένων χωρίς διαφορά μορφής.

Q / A   joint 1      R / F   joint 4
W / S   joint 2      T / G   joint 5
E / D   joint 3      Z / X   gripper

Πότε να πατήσετε το κουμπί

Νωρίς παρά αργά. Μια διόρθωση που αρχίζει αφού το gripper κλείσει σε τίποτα διδάσκει ανάρρωση από αποτυχία που η πολιτική δεν έπρεπε να εισελθεί, και τα δεδομένα ανάρρωσης αξίζει πολύ λιγότερο από δεδομένα αποφυγής. Interruption στο πρώτο μόμεντο είστε σίγουροι η τροχιά είναι λάθος, διορθώστε μέσα από το δύσκολο μέρος, δώστε πίσω μόλις η κατάσταση είναι μία που η πολιτική χειρίστηκε πριν. ThriftyDAgger αυτοματοποιεί αυτή την απόφαση από gating interventions σε novelty και εκτιμώμενο κίνδυνο κάτω από σταθερό ανθρώπινο budget, αλλά σε ένα μόνο βραχίονα με ένα ανθρώπινο ήδη παρακολούθηση, η ανθρώπινη gate είναι φθηνότερη και καλύτερα βαθμονόμησης από οτιδήποτε θα fine-tune.

Βήμα 3 λεπτομερώς: η triage αποφασίζει την ποιότητα

Μετά την εκτέλεση έχετε μια εγγραφή με κάποια πλαίσια σημάνθηκε ως interventions. Τρεις προορισμοί υπάρχουν, και το λάθος ένα σιωπηλά δηλητηριάζει τον επόμενο κύκλο.

• Αρχειοθέτηση ως διόρθωση όταν η intervention ήταν πραγματική επιδιόρθωση: η πολιτική κατευθυνόταν κάπου λάθος και η εισόδου σας έδειξε το σωστό πράγμα από μια κατάσταση που η ίδια πολιτική παρήγαγε.
• Διατηρήστε ως αξιολόγηση για καθαρές αυτόνομες εκτελέσεις και για εκτελέσεις που αναλάβατε από προσοχή. Τα episodes αξιολόγησης είναι πώς μετράτε το επόμενο checkpoint, και πρέπει ποτέ να εκπαιδεύσετε.
• Απόρριψη εκτέλεσεων ruined από κάτι άσχετο - ένα πλαίσιο κάμερας που έπεσε, ένα stalled servo, ένα αντικείμενο που χτυπήσατε. Μια άσχημη διόρθωση είναι χειρότερη από καμία διόρθωση.

Βήμα 5 λεπτομερώς: σύνθεση του μίγματος

Σύνθεση παίρνει το αρχικό σύνολο δεδομένων συν το σύνολο διόρθωσης και παράγει μια νέα, συνηθισμένη LeRobot σύνολο δεδομένων που εκπαιδεύει σαν κάθε άλλο. Η σημαντική ιδιότητα είναι ότι η επιλογή episode είναι ρητή ανά πηγή - τίποτα δεν αναμιγνύεται αυτόματα. Ακούγεται μικρό μέχρι την πρώτη φορά μια πολιτική συμπεριφέρεται περίεργα και πρέπει να ανακατασκευάσετε τι εκπαιδεύθηκε.

Το ανοικτό ερώτημα είναι ο λόγος, και κανείς δεν έχει έναν αριθμό που μεταφέρεται. Τι η βιβλιογραφία τηςμές συμφωνείς είναι ότι οι διορθώσεις πρέπει να μετράνε περισσότερο από το κοινό τους. Mandlekar et al. retraining επαναληπτικά στα δεδομένα τα intervention system τους συλλέγει, έτσι η πολιτική μαθαίνει να διασχίσει το bottlenecks, και αναφέρουν ότι οι αγέντες εκπαιδευμένη αυτό τρόπο ξεπερνούν αγέντες εκπαιδευμένη σε ένα ισοδύναμο αριθμό δειγμάτων από μη-παρεμβάσεων demonstradores. Sirius πηγαίνει παραπέρα και μετάβαρος δεδομένων εκπαίδευσης δείγμα από κατά προσέγγιση ανθρώπινη εμπιστοσύνη, αναφέρει 8 τοις εκατό κέρδος σε προσομοίωση και 27 τοις εκατό σε πραγματικό hardware σε πολιτική ταχύτητα κατάφ εναντίον των μεθόδων συγκρίνει με, σε διπλάσια ταχύτητα σύγκλισης. Κανένα από τα εισόδους εκπαίδευσης εδώ εκθέτουν δείγμα-weighting κουμπί, έτσι το ακατέργαστο υποκατάστατο είναι να κρατήσετε κάθε episode διόρθωσης ενώ subsample αρχικά demonstração - και να γράψετε κάτω τι κάνατε.

Βήμα 6 λεπτομερώς: τι συνέχιση από checkpoint πραγματικά σημαίνει

Εκπαίδευση το μίγμα από το base model λειτουργεί αλλά ρίχνει μακριά τον προηγούμενο κύκλο και κοστοσ πλήρης εκτέλεση. Συνέχιση από το προηγούμενο checkpoint είναι ταχύτερη και συνήθως καλύτερη. Είναι επίσης πιο περιορισμένη από ό,τι προτείνει η φράση.

Latency σύνθετα μέσα σε ένα DAgger κύκλο με ένα τρόπο δεν κατά τη διάρκεια ένα demo: στο περίπου 485 ms ανά action βήμα αναλαμβάνετε επειδή ο βραχίονας hesitated, όχι επειδή ήταν λάθος, και hesitation διορθώσεις δεν είναι χρήσιμη εκπαίδευση δεδομένων. Αν είστε iterating σε δεδομένα αντί chasing τελικής ταχύτητα επιτυχίας, iterate ένα γρήγορο μοντέλο. Shukor et al. περιγράφουν SmolVLA ως σχεδιασμένο να εκπαιδεύσει σε ένα ενιαίο GPU και ανάπτυξη σε καταναλωτή GPUs ή CPUs, με μια ασύγχρονη συμπέρασμα στοίβα που αποσυνδέεται πρόβλεψη δράσης από εκτέλεση να επιτρέψει υψηλότερη έλεγχο ταχύτητες - την ιδιότητα που κρατά ένα takeover κύκλο ανταποκριτικό.

Τα σύνολο δεδομένων μορφές δεν είναι interchangeable. GR00T παίρνει LeRobot v2.0 ή v2.1, και το Isaac-GR00T repository περιγράφει τη εισόδου ως γεύση της LeRobot v2 μορφή με ένα προστεθέν δυνατότητα περιγραφή αρχείο· το νεότερο trainers εδώ περιμένουν v3.0. Ένα μίγμα σύνθετη στη λάθος έκδοση αποτυγχάνει στη φόρτωση χρόνου αντί δημιουργία κακής πολιτικής - η καλύτερη λειτουργία αποτυχία, εξακολουθεί σπατάληση σειράς slot. Ο σύνολο δεδομένων τεκμηρίωση κατάλογοι ποια μορφή κάθε trainer παίρνει.

Τέσσερις τρόποι να σπαταλήσετε ένα κύκλο

1. Εκπαίδευση στο διορθώσεις μόνο

Ο πιο συνήθης αποτυχία και το πιο δελεαστικό shortcut. Ένα διόρθωση-μόνο σύνολο δεδομένων είναι σχεδόν εντελώς το δύσκολο μέσαία της εργασίας, με προσέγγιση και retreat αγνοήθηκαν· η πολιτική παίρνει καλύτερη σε το δύσκολο μέρος και ξεχνά πώς να φθάσει εκεί. Aggregation δεν είναι υλοποίηση λεπτομέρεια της μεθόδου, είναι ο μηχανισμός: τα παλιά δεδομένα είναι τι κρατά το υπόλοιπο του συμπεριφοράς σε θέση ενώ διορθώσεις κίνηση ένα μέρος του.

2. Κίνηση κάμερα μεταξύ κύκλων

Ένα κάμερα που μετακινείται δύο εκατοστά μεταξύ κύκλων παράγει μια πολιτική χειρότερη από ό,τι αρχίζω με, και μια διάγνωση που κοστοσ μια ημέρα. Κάθε VLA εδώ υπό όρους εικόνες· κατάσταση κοινή μόνο δεν disambiguate όπου αντικείμενο είναι. Φωτογραφήστε τη ρύθμιση πριν τον πρώτο κύκλο και ελέγξτε αυτή φωτογραφία πριν κάθε αργότερα ένα.

3. Επιτρέποντας handover αρχidacts σε εκπαίδευση

Καλύπτονται παραπάνω, και σε λίστα επειδή είναι αόρατη. Το σύμπτωμα είναι πολιτική που stalls για κλάσμα δευτερολέπτου ακριβώς όπου προηγούμενος κύκλος χειριστής άναχος. Φαίνεται σαν hesitation· είναι μίμηση.

4. Κάλεσμα ένα warm start resume

Αν πιστεύετε optimizer κατάσταση μεταφέρθηκε, το αρχικό απώλεια spike διαβάζει ως ένα bug και πηγαίνετε κυνήγι για διαφθορά δεδομένων. Αν γνωρίζετε optimizer αρχίζει φρέσκο, spike είναι αναμενόμενη και κοιτάζετε τι έρχεται μετά από αυτό. Ίδια αριθμοί, αντίθετη συμπεράσματα.

Μέτρηση του κύκλου

Το μετρικό για ένα ανθρώπινης έγκρισης κύκλο είναι η intervention rate: πλαίσια καταγράφηκε ενώ είστε σε έλεγχο, διαιρούμενο από συνολική πλαίσια της εκτέλεσης. Είναι σε takeover κατάσταση, και είναι ο μόνο αριθμός που απαντά το ερώτημα ο κύκλος ρώτησε. Εκπαίδευση απώλεια πέφτει αν ή όχι η πολιτική βελτιωθεί· ταχύτητα επιτυχίας είναι δυαδική και θορυβώδης δείγμα μεγέθη γραφείο βραχίονα παράγει. Intervention rate είναι συνεχής, μετρούμενη σε το κατάσταση η πολιτική ίδια προκάλεσε, και αυτό σταγόνες ως η πολιτική σας χρειάζεται λιγότερο.

Σύγκριση αυτό μόνο κατά εκτελέσεις εγγραφή κάτω ταυτόσημα συνθήκες. Το πλήρες επιχείρημα, και πώς να δομήσετε αξιολόγηση σύνολο που επιζεί περισσότερα από δύο κύκλοι, είναι σε άρθρο σε μέτρηση ένα DAgger κύκλο. Κύκλος ένα είναι ρεαλιστικά ένα ικανότητα δοκιμή: είστε έλεγχο ότι takeover δουλειές σε δικό σας hardware, αυτό διορθώσεις προσγείωση με δικό τους σημαίες, και ότι συνεχή εκτέλεση φορτώθηκε checkpoint ονόματα. Κύκλοι δύο και τρεις είναι όπου ο ποσοστό θα πρέπει να αρχίσει κινείται. Αν δεν έχει μετακινηθεί κατά κύκλο τέσσερα, το πρόβλημα είναι upstream DAgger.

Αν δεν έχετε checkpoint ακόμα

Ο κύκλος έχει ούτε εισόδου σημείο χωρίς ένα. Record πρώτα σύνολο δεδομένων, εκπαίδευση πρώτη πολιτική, εκτέλεση αυτό - εγγραφή, εκπαίδευση και εκτέλεση η πολιτική κάλυψη αυτό μονοπάτι. Ο εγγραφή πελάτης είναι σε σελίδα λήψη, GPU tier και ωριαία συντελεστή σε σελίδα τιμολόγησης, και τι α χρησιμοποιήσιμη episode φαίνεται σαν στο SO-100 δεδομένων συλλογής guide. Πάρε αυτό demonstrações σωστά πριν διορθώσεις: DAgger είναι επιδιόρθωση μηχανισμός, και έχει λειτουργούν πολύ καλύτερα σε κάτι ήταν σχεδόν σωστό ήδη.

Κανένα από αυτό είναι λύθηκε πρόβλημα και κανένα από αυτό είναι ένα κλικ. Διαδραστική μίμηση μάθηση είναι ένα ενεργό έρευνα περιοχή ακριβώς επειδή έρωτημα - πότε να παρέμβουν, πώς να βάρος τι ανθρώπινο έκανε, πόσο παλιό δεδομένα να κρατήσετε - έχουν ούτε σταθμευμένο απαντήσεις· η εξέταση από Celemin et al. χάρτες ό,τι είναι ακόμα ανοικτό. Τι ο κύκλος σας έχει είναι μετρούμενο σύγκλιση όταν αυτό είναι τρέχει προσεκτικά, σε hardware που κοστοσ μερικές εκατοντάδες ευρώ. Παγώστε τη ρύθμιση, παρέμβουν νωρίς, triage ειλικρινής, μίγμα σκόπιμα, και record intervention rate κάθε φορά.