Χρήση DROID, BridgeData V2 και Open X σε ένα SO-100

Υπάρχει ένα δημόσιο σύνολο δεδομένων εκατομμυρίων τροχιών σε ένα Google Cloud bucket και ένα SO-100 στο γραφείο που κόστισε 110 έως 150 EUR σε εξαρτήματα. Γιατί το πρώτο δεν μπορεί να διδάξει το δεύτερο; Εν μέρει μπορεί, αλλά σχεδόν καμία από τη μεταφορά δεν συμβαίνει εκεί που οι άνθρωποι περιμένουν, και το μέρος που φαίνεται ευκολότερο δεν λειτουργεί καθόλου.

Τι ακολουθεί: τι περιέχεται στο DROID, BridgeData V2 και Open X-Embodiment, όπου το καθένα συγκρούεται με έναν βραχίονα 5-DoF χαμηλού κόστους, και τι να κάνετε αντ' αυτού. Κάθε αριθμός παρακάτω προήλθε από την εργασία, την κάρτα δεδομένων ή το αρχείο πηγής στο οποίο ανήκει.

Τι περιέχουν στην πραγματικότητα τα τρία σύνολα δεδομένων

DROID

Το πιο τυποποιημένο από τα τρία. Ένα σύστημα παντού: ένα Franka Panda με αρπάγη Robotiq 2F-85, δύο ρυθμιζόμενες στερεοφωνικές κάμερες ZED 2 και μια κάμερα καρπού ZED Mini, τηλεχειριζόμενο με χειριστήρια Meta Quest 2, καταγεγραμμένο μέσω Polymetis στα 15 Hz τόσο στον χώρο των αρθρώσεων όσο και στον χώρο του τελικού ενεργοποιητή. Οι ετικέτες γλώσσας προστέθηκαν αργότερα μέσω του tasq.ai, έως τρεις ανά επεισόδιο.

• 76k τροχιές, 350 ώρες, 564 σκηνές, 84 εργασίες, 50 συλλέκτες σε τρεις ηπείρους.
• Το κύριο αποτέλεσμα είναι η συν-εκπαίδευση, όχι η αυτόνομη εκπαίδευση: παρτίδες αναμεμειγμένες 50/50 με επιδείξεις εντός πεδίου νίκησαν την επόμενη καλύτερη μέθοδο κατά 22 ποσοστιαίες μονάδες απόλυτης επιτυχίας στην κατανομή, 17 ποσοστιαίες μονάδες εκτός αυτής.
• IPEC-COMMUNITY/droid_lerobot: 92.233 επεισόδια, 27.044.326 καρέ, franka, 15 fps, codebase_version v2.0, τρεις ροές AV1 στα 180x320, 392 GB.
• Ένα δείγμα εντοπισμού σφαλμάτων 2 GB, 100 επεισοδίων βρίσκεται στο gs://gresearch/robotics/droid_100. Ξεκινήστε από εκεί.

BridgeData V2

Το πιο κοντινό σε μια ερασιτεχνική εγκατάσταση: ένας βραχίονας WidowX 250 6-DoF, 60.096 τροχιές σε 24 περιβάλλοντα και 13 δεξιότητες στα 5 Hz. Σημειώστε τη σύνθεση: 50.365 επιδείξεις από ειδικούς τηλεχειριζόμενους συν 9.731 από μια τυχαιοποιημένη πολιτική επιλογής και τοποθέτησης με σενάριο, οπότε περίπου το 16 τοις εκατό δεν είναι ανθρώπινη επίδειξη, κάτι που έχει σημασία για μάθηση μέσω μίμησης ποιότητα. Η συνήθης λήψη, IPEC-COMMUNITY/bridge_orig_lerobot, αναφέρει 53.192 επεισόδια και 1.893.026 καρέ στα 5 fps, robot_type widowx: λιγότερα από τα 60.096 της εργασίας, οπότε διαβάστε τον αριθμό από το meta/info.json αντί να αναφέρετε οποιοδήποτε από τα δύο.

Open X-Embodiment

Όχι ένα σύνολο δεδομένων με την ίδια έννοια: 60 υπάρχοντα σύνολα δεδομένων ρομπότ από 34 εργαστήρια συγκεντρώθηκαν σε μία συλλογή RLDS που καλύπτει 22 υλοποιήσεις και πάνω από ένα εκατομμύριο τροχιές. Το BridgeData V2 βρίσκεται μέσα σε αυτήν ως bridge_orig. Το τμήμα google_robot, fractal20220817_data, μετατρέπεται σε 87.212 επεισόδια στα 3 fps.

Η συγκέντρωση δεδομένων εμπεριέχει μια προειδοποίηση που αναφέρεται ευθέως στην εργασία. Για τα πειράματα RT-X, οι συγγραφείς μετατρέπουν κάθε πηγή σε μια ενέργεια τελικού ενεργοποιητή 7-DoF, αλλά δεν ευθυγραμμίζουν τα συστήματα συντεταγμένων μεταξύ των συνόλων δεδομένων και επιτρέπουν στις τιμές δράσης να είναι απόλυτες ή σχετικές θέσεις ή ταχύτητες, σύμφωνα με το αρχικό σχήμα ελέγχου κάθε ρομπότ. Το συμπέρασμά τους: το ίδιο διάνυσμα δράσης μπορεί να προκαλέσει πολύ διαφορετικές κινήσεις για διαφορετικά ρομπότ.

Η αναντιστοιχία, σε τέσσερα μέρη

Η αναντιστοιχία ενσωμάτωσης συνήθως αντιμετωπίζεται ως ένα ασαφές πρόβλημα. Είναι τέσσερα, αποτυγχάνουν διαφορετικά, και δύο δεν μπορούν να διορθωθούν με scripting.

1. Βαθμοί ελευθερίας

Ένας SO-100 έχει πέντε αρθρώσεις βραχίονα συν μια λαβίδα. Μετρημένος ως κινητήρες είναι ένας βραχίονας 6-DoF, και η εργασία SmolVLA τον αποκαλεί έτσι· μετρημένος ως μηχανισμός τοποθέτησης είναι 5-DoF, και το LeRobot τον αποκαλεί έτσι στο docstring της αντίστροφης κινηματικής του, το οποίο περιγράφει την IK μαλακού προσανατολισμού στον 5-DOF SO-101 όπου ο καρπός παρακολουθεί τον προσανατολισμό μόνο εν μέρει. Ένας Franka έχει επτά αρθρώσεις τοποθέτησης. Αυτό το κενό καθορίζει ποιες στάσεις υπάρχουν: ένας βραχίονας 5-DoF δεν μπορεί γενικά να φτάσει ταυτόχρονα σε μια αυθαίρετη θέση και προσανατολισμό, οπότε ο επιλυτής επιστρέφει την πλησιέστερη δυνατή, μια διαφορετική κίνηση από αυτή που επιδείχθηκε. Ιστορικό: βαθμοί ελευθερίας.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Ένα έτοιμο DROID checkpoint δεν αποτελεί συντόμευση. Η Physical Intelligence διανέμει το pi05_droid στο gs://openpi-assets/checkpoints/pi05_droid, και το ίδιο README που επαινεί το εύρος του προειδοποιεί ότι αυτά τα εξειδικευμένα checkpoints ενδέχεται να μην γενικεύονται στην εγκατάστασή σας. Η κατάστασή του είναι οκτώ αριθμοί αρθρώσεων Franka και τα κλειδιά εικόνας του είναι exterior_image_1_left και wrist_image_left. Καμία σημαία δεν το μετατρέπει σε εντολή SO-100 έξι κινητήρων.

2. Τι λέει στην πραγματικότητα το διάνυσμα δράσης

Βαθύτερα από τη διαστατικότητα. Στις μετατροπές του LeRobot και τα τρία λένε πού πρέπει να πάει η λαβίδα, σε καρτεσιανό χώρο. Ένα SO-100 λέει πού πρέπει να πάνε έξι σερβοκινητήρες. Η μετατροπή απαιτεί ένα κινηματικό μοντέλο και έναν επιλυτή, όχι μια αναμόρφωση.

Το LeRobot παρέχει το κομμάτι που λείπει: ο ακολουθητής SO διαθέτει έναν επεξεργαστή κινηματικής με βήματα InverseKinematicsEEToJoints και ForwardKinematicsJointsToEE. Τα κλειδιά του είναι ee.x, ee.y, ee.z συν ένα διάνυσμα περιστροφής ee.wx, ee.wy, ee.wz και ee.gripper_pos, οπότε ακόμη και η κωδικοποίηση προσανατολισμού διαφέρει από το roll-pitch-yaw στα αρχεία. Το βήμα IK λαμβάνει ένα orientation_weight, προεπιλογή 0.01, του οποίου το docstring λέει να οριστεί σε 0.0 για IK μόνο θέσης σε υπο-ενεργοποιημένους βραχίονες. Μπορείτε να χτίσετε τη γέφυρα, αλλά το μισό του προσανατολισμού κάθε δανεισμένης ενέργειας παραμένει προσεγγιστικό.

3. Ρυθμός ελέγχου

Το DROID είναι 15 Hz, το BridgeData V2 5 Hz, το google_robot slice 3 fps. Οι συγγραφείς του pi0 περιγράφουν το open-source μέρος του μείγματός τους ως έλεγχο χαμηλής συχνότητας μεταξύ 2 και 10 Hz. Το DatasetRecordConfig του LeRobot έχει προεπιλογές fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. Μια εκπαιδευμένη σε δεδομένα 5 Hz έμαθε ότι μια ενέργεια καλύπτει 200 ms. Αναπαράγετε την στα 30 Hz και ο βραχίονας σέρνεται. Επαναδειγματοληψία αφελώς και θολώνετε το καρέ όπου κλείνει η λαβή. Επίσης αλληλεπιδρά άσχημα με το : ένα κομμάτι 100 βημάτων είναι 20 δευτερόλεπτα στα 5 Hz, 3.3 στα 30 Hz.

4. Κάμερες

Το BridgeData V2 τυχαιοποίησε δύο θέσεις κάμερας κάθε 50 τροχιές, και η σελίδα του έργου του σημειώνει ότι τα περισσότερα δεδομένα φέρουν ούτως ή άλλως μόνο τη σταθερή προβολή. Το DROID χρησιμοποίησε ρυθμιζόμενες βάσεις ZED 2 συν ένα ZED Mini στον καρπό. Έχετε δύο USB webcams τοποθετημένες με το μάτι. Η θέση της κάμερας δεν είναι μια μεταβλητή ενόχλησης για ένα · είναι μεγάλο μέρος αυτού στο οποίο βασίστηκε ο οπτικός κωδικοποιητής, και τίποτα στη μορφή αρχείου δεν σας λέει ότι οι θέσεις διαφέρουν.

Τι συμβαίνει όταν προσπαθείτε να συγχωνεύσετε τα δεδομένα ούτως ή άλλως

Το προφανές σχέδιο είναι να συνενώσουμε: μερικές χιλιάδες επεισόδια DROID συν τα δικά σας 50. Το LeRobot αρνείται, και η άρνηση αναφέρει τα τρία πράγματα που διαφέρουν.

1. 1
   Κατεβάστε το δείγμα των 100 επεισοδίων, όχι το πλήρες 1.7 TB

   2 GB είναι αρκετά για να δείτε τη δομή.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Μετατροπή RLDS σε μορφή LeRobot

   Το openx2lerobot ενσωματώνει τους τυπικούς μετασχηματισμούς OXE και προσδιορίζει τον τύπο ρομπότ και τη συχνότητα ελέγχου. Το README το τοποθετεί στο convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Διαβάστε το meta/info.json πριν από οτιδήποτε άλλο

   Αυτό το αρχείο αποφασίζει αν η υπόλοιπη μέρα σας θα λειτουργήσει.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Δοκιμάστε τη συγχώνευση και διαβάστε το σφάλμα

   Η συγχώνευση φορτώνει κάθε σύνολο δεδομένων, και στη συνέχεια το validate_all_metadata ελέγχει τα fps, robot_type και features έναντι του πρώτου στη λίστα, προκαλώντας σφάλμα στην πρώτη αναντιστοιχία.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Οι τιμές αναφοράς προέρχονται από όποιο σύνολο δεδομένων αναφέρατε πρώτο, γι' αυτό το μήνυμα παραπονιέται για τα 30 fps σας αντί για τα 15 του DROID. Διορθώστε τα fps και θα συναντήσετε τον έλεγχο robot_type· διορθώστε αυτό και θα συναντήσετε τον έλεγχο χαρακτηριστικών, 7 έναντι 6 για την ενέργεια. Καμία σειρά δεν περνάει, και ο ίδιος έλεγχος εκτελείται κατά την εγγραφή μέσω του sanity_check_dataset_robot_compatibility.

Τι μεταφέρεται στην πραγματικότητα;

Βάρη, όχι επεισόδια. Κάθε σύγχρονη γενική πολιτική απορρόφησε μέρος αυτού στην προ-εκπαίδευση, και όταν κάνετε fine-tune από ένα δημοσιευμένο σημείο ελέγχου το κληρονομείτε ήδη συμφιλιωμένο από άτομα με την υπολογιστική ισχύ να το κάνουν σωστά. Η εργασία του pi0 είναι ειλικρινής σχετικά με την αναλογία: το 9.1 τοις εκατό του μείγματος προ-εκπαίδευσής του, μετρούμενο σε χρονικά βήματα, είναι δεδομένα ανοιχτού κώδικα, συμπεριλαμβανομένων των OXE, Bridge v2 και DROID. Αυτός ο αριθμός είναι του pi0· το μείγμα κάθε προμηθευτή διαφέρει.

Αυτός είναι ο λόγος που SmolVLA συμπεριφέρεται διαφορετικά σε έναν βραχίονα χαμηλού κόστους. Η δημοσίευσή του επιλέγει 481 σύνολα δεδομένων κοινότητας από το Hugging Face, φιλτραρισμένα κατά τύπο ενσωμάτωσης, αριθμό επεισοδίων, ποιότητα δεδομένων και κάλυψη καρέ: 22.9K επεισόδια, 10.6M καρέ, αξιολογημένα σε πραγματικούς βραχίονες SO-100 και SO-101. Το μικρό και ταιριαστό υπερτερεί του μεγάλου και αταίριαστου. Συγκρίνετε στο ACT against SmolVLA.

Τρεις δρόμοι που αξίζει να ακολουθήσετε

Διαδρομή Α: λεπτομερής ρύθμιση από ένα σημείο ελέγχου που έχει ήδη απορροφήσει τα δεδομένα

Οι περισσότεροι άνθρωποι θα πρέπει να ακολουθήσουν αυτή τη διαδρομή. Δεν αγγίζετε ποτέ το DROID ή το Open X-Embodiment: επιλέξτε μια πολιτική της οποίας η προ-εκπαίδευση έχει ήδη απορροφήσει δεδομένα δια-ενσωμάτωσης, καταγράψτε τα δικά σας επεισόδια, κάντε λεπτομερή ρύθμιση.

Το ACT είναι η ειλικρινής οριακή περίπτωση: χωρίς βασικό μοντέλο, οπότε κανένα από τα δημόσια δεδομένα δεν το φτάνει ποτέ. Δεν είναι αυτόματα μειονέκτημα, καθώς στα 20 ms ανά βήμα ενέργειας είναι το μόνο από τα πέντε που μπορεί να κλείσει έναν γρήγορο βρόχο, όπως η σελίδα του ACT αναφέρει. Επιλέξτε ανά εργασία χρησιμοποιώντας και τα πέντε συγκριτικά, το GR00T N1.7 έναντι του Pi0.5, και τα 332 αποτελέσματα συγκριτικής αξιολόγησης σε 85 μοντέλα στην την αρένα.

Διαδρομή Β: χρησιμοποιήστε το DROID ως διάταξη δοκιμής

Το δείγμα 100 επεισοδίων είναι τα καλύτερα 2 GB που θα κατεβάσετε αυτόν τον μήνα, και όχι για εκπαίδευση. Είναι ένα σύνολο δεδομένων που γνωρίζετε ότι είναι σωστό. Εκτελέστε τον μετατροπέα, τον φορτωτή και μια σύντομη εργασία GPU σε αυτό. Οτιδήποτε αποτύχει είναι ένα σφάλμα υποδομής που βρέθηκε όσο ήταν φθηνό. Η NVIDIA κάνει το ίδιο σε κλίμακα: η κάρτα GR00T N1.7 παραθέτει τέσσερις μετα-εκπαιδευμένες παραλλαγές, για Bridge και Fractal στο SimplerEnv, DROID και LIBERO.

Διαδρομή Γ: καταγράψτε τα δικά σας, σκόπιμα

Τριάντα έως πενήντα ακούγονται λίγα δίπλα στα 76.000, μέχρι να θυμηθείτε ότι τα δικά σας είναι τα μόνα με το δικό σας χέρι, τις δικές σας κάμερες και το δικό σας τραπέζι. Με τις προεπιλογές του LeRobot, 50 επεισόδια αντιστοιχούν σε 100 λεπτά πραγματικού χρόνου. Δείτε , και .

Δύο τρόποι για να περάσετε από τα δημόσια δεδομένα σε μια λειτουργική πολιτική

Τι κοστίζει κάθε διαδρομή

Το σημείο είναι η ασυμμετρία: η διαδρομή που δανείζεται τα περισσότερα δεδομένα είναι η πιο ακριβή και η λιγότερο πιθανή να κινήσει το χέρι σας. Λιγότερο από δύο ώρες δικής σας τηλελειτουργίας υπερτερούν ενός terabyte Franka κάποιου άλλου. Δεν έχετε ακόμα ρομποτικό βραχίονα; /live μεταδίδει ζωντανά ένα φυσικό SO-100 χωρίς εγγραφή. Στη συνέχεια, εκπαιδεύστε την πρώτη σας πολιτική, και SmolVLA στο SO-100 για τον συγκεκριμένο οδηγό.