Συνθετικά Δεδομένα για Πολιτικές Ρομπότ: Πού Βοηθά η Προσομοίωση

Κάθε λίγους μήνες κάποιος συνειδητοποιεί ότι η καταγραφή πενήντα επεισοδίων με το χέρι είναι αργή, και ρωτάει αν ένας προσομοιωτής θα μπορούσε να τα παράγει αντ' αυτού. Είναι μια δίκαιη ερώτηση. Η ειλικρινής απάντηση έχει τρία μέρη: τα παραγόμενα δεδομένα βοηθούν, δεν αντικαθιστούν τις πραγματικές καταγραφές, και η αναλογία μεταξύ αυτών των δύο γεγονότων εξαρτάται εξ ολοκλήρου από το είδος των συνθετικών δεδομένων που εννοείτε.

Αυτή η σελίδα εξετάζει τι μέτρησε πραγματικά η δημοσιευμένη εργασία, τι μπορείτε να εκτελέσετε σήμερα σε έναν βραχίονα χαμηλού κόστους όπως ο SO-100, και πού το χάσμα προσομοίωσης-πραγματικότητας καταβροχθίζει τα κέρδη. Η σύντομη εκδοχή, πριν από τη λεπτομέρεια: τα συστήματα που αναφέρουν τους μεγαλύτερους πολλαπλασιαστές πολλαπλασιάζουν ένα μικρό σύνολο πραγματικών ανθρώπινων επιδείξεων. Δεν καταργούν την ανάγκη για αυτές.

Τέσσερα διαφορετικά πράγματα ονομάζονται συνθετικά δεδομένα

Πριν συγκρίνουμε αριθμούς, αξίζει να διαχωρίσουμε τις οικογένειες, γιατί μια εργασία που αναφέρει έναν πολλαπλασιαστή 100x και μια εργασία που αναφέρει αύξηση επιτυχίας 5 μονάδων συχνά περιγράφουν την ίδια διαδικασία από διαφορετικές οπτικές γωνίες. Το κοινό σημείο είναι ότι κάτι στο σύνολο δεδομένων LeRobot παράχθηκε από μηχανή αντί να καταγραφεί από έναν φυσικό βραχίονα. Αυτό που διαφέρει είναι ποιο μέρος.

Μόνο οι τρεις πρώτες είναι συνθετικά δεδομένα με την έννοια που εννοεί αυτό το άρθρο. Η τέταρτη αξίζει να αναφερθεί επειδή εντάσσεται στην ίδια συζήτηση και είναι μακράν το φθηνότερο πράγμα στη λίστα. Εάν δεν έχετε ήδη ενεργοποιήσει τις αυξήσεις που συνοδεύουν τον εκπαιδευτή σας, κάντε το πριν εγκαταστήσετε έναν προσομοιωτή.

Τι λένε πραγματικά οι δημοσιευμένοι αριθμοί

Εδώ είναι η βάση των αποδεικτικών στοιχείων, με τους αριθμούς όπως τους αναφέρουν οι πηγές και όχι όπως τους συνοψίζουν τα δελτία τύπου. Κάθε γραμμή παρακάτω προέρχεται από μια εργασία ή σελίδα έργου που διαβάστηκε στις 23 Αυγούστου 2026.

Το μοτίβο σε κάθε ειλικρινή αφαίρεση είναι το ίδιο. Τα συνθετικά δεδομένα διευρύνουν την κάλυψη οικονομικά. Δεν δημιουργεί πληροφορίες σχετικά με τον αρπάγη σας, την κάμψη του σερβομηχανισμού σας, τον φωτισμό σας ή το ύψος του τραπεζιού σας που δεν υπήρχαν κάπου στις πραγματικές επιδείξεις. Εάν η πολιτική σας αποτύχει επειδή ο τελικός ενεργοποιητής κλείνει μισό δευτερόλεπτο αργότερα, καμία ποσότητα προσομοιωμένης παραλλαγής δεν το διορθώνει. Αυτό είναι ένα πρόβλημα χρονισμού αρπάγης στις πραγματικές καταγραφές.

Ένα εύρημα του MimicGen αξίζει να το λάβετε υπόψη στις δικές σας συνεδρίες καταγραφής, επειδή έρχεται σε αντίθεση με τις συνήθεις συμβουλές. Το έργο δημιούργησε δύο σύνολα δεδομένων στο Square D2, ένα με 10 επιδείξεις από έναν ανθρώπινο χειριστή καλύτερης ποιότητας και ένα με 10 επιδείξεις από έναν χειριστή χειρότερης ποιότητας, και τα δύο προερχόμενα από το σύνολο δεδομένων robomimic multi-human Square. Οι πολιτικές που εκπαιδεύτηκαν σε κάθε ένα πέτυχαν συγκρίσιμα αποτελέσματα, κάτι που οι συγγραφείς ερμήνευσαν ως ένδειξη ότι σε καθεστώς δεδομένων μεγάλης κλίμακας η ποιότητα των δεδομένων μπορεί να μην έχει τόσο μεγάλη σημασία. Διαβάστε προσεκτικά, αυτή είναι μια δήλωση σχετικά με τις δέκα αρχικές επιδείξεις, όχι σχετικά με τα πενήντα πραγματικά σας επεισόδια. Σημαίνει ότι ένα ελαφρώς ακατάστατο αρχικό σύνολο δεν είναι αυτό που στέκεται ανάμεσα σε εσάς και ένα χρήσιμο παραγόμενο σύνολο δεδομένων. Δεν σημαίνει ότι τα πραγματικά επεισόδια στα οποία συν-εκπαιδεύεστε μπορούν να είναι ακατάστατα, επειδή αυτά είναι που φέρουν τις πληροφορίες που δεν έχει ο προσομοιωτής.

Το χάσμα προσομοίωσης-πραγματικότητας, συγκεκριμένα

Το χάσμα συνήθως συζητείται ως μία ενιαία ποσότητα, κάτι που δεν είναι χρήσιμο. Πρόκειται για τουλάχιστον πέντε ξεχωριστές αναντιστοιχίες, και αυτές έχουν διαφορετικά μεγέθη σε έναν βραχίονα χόμπι 110 έως 150 EUR από ό,τι σε έναν Franka.

• Επαφή και τριβή. Το Isaac Lab δηλώνει ξεκάθαρα ότι δεδομένου του ίδιου υλικού και της ίδιας έκδοσης Isaac Sim και PhysX, η προσομοίωση είναι αναπαραγώγιμη, αλλά ότι τα αποτελέσματα διαφέρουν σε διαφορετικές διαμορφώσεις υλικού λόγω της ακρίβειας κινητής υποδιαστολής και των σφαλμάτων στρογγυλοποίησης, και ότι το PhysX δεν εγγυάται ντετερμινισμό για οποιαδήποτε σκηνή με μη άκαμπτα σώματα όπως ύφασμα ή μαλακά σώματα.
• Ενεργοποίηση. Ένας σερβοκινητήρας διαύλου Feetech STS3215 που λειτουργεί στα 7.4 V παρουσιάζει κάμψη υπό φορτίο, έχει κενό, και αλλάζει συμπεριφορά καθώς θερμαίνεται. Το μοντέλο MJCF για το SO-101 δανείζεται τις παραμέτρους του κινητήρα του από ένα άσχετο έργο αντί να τις προσδιορίζει στον βραχίονά σας.
• Απόδοση. Ο θόρυβος της κάμερας, το rolling shutter, η αυτόματη έκθεση και η ακριβής απόχρωση του τραπεζιού σας δεν περιλαμβάνονται στην απόδοση. Αυτό είναι το μισό του χάσματος που το Cosmos-Transfer1 κατασκευάστηκε για να κλείσει: η ρομποτική του ροή εργασιών επαύξησης αντιστοιχίζει ένα ρομποτικό συνθετικό παράδειγμα σε πολλαπλά ρεαλιστικά παραδείγματα από τμηματοποίηση, βάθος ή συνθήκες ακμών.
• Χρονισμός. Ένας προσομοιωτής εκτελεί βήματα με σταθερό ρυθμό. Ένας πραγματικός βρόχος ελέγχου όχι, και το ίδιο το μοντέλο κοστίζει 20 έως 485 ms ανά βήμα δράσης ανάλογα με το ποιο επιλέξατε. Δείτε καθυστέρηση συμπερασμάτων.
• Στατιστικά αντικειμένων. Οι προσομοιωμένες σκηνές λαμβάνονται δείγματα από μια κατανομή που κάποιος κατέγραψε. Το τραπέζι της κουζίνας σας όχι.

Τι γνωρίζει στην πραγματικότητα ένας προσομοιωμένος SO-100 για τον βραχίονά σας

Αυτό είναι το μέρος που αποφασίζει αν κάτι από τα παραπάνω αξίζει το Σαββατοκύριακό σας, και η πρώτη έκπληξη είναι ότι το SO-100 και το SO-101 δεν εξυπηρετούνται εξίσου. Το αποθετήριο SO-ARM100 του TheRobotStudio διατηρεί τα στοιχεία προσομοίωσής του υπό Simulation/. Ο φάκελος SO100 περιέχει ένα μόνο αρχείο URDF και τίποτα άλλο. Ο φάκελος SO101 περιέχει αρχεία URDF και MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, τα αντίστοιχα URDFs και ένα joints_properties.xml. Αν θέλετε ένα φυσικό μοντέλο αντί για μια κινηματική αλυσίδα, θέλετε τα αρχεία SO-101.

Δημιουργήθηκαν με το plugin onshape-to-robot από ένα μοντέλο CAD σχεδιασμένο στο Onshape, πράγμα που σημαίνει ότι η κινηματική και τα οπτικά πλέγματα είναι τόσο καλά όσο το CAD. Η δυναμική είναι μια διαφορετική ιστορία, και το README του αποθετηρίου είναι ειλικρινές για τρία πράγματα. Τα πλέγματα σύγκρουσης βάσης αφαιρέθηκαν λόγω προβληματικής συμπεριφοράς σύγκρουσης κατά την προσομοίωση και τον σχεδιασμό. Οι ιδιότητες του κινητήρα STS3215 προσαρμόζονται από το έργο Open Duck Mini αντί να μετρηθούν σε ένα SO-101. Και η σύμβαση αρπάγης LeRobot, όπου το 0 είναι πλήρως κλειστό και το 100 είναι πλήρως ανοιχτό, δεν αντικατοπτρίζεται ρητά ακόμη στα αρχεία URDF και MuJoCo. Κάθε ένα από αυτά είναι ένα σημείο όπου μια πολιτική που εκπαιδεύτηκε αποκλειστικά σε αυτό το μοντέλο θα συμπεριφέρεται διαφορετικά στο γραφείο σας.

Τυχαιοποίηση πεδίου, και τι δεν διορθώνει

Η τυπική απάντηση στο χάσμα είναι να σταματήσουμε να προσπαθούμε να ταιριάξουμε την πραγματικότητα και αντ' αυτού να εκπαιδεύσουμε σε μια αρκετά ευρεία κατανομή ώστε η πραγματικότητα να εμπίπτει σε αυτήν. Ο Tobin και οι συνεργάτες του έδειξαν την ισχυρή εκδοχή αυτού το 2017: ένας ανιχνευτής αντικειμένων που εκπαιδεύτηκε μόνο σε προσομοιωμένες εικόνες με μη ρεαλιστικές τυχαίες υφές, χωρίς καμία προ-εκπαίδευση σε πραγματικές εικόνες, εντόπισε πραγματικά αντικείμενα με ακρίβεια 1.5 cm και παρέμεινε ανθεκτικός σε αποπροσανατολιστές και μερικές αποκρύψεις.

Το Isaac Lab εκθέτει την ίδια ιδέα με τους όρους συμβάντων που επισυνάπτετε σε μια διαμόρφωση περιβάλλοντος. Αυτοί είναι οι διακόπτες, με τα πραγματικά ονόματα των συναρτήσεών τους στο isaaclab.envs.mdp, ώστε να μπορείτε να τους διαβάσετε αντί να μαντεύετε.

Εδώ είναι το όριο, και είναι αυτό στο οποίο σκοντάφτουν οι άνθρωποι. Η τυχαιοποίηση διευρύνει την κατανομή που έχει δει η πολιτική μέσα στο μοντέλο που δημιουργήσατε. Δεν μπορεί να εισαγάγει ένα φυσικό φαινόμενο που δεν αναπαριστά ο προσομοιωτής. Εάν το PhysX δεν μοντελοποιεί το κενό και τη θερμική πτώση των σερβομηχανισμών STS3215, η τυχαιοποίηση της ακαμψίας τους δεν διδάσκει τίποτα στην πολιτική για το κενό. Γι' αυτό ένας βραχίονας που υπό μια πολιτική εκπαιδευμένη σε προσομοίωση δεν είναι πρόβλημα προϋπολογισμού τυχαιοποίησης. Είναι πρόβλημα μοντελοποίησης.

Η χειροκίνητη διαδρομή: δημιουργία δεδομένων στο Isaac Lab

Το Isaac Gym είναι παλαιότερο λογισμικό. Η ίδια η σελίδα της NVIDIA φέρει την επικεφαλίδα "Isaac Gym - Πλέον Καταργημένο" και αναφέρει ότι οι προγραμματιστές μπορούν να το κατεβάσουν και να συνεχίσουν να το χρησιμοποιούν, αλλά ότι δεν υποστηρίζεται πλέον, παραπέμποντας αντ' αυτού στο Isaac Lab. Αν θέλετε την ιστορία, καλύψαμε και τα δύο: και . Για νέα εργασία το 2026, ξεκινήστε από το Isaac Lab.

1. 1
   Εγκατάσταση Isaac Sim και Isaac Lab

   Η σελίδα εγκατάστασης pip αναφέρει ότι οι οδηγίες αφορούν το Isaac Sim 5.X, το οποίο απαιτεί Python 3.11. Η κλωνοποίηση του πηγαίου κώδικα σας παρέχει τα scripts που χρειάζονται τα επόμενα βήματα.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Καταγράψτε περίπου δέκα ανθρώπινες επιδείξεις

   Η τεκμηρίωση του Isaac Lab είναι συγκεκριμένη: απαιτούνται περίπου 10 επιτυχημένες επιδείξεις για να επιτύχουν τα ακόλουθα βήματα. Οι συμβουλές του είναι εξίσου συγκεκριμένες. Κρατήστε τις επιδείξεις σύντομες, ακολουθήστε μια άμεση διαδρομή αντί να κινείστε κατά μήκος αυθαίρετων αξόνων, και μην κάνετε παύσεις, γιατί δεν είναι προφανές σε μια πολιτική γιατί και πότε να κάνει παύση.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Σχολιάστε τα όρια των υποεργασιών

   Το Mimic χωρίζει τις επιδείξεις εισόδου σε υποεργασίες ώστε να μπορεί να επαναχρονίσει και να επαναστοχεύσει τα τμήματα. Η σημαία --auto το κάνει αυτό χωρίς ανθρώπινη παρέμβαση για εργασίες που ορίζουν αυτόματη σχολιασμό. Χωρίς αυτήν, κάνετε παύση με το B, συνεχίζετε με το N και σημειώνετε ένα όριο με το S. Σημειώστε ότι το αναγνωριστικό εργασίας αποκτά ένα επίθημα -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Δημιουργήστε το πολλαπλασιασμένο σύνολο δεδομένων

   Αυτό είναι το βήμα που μετατρέπει το 10 σε 1000. Το Mimic εφαρμόζει ένα κριτήριο επιτυχίας boolean σε κάθε υποψήφιο και διατηρεί μόνο όσους ολοκλήρωσαν την εργασία, οπότε ο αριθμός εξόδου είναι χαμηλότερος από τον αριθμό των δοκιμών. Η τεκμηρίωση αναφέρει ότι το ποσοστό επιτυχίας των υποψηφίων φτάνει το 70 τοις εκατό σε απλές περιπτώσεις και κάτω από 1 τοις εκατό για δύσκολες εργασίες και πολύπλοκα ρομπότ: περίπου 50 τοις εκατό για τη στοίβα κύβων Franka, και 65 έως 80 τοις εκατό για την επιλογή και τοποθέτηση GR1T2, όπου 1000 επιδείξεις διαρκούν 18 έως 40 λεπτά (19 λεπτά σε μια RTX ADA 6000 στο 80 τοις εκατό).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Μετατροπή HDF5 σε σύνολο δεδομένων LeRobot

   Όλα τα παραπάνω παράγουν HDF5 τύπου robomimic, και ο πυρήνας του Isaac Lab δεν περιλαμβάνει δικό του μετατροπέα LeRobot: η τεκμηρίωσή του αναφέρει μόνο ότι μπορείτε να μετατρέψετε το παραγόμενο σύνολο δεδομένων σε μορφή LeRobot. Δύο έργα παρέχουν τον πραγματικό μετατροπέα. Το IsaacLab-Arena παρέχει έναν στοχευμένο για GR00T, ο οποίος καθοδηγείται εξ ολοκλήρου από μια διαμόρφωση YAML, και το LeIsaac παρέχει το δικό του ζεύγος για τη διαδρομή SO-101 (δείτε παρακάτω).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Γιατί αποτυγχάνουν οι προσπάθειες δημιουργίας, και τι να αλλάξετε

Ένα ποσοστό επιτυχίας υποψηφίου που κυμαίνεται μεταξύ 70 τοις εκατό και κάτω του 1 τοις εκατό δεν είναι μυστήριο, και το Isaac Lab τεκμηριώνει τις κοινές παγίδες αντί να σας αφήνει να μαντέψετε. Κάθε μία από αυτές είναι κάτι που ελέγχετε κατά τον χρόνο καταγραφής, γι' αυτό αξίζει να διαβάσετε αυτή τη λίστα πριν καταγράψετε τις δέκα αρχικές επιδείξεις, παρά μετά την πρώτη απογοητευτική εκτέλεση παραγωγής.

• Οι επιδείξεις είναι πολύ μεγάλες. Ένας μεγαλύτερος χρονικός ορίζοντας είναι πιο δύσκολο να μαθευτεί από μια πολιτική. Ξεκινήστε κοντά στο πρώτο αντικείμενο και ελαχιστοποιήστε την κίνηση.
• Οι επιδείξεις δεν είναι ομαλές. Η ακανόνιστη κίνηση είναι δύσκολο να αποκρυπτογραφηθεί από μια πολιτική, και το καλύτερο υλικό τηλεχειρισμού παρέχει καλύτερα δεδομένα: η τεκμηρίωση αναφέρει σαφώς ότι ένα SpaceMouse είναι ανώτερο από ένα πληκτρολόγιο.
• Παύσεις. Οι παύσεις είναι δύσκολο να μαθευτούν, επειδή δεν είναι προφανές σε μια πολιτική γιατί και πότε να κάνει παύση. Διατηρήστε την κίνηση ρευστή.
• Πάρα πολλές υποεργασίες. Περισσότερες υποεργασίες σημαίνουν περισσότερη σύνδεση μεταξύ των τμημάτων τροχιάς, γεγονός που οδηγεί σε λιγότερο ομαλή κίνηση και χαμηλότερο ποσοστό επιτυχίας παραγωγής. Σημειώστε τα όρια όπου ο βραχίονας είναι απίθανο να συγκρουστεί με οτιδήποτε.
• Χωρίς θόρυβο δράσης. Ο θόρυβος δράσης καθιστά τις προκύπτουσες πολιτικές πιο στιβαρές.
• Η καταγραφή περικόπηκε πολύ σφιχτά. Εάν η καταγραφή σταματήσει στο ακριβές καρέ που ενεργοποιείται ο όρος επιτυχίας, ενδέχεται να μην ενεργοποιηθεί ξανά κατά την αναπαραγωγή. Αφήστε ένα περιθώριο στο τέλος.
• Μη-ντετερμινιστική αναπαραγωγή. Η φυσική στο Isaac Lab δεν είναι ντετερμινιστικά αναπαραγώγιμη σε όλα τα env.reset, οπότε ορισμένες ανθρώπινες επιδείξεις αποτυγχάνουν στην αναπαραγωγή. Συλλέξτε περισσότερες από όσες χρειάζεστε και κρατήστε αυτές που επιβιώνουν της επισήμανσης. Ό,τι καταλήγει σε ένα αρχείο HDF5 που δημιουργήθηκε από το Mimic είναι μια επιτυχημένη επίδειξη και μπορεί να χρησιμοποιηθεί για εκπαίδευση ακόμα κι αν η αναπαραγωγή αποτύχει αργότερα.

Το βήμα παρεμβολής μεταξύ των συνδεδεμένων τμημάτων υποεργασιών έχει τη δική του ρύθμιση, και ο αριθμός των βημάτων παρεμβολής που χρειάζεστε κλιμακώνεται ανάλογα με το πόσο γρήγορα κινείται το ρομπότ και πόσο ευρεία είναι η κατανομή επαναφοράς αντικειμένου. Μια σύνθετη εργασία με μεγάλη κατανομή επαναφοράς αφήνει μεγαλύτερα κενά μεταξύ των τμημάτων, γεγονός που απαιτεί περισσότερα βήματα παρεμβολής για να προκύψει ως συνεχής κίνηση. Εάν τα βίντεο που δημιουργήσατε δείχνουν τον βραχίονα να κινείται απότομα μεταξύ των φάσεων, αυτή είναι η παράμετρος που πρέπει να εξετάσετε πριν κατηγορήσετε τις αρχικές επιδείξεις.

Η ίδια διαδικασία σε ένα SO-101, με τον πραγματικό βραχίονα οδηγό

Αυτό είναι το ενδιαφέρον για όποιον διαβάζει αυτή τη σελίδα, επειδή είναι η μόνη ανοιχτή διοχέτευση που τοποθετεί ένα μέσα στο Isaac Lab και σας επιτρέπει να το οδηγείτε με τον φυσικό βραχίονα leader που ήδη διαθέτετε. Το LeIsaac, έκδοση 0.4.0 κατά τη στιγμή της συγγραφής, είναι το επίσημο περιβάλλον προσομοίωσης εκμάθησης μέσω μίμησης ενσωματωμένο στο EnvHub του LeRobot. Ο πίνακας συμβατότητάς του αναφέρει τρεις λειτουργικούς συνδυασμούς· ο νεότερος συνδυάζει το Isaac Sim 5.1 με το Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 και Python 3.11, και η τεκμηρίωση συνιστά Isaac Sim 5.0 ή νεότερο για κάρτες σειράς 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Με αυτό στη θέση του, ο βραχίονας leader στο /dev/ttyACM0 οδηγεί τον προσομοιωμένο follower και καταγράφει απευθείας σε HDF5. Ο βρόχος είναι ο ίδιος που ήδη γνωρίζετε από την πραγματική καταγραφή, μόνο που ο follower είναι ένα άκαμπτο σώμα στο PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Τα περισσότερα από αυτά τα αναγνωριστικά υπάρχουν επίσης ως παραλλαγή -Direct-v0, και python scripts/environments/list_envs.py εκτυπώνει την τρέχουσα λίστα. Μπορείτε επίσης να παρακάμψετε εντελώς την παράκαμψη HDF5 και να γράψετε τη μορφή LeRobot κατά τη διάρκεια της τηλελειτουργίας προσθέτοντας τρεις σημαίες. Δύο προειδοποιήσεις προέρχονται από την ίδια την τεκμηρίωση: ο καταγραφέας παραλείπει αυτόματα τα πρώτα 5 καρέ κάθε επεισοδίου για να αποφύγει την αστάθεια από τις αρχικές καταστάσεις, και μπορεί να προκαλέσει μικρές καθυστερήσεις στην τηλελειτουργία, κάτι που είναι ακριβώς το είδος του πράγματος που αλλάζει αθόρυβα τον χαρακτήρα των επιδείξεών σας. Επίσης, εκκαθαρίζει μόνο επεισόδια που η εργασία έχει χαρακτηρίσει επιτυχημένα.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Το βήμα πολλαπλασιασμού εκτελείται στη συνέχεια σε αυτές τις καταγραφές. Το LeIsaac ενσωματώνει το Isaac Lab Mimic σε τέσσερις εντολές, επειδή το Mimic γενικεύει τροχιές από τις θέσεις του τελικού ενεργοποιητή και του αντικειμένου: μετατροπή των ενεργειών χώρου αρθρώσεων σε ενέργειες βασισμένες σε IK, σχολιασμός, δημιουργία και στη συνέχεια μετατροπή πίσω στον χώρο αρθρώσεων.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Στη συνέχεια μετατρέψτε σε LeRobot. Αυτό είναι το βήμα όπου εφαρμόζεται ο κανόνας μορφοποίησης της πλατφόρμας, και το LeIsaac τυχαίνει να παρέχει ακριβώς τους δύο μετατροπείς που χρειάζεστε: isaaclab2lerobot.py γράφει LeRobot v2, το οποίο είναι αυτό που δέχονται οι φορτωτές GR00T, και isaaclab2lerobotv3.py γράφει v3 για Pi0.5, SmolVLA και ACT. Τα δύο σενάρια δέχονται πανομοιότυπα ορίσματα αλλά χρησιμοποιούν διαφορετικές εκδόσεις lerobot, και μόνο τα επιτυχημένα επεισόδια μετατρέπονται.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Δύο διαδρομές για μια εκπαιδευμένη πολιτική

Μοντέλα κόσμου βίντεο: το νεότερο επίπεδο, και το λιγότερο μετρημένο

Η ιδέα πίσω από το DreamGen είναι ότι ένα γενετικό μοντέλο βίντεο, προσαρμοσμένο στην ενσωμάτωση του ρομπότ-στόχου, μπορεί να φανταστεί εύλογα επεισόδια σε σκηνές που δεν επισκεφτήκατε ποτέ. Η διαδικασία έχει τέσσερα στάδια: fine-tune το μοντέλο κόσμου βίντεο, δημιουργία φωτορεαλιστικών συνθετικών βίντεο ρομπότ, ανάκτηση ακολουθιών ψευδο-δράσης με ένα μοντέλο λανθάνουσας δράσης ή ένα μοντέλο αντίστροφης δυναμικής, και στη συνέχεια εκπαίδευση της πολιτικής του ρομπότ στο αποτέλεσμα. Το αποθετήριο GR00T-dreams της NVIDIA υλοποιεί ακριβώς αυτό.

Το βασικό αποτέλεσμα είναι πραγματικό και αξίζει να ληφθεί σοβαρά υπόψη: δεδομένα τηλελειτουργίας από μία μόνο εργασία επιλογής και τοποθέτησης σε ένα περιβάλλον παρήγαγαν 22 νέες συμπεριφορές σε έναν ανθρωποειδή, τόσο σε γνωστά όσο και σε άγνωστα περιβάλλοντα. Η επιφύλαξη είναι εξίσου πραγματική και βρίσκεται στο τρίτο στάδιο.

Η συνεκπαίδευση είναι η συνταγή που πραγματικά δείχνει κέρδη

Αν κρατήσετε ένα επιχειρησιακό μάθημα από τη βιβλιογραφία, κρατήστε αυτό. Η μελέτη συνεκπαίδευσης προσομοίωσης-πραγματικότητας (Maddukuri και συνεργάτες, 2025) είχε ως στόχο να βρει μια απλή συνταγή για τη χρήση δεδομένων προσομοίωσης για την επίλυση εργασιών ρομποτικής χειραγώγησης βασισμένων στην όραση, σε δύο τομείς, έναν ρομποτικό βραχίονα και έναν ανθρωποειδή, και το συμπέρασμά της είναι ότι εκπαιδεύεστε σε ένα μείγμα. Τα δεδομένα προσομοίωσης βελτίωσαν την απόδοση των εργασιών στον πραγματικό κόσμο κατά μέσο όρο 38 τοις εκατό, και η εργασία αναφέρει ρητά ότι αυτό ίσχυε ακόμη και με αξιοσημείωτες διαφορές μεταξύ των δεδομένων προσομοίωσης και των δεδομένων του πραγματικού κόσμου.

Αυτή η τελευταία πρόταση έχει μεγαλύτερη σημασία από το 38 τοις εκατό. Σημαίνει ότι η προσομοίωση δεν χρειάζεται να είναι ένας τέλειος ψηφιακός δίδυμος για να είναι χρήσιμη, υπό την προϋπόθεση ότι τα πραγματικά δεδομένα περιλαμβάνονται στο μείγμα για να την αγκυροβολήσουν. Η μεταφορά μόνο από προσομοίωση είναι ο δαπανηρός δρόμος: η ίδια εργασία αναφέρει ότι η εκπαίδευση μιας πολιτικής αποκλειστικά σε προσομοίωση και η μεταφορά της στον πραγματικό κόσμο απαιτεί συχνά σημαντική ανθρώπινη προσπάθεια για να γεφυρωθεί το χάσμα της πραγματικότητας. Η συνεκπαίδευση παρακάμπτει το μεγαλύτερο μέρος αυτής της προσπάθειας, καθώς δεν ζητά ποτέ από την πολιτική να κλείσει το χάσμα μόνη της.

Πρακτικά, σε αυτή την πλατφόρμα, η συνεκπαίδευση σημαίνει ένα πράγμα: τοποθετήστε και τα δύο σύνολα επεισοδίων στο ίδιο σύνολο δεδομένων LeRobot με συνεπή κλειδιά κάμερας, συνεπή σειρά αρθρώσεων και συνεπείς μονάδες, και στη συνέχεια εκτελέστε μια κανονική λεπτομερή ρύθμιση. Δεν υπάρχει κουμπί ρύθμισης βάρους μείγματος στη φόρμα εκπαίδευσης. Αν θέλετε αναλογία προσομοίωσης προς πραγματικότητα 3:1, το εκφράζετε με το πόσα επεισόδια από το καθένα βάζετε στο σύνολο δεδομένων.

Το φθηνότερο κέρδος από την προσομοίωση δεν είναι τα δεδομένα εκπαίδευσης

Είναι η αξιολόγηση. Η εκτέλεση δεκάδων πραγματικών δοκιμών ανά εργασία για τη σύγκριση δύο είναι μια μέρα χρόνου ρομποτικού βραχίονα, και ο βραχίονας μετατοπίζεται μεταξύ των δοκιμών. Το SIMPLER (Li και συνεργάτες, 2024) δημιούργησε προσομοιωμένα περιβάλλοντα των οποίων ο σκοπός είναι η βαθμολόγηση πραγματικών πολιτικών αντί η εκπαίδευσή τους, και στη συνέχεια μέτρησε πόσο καλά η κατάταξη της προσομοίωσης προβλέπει την πραγματική. Ένα μόνο περιβάλλον SIMPLER αποδίδει 3.500 βήματα προσομοίωσης ανά δευτερόλεπτο σε μια καταναλωτική RTX 4090 σε ανάλυση 640 επί 512, το οποίο υπό συχνότητα προσομοίωσης 500 Hz είναι μια επιτάχυνση 7x σε σχέση με την πραγματική αξιολόγηση.

Αυτοί είναι μέσοι όροι από τρεις ομάδες εργασιών Google Robot για έξι κοινά σημεία ελέγχου ανοιχτού κώδικα: τρία σημεία ελέγχου RT-1 σε διαφορετικά στάδια εκπαίδευσης, RT-1-X, RT-2-X και Octo-Base. Η πραγματική πλευρά δεν έχει ομοιόμορφο αριθμό δοκιμών, κάτι που αξίζει να γνωρίζετε πριν το αναφέρετε: 75 δοκιμές για την ανάσυρση κουτιού αναψυκτικού, 60 για την κίνηση κοντά, 54 για τις εργασίες ανοίγματος και κλεισίματος συρταριού και 27 για την πιο χρονοβόρα εργασία συρταριού και μήλου. Η σύγκριση με το validation MSE είναι το χρήσιμο μέρος. Η επιλογή μοντέλου με βάση την απώλεια επικύρωσης κατατάσσει αυτά τα σημεία ελέγχου άσχημα, και ένα Pearson r 0.924 υπό οπτική αντιστοίχιση σημαίνει ότι αν ένα σημείο ελέγχου βαθμολογείται καλύτερα στο SIMPLER, πολύ πιθανόν να βαθμολογείται καλύτερα και στον πάγκο. Αυτός είναι ένας επαναλαμβανόμενος πίνακας αποτελεσμάτων που μπορεί να τρέξει εν μία νυκτί, και δεν απαιτεί να πιστεύετε τίποτα σχετικά με τη μεταφορά εκπαίδευσης από προσομοίωση σε πραγματικότητα.

Αν θέλετε το ευρύτερο πλαίσιο για το τι σας λένε και τι δεν σας λένε αυτοί οι αριθμοί συγκριτικής αξιολόγησης σχετικά με ένα , το αναλύσαμε ξεχωριστά στην .

Πού αυτή η πλατφόρμα δεν σας βοηθά

Το να είμαστε σαφείς σχετικά με τα όρια εξοικονομεί χρόνο σε όλους. Το AY-Robots είναι μια πλατφόρμα καταγραφής, εκπαίδευσης και εξυπηρέτησης. Δεν περιέχει προσομοιωτή.

• Όχι Isaac Lab, όχι MimicGen, όχι μοντέλο κόσμου, όχι δημιουργία σκηνών. Αν θέλετε παραγόμενα δεδομένα, τα παράγετε αλλού και φέρνετε το αποτέλεσμα.
• Οι εκπαιδευτές καταναλώνουν σύνολα δεδομένων LeRobot και τίποτα άλλο. Μια εξαγωγή προσομοιωτή πρέπει να μετατραπεί πριν γίνει είσοδος, και πρέπει να είναι η σωστή έκδοση: v2.0 ή v2.1 για GR00T N1.5 και N1.7, v3.0 για Pi0.5, SmolVLA και ACT.
• Το σημείο εισόδου λεπτομερούς ρύθμισης του GR00T είναι ένα tyro CLI που δεν εκθέτει κανένα seed, οπότε οι εκτελέσεις του GR00T δεν είναι αναπαραγώγιμες bit-προς-bit. Αν εκτελείτε μια προσεκτική αφαίρεση sim-versus-real, αυτό είναι ένας πραγματικός περιορισμός. Το προεπιλεγμένο seed του lerobot είναι 1000, και οι φόρμες ACT, SmolVLA και Pi0.5 εκθέτουν ένα πεδίο seed.
• Η συσσώρευση κλίσης εφαρμόζεται στην πραγματικότητα μόνο για τους δύο εκπαιδευτές GR00T. Για τα Pi0.5 και SmolVLA το πεδίο υπάρχει στη φόρμα, αλλά το lerobot 0.5.1 δεν έχει τέτοια σημαία, οπότε δεν κάνει τίποτα.
• Η εξαγωγή συμπερασμάτων πρέπει να βρίσκεται δίπλα στους σερβοκινητήρες για γρήγορες εργασίες. Ο βρόχος ελέγχου είναι 20 έως 485 ms ανά βήμα δράσης ανάλογα με το μοντέλο, και η προσθήκη διαδρομών μετ' επιστροφής μέσω του δημόσιου διαδικτύου μετατρέπει μια λειτουργική πολιτική σε διστακτική. Η απομακρυσμένη εξαγωγή συμπερασμάτων είναι βιώσιμη για αργές εργασίες pick-and-place, όχι για γρήγορη αντιδραστική κίνηση.

Ένας προϋπολογισμός που μπορείτε να υπερασπιστείτε

Βάλτε τις δύο διαδρομές δίπλα-δίπλα με τους αριθμούς που δημοσιεύει η καθεμία, και η απόφαση συνήθως λαμβάνεται μόνη της για ένα έργο μίας εργασίας σε έναν βραχίονα χαμηλού κόστους.

Για μια πρώτη πολιτική σε ένα SO-100, καταγράψτε. Το και σας οδηγούν σε ένα διαθέσιμο σημείο ελέγχου στην τιμή ενός καφέ, και θα έχετε το πραγματικό μισό οποιουδήποτε μελλοντικού μείγματος συν-εκπαίδευσης. Προσεγγίστε τον προσομοιωτή όταν έχετε μια λειτουργική βάση αναφοράς και μια συγκεκριμένη αποτυχία γενίκευσης που μπορείτε να ονομάσετε, όπως μια πολιτική που .

Μια συνταγή που σέβεται τα στοιχεία

1. 1
   Καταγράψτε πρώτα την πραγματική βάση αναφοράς

   30 επεισόδια για SmolVLA, 50 για ACT, GR00T N1.7 και Pi0.5. Εκπαιδεύστε μία φορά. Ό,τι αποτυγχάνει αυτή η πολιτική είναι η προδιαγραφή σας για τα συνθετικά δεδομένα.

2. 2
   Ονομάστε την αποτυχία γενίκευσης

   Θέση αντικειμένου; Φωτισμός; Ύψος τραπεζιού; Παρεμβολείς; Διαφορετική διατύπωση της οδηγίας; Τα συνθετικά δεδομένα είναι καλά σε ακριβώς ένα από αυτά κάθε φορά, και άχρηστα αν δεν μπορείτε να πείτε ποιο.

3. 3
   Επιλέξτε την φθηνότερη οικογένεια που το καλύπτει

   Παραλλαγή στάσης και διάταξης: πολλαπλασιασμός τροχιάς. Φωτισμός και υφή: πρώτα ενίσχυση εικόνας, δεύτερο μοντέλο κόσμου. Ολοκαίνουργιες σκηνές: φυσικές προσομοιώσεις, και αποδεχτείτε το κόστος μοντελοποίησης.

4. 4
   Δημιουργήστε, μετά απορρίψτε επιθετικά

   Οι προσπάθειες δημιουργίας αποτυγχάνουν, και το ποσοστό επιτυχίας των υποψηφίων του Isaac Lab κυμαίνεται από 70 τοις εκατό έως κάτω από 1 τοις εκατό ανάλογα με την εργασία. Κρατήστε μόνο επιτυχημένες τροχιές που ολοκληρώνουν την εργασία, και ελέγξτε ένα δείγμα ως βίντεο πριν εμπιστευτείτε την παρτίδα.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Συν-εκπαιδεύστε, μην αντικαταστήσετε

   Συγχωνεύστε τα δημιουργημένα επεισόδια με τα πραγματικά σε ένα ενιαίο σύνολο δεδομένων LeRobot με πανομοιότυπα κλειδιά κάμερας και σειρά αρθρώσεων. Το ποσοστό 38 τοις εκατό είναι ένα ποσοστό συν-εκπαίδευσης.

6. 6
   Αξιολογήστε στον πραγματικό βραχίονα, και μόνο εκεί

   Η προσομοιωμένη αξιολόγηση είναι ένα καλό σήμα κατάταξης (Pearson r 0.924 στη ρύθμιση οπτικής αντιστοίχισης του SIMPLER) αλλά δεν είναι η δοκιμή αποδοχής. Εκτελέστε το checkpoint στον πάγκο πριν το πιστέψετε.

Αν προτιμάτε να ξεκινήσετε από μια λίστα ελέγχου για τις ίδιες τις πραγματικές καταγραφές, ο οδηγός συλλογής δεδομένων, καλύπτει την τοποθέτηση κάμερας, το action chunking επιπτώσεις και τους τρόπους αποτυχίας που καθιστούν ένα σύνολο δεδομένων imitation learning σύνολο δεδομένων άχρηστο. Λεπτομέρειες για την ίδια τη μορφή βρίσκονται στο την τεκμηρίωση των συνόλων δεδομένων, και την πλευρά των υπερπαραμέτρων στο την τεκμηρίωση εκπαίδευσης.