Πώς να εκπαιδεύσετε το ACT στο SO-100 από το μηδέν

Το ACT είναι η εξαίρεση μεταξύ των πολιτικών SO-100. Τα GR00T N1.7 και N1.5 ξεκινούν από nvidia/GR00T-N1.7-3B και nvidia/GR00T-N1.5-3B, το Pi0.5 από lerobot/pi05_base. Το ACT ξεκινά από το μηδέν: δεν υπάρχει βασικό σημείο ελέγχου (checkpoint), επειδή δεν είναι ένα θεμελιώδες μοντέλο. Είναι ένας μετασχηματιστής περίπου 80 εκατομμυρίων παραμέτρων που εκπαιδεύετε από την αρχή σε μία εργασία, στον βραχίονά σας, υπό τον φωτισμό σας.

Αυτός είναι επίσης ο λόγος που εκτελεί ένα βήμα ελέγχου σε 20 ms, ενώ ένα VLA 3 δισεκατομμυρίων παραμέτρων χρειάζεται 152 έως 485 ms, και κοστίζει 1 έως 3 USD ανά εκτέλεση αντί για 4 έως 12. Αυτός ο οδηγός ακολουθεί τη χειροκίνητη διαδρομή με lerobot σε ένα SO-100: καταγραφή, η διαμόρφωση act config, τι ελέγχουν τα chunk_size και n_action_steps control, το πρόγραμμα 100000 βημάτων, την εκτέλεση (rollout). Στη συνέχεια, την ίδια εργασία στα AY-Robots, συμπεριλαμβανομένων των σημείων όπου η πλατφόρμα δεν βοηθά.

Τι είναι στην πραγματικότητα το ACT

Το Action Chunking with Transformers προέρχεται από την εργασία ALOHA, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, από τους Zhao, Kumar, Levine και Finn, arXiv, 23 Απριλίου 2023. Η διάταξη καταγράφει στα 50 Hz με τέσσερις κάμερες web που μεταδίδουν 480x640 στα 30 fps: δύο στους αρπάγες, μία πάνω, μία μπροστά. Η περίληψη αναφέρει έξι δεξιότητες με ποσοστό επιτυχίας 80 έως 90 τοις εκατό, μεταξύ των οποίων το άνοιγμα ενός ημιδιαφανούς δοχείου καρυκευμάτων και η τοποθέτηση μιας μπαταρίας, από 10 λεπτά επιδείξεων.

Το κυρίως κείμενο είναι πιο χρήσιμο κατά τον σχεδιασμό μιας συνεδρίας καταγραφής: 50 επιδείξεις ανά εργασία, εκτός από το Thread Velcro στις 100, που είναι 10 έως 20 λεπτά δεδομένων και 30 έως 60 λεπτά πραγματικού χρόνου μόλις μετρηθούν οι επαναφορές. Η επιτυχία δεν είναι ομοιόμορφη: το Thread Velcro καταλήγει στο 20 τοις εκατό, το Put On Shoe στο 92, το Cup Open στο 84, το Prep Tape στο 64.

Η ομαδοποίηση ενεργειών είναι η όλη ιδέα

Η συνηθισμένη κλωνοποίηση συμπεριφοράς αντιστοιχίζει μία παρατήρηση σε μία ενέργεια, και τα σφάλματα συσσωρεύονται: μια απόκλιση θέτει τον βραχίονα εκτός κατανομής, παράγοντας μια χειρότερη ενέργεια, και τριάντα βήματα αργότερα η λαβίδα δεν βρίσκεται πουθενά κοντά στο αντικείμενο. Ομαδοποίηση ενεργειών προβλέπει k ενέργειες ταυτόχρονα και τις εκτελεί, μειώνοντας τον αποτελεσματικό ορίζοντα κατά έναν παράγοντα k. Επίσης, χειρίζεται μια ενόχληση ειδική στα ανθρώπινα δεδομένα: οι τηλεχειριστές κάνουν παύσεις, και μια μονοβήματη Μαρκοβιανή πολιτική δεν μπορεί να μοντελοποιήσει μια παύση που εξαρτάται από το τι προηγήθηκε.

Η δημοσίευση διερευνά το k αντί να το επιβεβαιώνει. Με απενεργοποιημένο το χρονικό ensembling, κατά μέσο όρο σε τέσσερις ρυθμίσεις, η επιτυχία αυξάνεται από 1 τοις εκατό στο k = 1 σε 44 τοις εκατό στο k = 100, και στη συνέχεια μειώνεται στα 200 και 400 καθώς η πολιτική πλησιάζει τον έλεγχο ανοιχτού βρόχου. Αυτή η καμπύλη είναι ο λόγος που η προεπιλογή είναι 100.

• chunk_size: πόσες μελλοντικές ενέργειες προβλέπει ο αποκωδικοποιητής ανά forward pass. Προεπιλογή 100.
• n_action_steps: πόσες από αυτές εκτελείτε πριν κάνετε ξανά ερώτημα. Προεπιλογή 100, οπότε το lerobot εκτελεί ολόκληρο το chunk σε ανοιχτό βρόχο.
• Το lerobot επικυρώνει ότι n_action_steps <= chunk_size και εγείρει ένα ValueError αν το βάλετε ανάποδα.

Αυτό που έχει σημασία λειτουργικά είναι το chunk_size διαιρούμενο με το ρυθμό καρέ. Στα 30 fps που χρησιμοποιούν τα παραδείγματα SO-100 του lerobot, ένα chunk 100 δεσμεύει περίπου 3.3 δευτερόλεπτα από μία παρατήρηση. Αν η εργασία χρειάζεται διόρθωση μέσα σε αυτό το παράθυρο, μειώστε το n_action_steps, όχι το chunk_size: διατηρείτε τη μακρά πρόβλεψη και παρατηρείτε ξανά πιο συχνά.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Όταν το ACT ξεπερνά ένα θεμελιώδες μοντέλο

Οι πέντε εκπαιδεύσιμες πολιτικές δίπλα-δίπλα, με τους αριθμούς που μετρά και χρησιμοποιεί η AY-Robots για να καθορίσει το μέγεθος της GPU που νοικιάζει.

Επιλέξτε ACT όταν η εργασία και η σκηνή είναι σταθερές και η κίνηση πρέπει να είναι γρήγορη και ακριβής. Επιλέξτε ένα , όταν ένα σημείο ελέγχου πρέπει να καλύπτει πολλές οδηγίες. Δύο σελίδες εξετάζουν την απόφαση αντιμέτωπες: και . Για δημοσιευμένα benchmarks, συνδέει κάθε αριθμό με την πηγή του.

Τι χρειάζεστε πριν ξεκινήσετε

Ένας βραχίονας ακόλουθος, ένας βραχίονας οδηγός για , τουλάχιστον μία κάμερα, μια GPU 24 GB. Το ACT διαβάζει μόνο εικόνες και θέσεις αρθρώσεων. Δύο κάμερες είναι το ιδανικό: μια σταθερή μπροστινή όψη για το πού βρίσκονται τα πράγματα, μια κάμερα καρπού για το τι πρόκειται να αγγίξει ο , όπως στο ALOHA.

Από τον γυμνό βραχίονα στο καταγεγραμμένο σύνολο δεδομένων

Η παρακάτω ροή είναι lerobot 0.6.x. Παραλείψτε την αν έχετε έναν βαθμονομημένο βραχίονα και ένα σύνολο δεδομένων. Διαφορετικά, ο οδηγός έναρξης SO-100, καλύπτει τη συναρμολόγηση, η αναλυτική περιγραφή καταγραφής καλύπτει την καταγραφή και τα έγγραφα συνόλου δεδομένων τη μορφή.

1. 1
   Εγκαταστήστε το lerobot με τα σωστά πρόσθετα

   Η καταγραφή χρειάζεται core_scripts, η εκπαίδευση training, οι σερβοκινητήρες Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Βρείτε τη θύρα USB κάθε μπράτσου

   Εκτελέστε το με και τα δύο μπράτσα συνδεδεμένα, αποσυνδέοντας το ένα όταν σας ζητηθεί. Σε Linux ίσως χρειαστεί να ανοίξετε τα δικαιώματα του κόμβου.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Ορίστε τα αναγνωριστικά κινητήρα και το baudrate

   Στο SO-100 αυτό συμβαίνει πριν τη συναρμολόγηση: σε αντίθεση με το SO-101, οι σύνδεσμοι είναι απρόσιτοι μόλις κατασκευαστεί. Το script διασχίζει το bus έναν κινητήρα τη φορά από τον αρπάγη, γράφοντας αναγνωριστικά στην EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Βαθμονόμηση και των δύο μπράτσων

   Ρυθμίστε κάθε άρθρωση στη μέση του εύρους της, πατήστε Enter και, στη συνέχεια, σαρώστε την πλήρη εμβέλειά της. Η βαθμονόμηση επιτρέπει σε μια πολιτική που έχει εκπαιδευτεί σε ένα μπράτσο να λειτουργεί σε ένα άλλο. Επαναχρησιμοποιήστε το ίδιο id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Τηλεχειρισμός μία φορά με τις κάμερες ενεργοποιημένες

   Ο εμπειρικός κανόνας του lerobot: θα πρέπει να μπορείτε να εκτελέσετε την εργασία κοιτάζοντας μόνο τις εικόνες της κάμερας. Αν δεν μπορείτε, ούτε το ACT μπορεί. Αυτό εντοπίζει περισσότερα κακά σύνολα δεδομένων από ό,τι ο μεταγενέστερος εντοπισμός σφαλμάτων.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Καταγράψτε 50 επεισόδια

   Το 50 είναι το ελάχιστο των AY-Robots και αυτό που χρησιμοποιούσε το ALOHA ανά εργασία. Το lerobot συμβουλεύει 10 ανά θέση αντικειμένου, σταθερές κάμερες, σταθερή λαβή. Το n τερματίζει ένα επεισόδιο, το r επανεγγράφει, το q σταματά και κωδικοποιεί.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Πριν την εκπαίδευση, αναπαράγετε τουλάχιστον πέντε επεισόδια. αποθηκεύει ροές κάμερας, καταστάσεις αρθρώσεων και ενέργειες ανά , και η αναπαραγωγή ωθεί αυτές τις ενέργειες πίσω στο μπράτσο. Εάν η αναπαραγωγή δεν εκτελεί την εργασία, τα δεδομένα δεν την περιέχουν και η εκπαίδευση δεν θα την επινοήσει.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Εκπαίδευση της πολιτικής ACT

Αυτή είναι η πλήρης εντολή. Όλα τα ειδικά για το ACT είναι ήδη προεπιλεγμένα, γι' αυτό και η σελίδα ACT του lerobot λέει να ξεκινήσετε με αυτά.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act φορτώνει το ACTConfig, το οποίο προσαρμόζεται στον αριθμό των κινητήρων και των καμερών που κατέγραψε το σύνολο δεδομένων σας, οπότε δεν δηλώνετε ποτέ το σχήμα παρατήρησης. --wandb.enable=true είναι προαιρετικό και αξίζει τον κόπο: η καμπύλη απώλειας είναι το μόνο φθηνό σήμα σε μια εκτέλεση 100000 βημάτων. Το χρονοδιάγραμμα προέρχεται από τη ρύθμιση εκπαίδευσης του lerobot, όχι από το ACTConfig: 100000 βήματα, batch 8, seed 1000, ένα σημείο ελέγχου κάθε 20000 βήματα, καταγραφή κάθε 200.

Μια πλήρης εκτέλεση αφήνει πέντε καταλόγους σημείων ελέγχου, από 020000 έως 100000, συν έναν τελευταίο συμβολικό σύνδεσμο. Κρατήστε τα όλα: η καλύτερη πολιτική συχνά δεν είναι η τελευταία.

Διάρκεια: περίπου 5 ώρες σε μια RTX 2080 Ti 11 GB σύμφωνα με την εργασία, μερικές ώρες για 100k βήματα ανά σελίδα ACT του lerobot, 2 έως 5 ώρες στην κατηγορία 24 GB των AY-Robots. Μην το συντομεύσετε. Το README του αποθετηρίου αναφοράς αναφέρει ότι μια πολιτική με σπασμωδική κίνηση ή παύσεις συνήθως χρειάζεται απλώς περισσότερη εκπαίδευση, επειδή η επιτυχία και η ομαλότητα συνεχίζουν να βελτιώνονται μετά την πλατό απώλειας: για δεδομένα πραγματικού κόσμου απαιτούνται τουλάχιστον 5000 εποχές, ή 3 έως 4 φορές το μήκος ξανά μετά το πλατό.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Εκτέλεση της εκπαιδευμένης πολιτικής στον βραχίονα

Η ανάπτυξη χρησιμοποιεί lerobot-rollout. Τα κλειδιά κάμερας πρέπει να ταιριάζουν με τα καταγεγραμμένα: μια πολιτική εκπαιδευμένη σε front και wrist δεν θα δεχτεί cam0 και cam1, και rename_map δεν βοηθά, καθώς χρειάζεται ένα προ-εκπαιδευμένο σημείο ελέγχου. Η συμβολοσειρά εργασίας μπορεί να παραλειφθεί· το παράδειγμα του lerobot την χαρακτηρίζει ως παραλείψιμη για το ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Για να καρφιτσώσετε ένα σημείο ελέγχου αντί για το τελικό μοντέλο, προσθέστε --policy.pretrained_revision. Αυτό απαιτεί η εκτέλεση να έχει ξεκινήσει με --save_checkpoint_to_hub=true, απενεργοποιημένο από προεπιλογή: χωρίς αυτό το lerobot ανεβάζει το τελικό μοντέλο και τίποτα άλλο. Με αυτό, κάθε σημείο ελέγχου επισημαίνεται με το βήμα του με μηδενική συμπλήρωση, οπότε --policy.pretrained_revision=060000 ανακτά αυτό του βήματος 60000. Η σύγκριση του με το 100000 στον πραγματικό βραχίονα είναι το φθηνότερο διαθέσιμο πείραμα.

Δύο διαδρομές προς το ίδιο σημείο ελέγχου

Όλα τα παραπάνω είναι η χειροκίνητη διαδρομή και λειτουργεί. Η διαδρομή μέσω πλατφόρμας ανταλλάσσει τον έλεγχο με την αποφυγή κατοχής GPU ή περιβάλλοντος Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Τι πάει πραγματικά στραβά

Σχεδόν κανένας πόνος δεν βρίσκεται στην εντολή εκπαίδευσης. Βρίσκεται στα πράγματα γύρω της, ταξινομημένα με βάση το πόσο συχνά εμφανίζονται για πρώτη φορά.

Δύο σειρές αξίζουν έμφαση. Το ACT εκπαιδεύεται στο LeRobot v3.0 ενώ ο φορτωτής του GR00T κολλάει σε αυτό και χρειάζεται v2.1, οπότε ένα σύνολο δεδομένων που εκπαιδεύει το ACT μπορεί να αποτύχει σε μια εκτέλεση GR00T. Και η τελευταία σειρά έχει δύο διορθώσεις: οι συγγραφείς του ACT αντιμετωπίζουν την απότομη κίνηση με περισσότερη εκπαίδευση, ενώ με n_action_steps στο 100 ένα πραγματικό μπλοκάρισμα προσγειώνεται σε ένα όριο τμήματος, μια ορατή παύση κάθε 3.3 δευτερόλεπτα στα 30 fps. Δύο ακόμη να γνωρίζετε: μια μόνο νεκρή άρθρωση είναι συνήθως ένα αναγνωριστικό σερβομηχανισμού που δεν γράφτηκε ποτέ, και ένας αρπάγας που πλησιάζει αλλά δεν κλείνει ποτέ σημαίνει πολύ μικρό εύρος αρπάγα στις επιδείξεις. Πλήρες ευρετήριο: οι σελίδες τρόπων αστοχίας.

Τι κοστίζει μια εκτέλεση

Αυτό είναι το επιχείρημα για να ξεκινήσετε με το ACT ακόμα κι αν θέλετε ένα VLA αργότερα. Μια αποτυχημένη εκτέλεση ACT κοστίζει όσο ένας καφές και σας λέει μέσα σε λίγες ώρες αν το σύνολο δεδομένων σας περιέχει την εργασία. Μια αποτυχημένη εκτέλεση GR00T κοστίζει τέσσερις φορές περισσότερο για το ίδιο μάθημα. Η μετάβαση σε GR00T N1.7 ή SmolVLA αργότερα είναι μια αλλαγή μορφής, όχι μια ανακατασκευή. Ιστορικό: μοντέλα όρασης-γλώσσας-δράσης, ο πλήρης οδηγός SO-100, εκπαιδεύστε την πρώτη σας πολιτική και μάθηση μέσω μίμησης. Χωρίς ρομποτικό βραχίονα; Η ζωντανή σελίδα μεταδίδει ένα πραγματικό SO-100 για οδήγηση χωρίς εγγραφή.