Πώς να εκπαιδεύσετε το SmolVLA σε μια GPU 24 GB (lerobot 0.6.1)

Οι περισσότεροι άνθρωποι που θέλουν ένα μοντέλο δράσης όρασης-γλώσσας σε έναν πραγματικό βραχίονα σταματούν στη γραμμή υλικού. GR00T N1.7 και Pi0.5 είναι περίπου τρία δισεκατομμύρια παράμετροι το καθένα και απαιτούν μια A100 80 GB ή μια H100. Αν αυτό που έχετε είναι ένας gaming υπολογιστής με RTX 4090, τότε αυτό είναι το τέλος του δρόμου. SmolVLA είναι η εξαίρεση: 450 M παράμετροι, εντός του LeRobot, κατασκευασμένο για λεπτομερή ρύθμιση σε μία κάρτα καταναλωτή και εξυπηρέτηση από CPU.

Πρώτα η χειροκίνητη διαδρομή: εγκαταστήστε το lerobot, τραβήξτε το lerobot/smolvla_base σημείο ελέγχου, εκτελέστε την πραγματική εντολή, διαβάστε την εκτέλεση καθώς συμβαίνει. Στη συνέχεια, η διαδρομή της πλατφόρμας, και πού δεν βοηθάει.

Τι είναι το SmolVLA, σε αριθμούς που μπορείτε να ελέγξετε

Το SmolVLA είναι ένα αντιστοίχιση ροής μοντέλο πολιτικής προσαρτημένο σε ένα μικρό μοντέλο γλώσσας όρασης. Η αρχιτεκτονική βάσης είναι το SmolVLM2-500M-Video-Instruct· η δημοσίευση διατηρεί μόνο τα πρώτα 16 επίπεδα του γλωσσικού του μοντέλου, περιορίζει κάθε καρέ κάμερας σε 64 οπτικά tokens με pixel shuffle αντί για image tiling, και εναλλάσσει την cross attention με ένα επίπεδο self attention κάθε δεύτερο μπλοκ. Το κόστος συμπερασματολογίας ήταν ένας περιορισμός σχεδιασμού, όχι μια εκ των υστέρων σκέψη.

Τα benchmarks είναι ο λόγος που οι άνθρωποι ασχολούνται με ένα μοντέλο 450 M. Στο LIBERO έχει μέσο όρο 87.3 τοις εκατό έναντι 76.5 για το OpenVLA στα 7 B και 86.0 για ένα προεκπαιδευμένο στην ρομποτική Pi0 στα 3.3 B· στο Meta-World, 57.3 έναντι 47.9. Σε πραγματικό υλικό SO-100, η εκπαίδευση πολλαπλών εργασιών δίνει 75 τοις εκατό στην επιλογή και τοποθέτηση, 90 στην στοίβαξη, 70 στην ταξινόμηση, με μέσο όρο 78.3, όπου ACT εκπαιδευμένο ανά εργασία είχε μέσο όρο 48.3. Οι ίδιες σειρές βρίσκονται δίπλα σε κάθε δημοσιευμένο VLA στην καταχώριση του SmolVLA στην αρένα και στην σύγκριση ACT έναντι SmolVLA.

Γιατί μια κάρτα 24 GB είναι η σωστή επιλογή για την πρώτη εκτέλεση

Το LeRobot παρέχει έναν οδηγό μεγέθους υπολογιστικής ισχύος, την πιο χρήσιμη σελίδα στο αποθετήριο για αυτό. Ομαδοποιεί τις πολιτικές ανά μέγεθος backbone και δίνει ένα όριο VRAM ανά ομάδα, μετρημένο σε μέγεθος batch 8 με AdamW, την προεπιλογή του lerobot. Η κατάσταση του βελτιστοποιητή και μόνο προσθέτει 30 έως 100 τοις εκατό σε σχέση με ένα απλό forward και backward πέρασμα, οπότε αυτά δεν είναι στοιχεία μόνο για βάρη.

Δέκα έως δεκαέξι gigabytes σε batch 8 είναι το επιχείρημα: μια κάρτα 24 GB χωράει αυτό συν τον dataloader. Η AY-Robots τοποθετεί το SmolVLA στην RTX 4090 ή σε οποιαδήποτε κάρτα 24 GB, ελάχιστο 30 επεισόδια, LeRobot v3.0 δεδομένα, 245 ms ανά βήμα ενέργειας. Ενοικιαζόμενο, αυτό είναι 2 έως 5 ώρες με 0.30 έως 0.60 USD την ώρα, περίπου 1 έως 3 USD ανά λεπτορρύθμιση εκτέλεση, έναντι 4 έως 12 USD στην κατηγορία 80 GB που χρειάζονται τα GR00T και Pi0.5 (τιμολόγηση). Μια αποτυχημένη εκτέλεση SmolVLA είναι ένας καφές· μια αποτυχημένη εκτέλεση GR00T, μεσημεριανό.

Βήμα 0: το σύνολο δεδομένων καθορίζει την εκτέλεση, όχι οι σημαίες

Τίποτα από τα παρακάτω δεν έχει σημασία αν η καταγραφή είναι κακή. Η σελίδα LeRobot SmolVLA είναι ξεκάθαρη: το σύνολο δεδομένων αναφοράς ήταν 50 επεισόδια σε 5 θέσεις κύβων, 10 ανά θέση, και η ίδια εργασία σε 25 επεισόδια απέδωσε άσχημα. Η επανάληψη ανά παραλλαγή γενικεύει, ο ακατέργαστος αριθμός επεισοδίων όχι. Δεν έχετε καταγράψει ποτέ; Ξεκινήστε από το καταγράψτε το πρώτο σας σύνολο δεδομένων, με τον πελάτη επιφάνειας εργασίας, ο οποίος γράφει τη μορφή LeRobot από μια συνεδρία τηλελειτουργίας, ή δανειστείτε ένα από τον κατάλογο συνόλων δεδομένων.

• Τουλάχιστον 30 επεισόδια σε AY-Robots, περίπου 50 για την συνταγή αναφοράς LeRobot.
• Κάθε παραλλαγή που αναμένετε κατά την ανάπτυξη, επαναλαμβανόμενη αρκετές φορές.
• Μία συμβολοσειρά εργασίας, γραμμένη πανομοιότυπα κατά την καταγραφή και την ανάπτυξη. Το μοντέλο είναι προσαρμοσμένο σε αυτό το κείμενο.
• Σταθερές κάμερες. Μια κάμερα που μετακινήθηκε μεταξύ καταγραφής και ανάπτυξης είναι ο πιο κοινός λόγος που μια καθαρή καμπύλη απώλειας δίνει έναν ακίνητο βραχίονα.
• Μια παραλλαγή που δεν έχετε εκπαιδεύσει ποτέ, ώστε να έχετε κάτι ειλικρινές για να δοκιμάσετε.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Περισσότερα για αυτό στο πώς να συλλέξετε δεδομένα εκπαίδευσης VLA υψηλής ποιότητας. Η σύντομη εκδοχή: 30 έως 50 καθαρά επεισόδια μιας εργασίας με σκόπιμη παραλλαγή υπερτερούν 200 πρόχειρων επεισοδίων τριών, με ένα περιθώριο που κανένας υπερπαράμετρος δεν κλείνει.

Εγκατάσταση lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Η βασική lerobot εγκατάσταση είναι ελαφριά και περιορίζει τις βαριές εξαρτήσεις πίσω από πρόσθετα (extras): smolvla προσθέτει transformers, num2words και accelerate, training τη στοίβα δεδομένων και το wandb, core_scripts τις εξαρτήσεις υλικού και οπτικοποίησης. Στο Linux, η διαδρομή εγκατάστασης καθορίζει επίσης το CUDA wheel σας: η προεπιλογή του PyPI είναι ένα cu130 wheel με ελάχιστο όριο οδηγού 580.65, οπότε σε έναν παλαιότερο οδηγό εγκαταστήστε το torch από το cu128 index πρώτα, και μετά το lerobot.

Η εκτέλεση της εκπαίδευσης, εντολή προς εντολή

1. 1
   Αυθεντικοποίηση στο Hub

   Το βασικό σημείο ελέγχου προέρχεται από το Hub, και πιθανότατα και το σύνολο δεδομένων σας.

   bash

   hf auth login

2. 2
   Διαβάστε τις επιλογές μία φορά

   Κάθε πεδίο της διαμόρφωσης της διοχέτευσης και της πολιτικής είναι μια σημαία. Ρίξτε μια ματιά πριν εμβαθύνετε στον κώδικα.

   bash

   lerobot-train --help

3. 3
   Ξεκινήστε το fine-tune

   Το παράδειγμα των εγγράφων εκτελεί παρτίδα 64 σε μία A100· η δική του A100 40 GB αναφορά του οδηγού υπολογισμού είναι παρτίδα 16, και το 8 είναι το αντίστοιχο των 24 GB. Καμία σημαία χρονοπρογραμματιστή εδώ επίτηδες, δείτε παρακάτω.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Διαβάστε τη γραμμή καταγραφής, όχι μόνο την απώλεια

   Κάθε --log_freq βήματα το lerobot εκτυπώνει loss, grdn, lr, updt_s, data_s, smp/s και, σε CUDA, mem_gb. Το mem_gb δείχνει αν χωράει η παρτίδα, το lr αν το πρόγραμμα μειώνεται, και το data_s που πλησιάζει το updt_s σημαίνει ότι ο dataloader είναι το σημείο συμφόρησης, όχι η GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Συλλέξτε σημεία ελέγχου που μπορείτε να συγκρίνετε

   Το save_freq έχει προεπιλεγμένη τιμή 20000, οπότε μια εκτέλεση 20000 βημάτων αφήνει ένα σημείο ελέγχου και τίποτα για να το συγκρίνετε. Ορίστε 2000. Η προώθηση στο Hub απαιτεί --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Συνέχιση αν η μηχανή σταματήσει

   Δείξτε το --config_path στο train_config.json δίπλα στο σημείο ελέγχου. Το lerobot αρνείται να ξεκινήσει σε έναν υπάρχοντα output_dir εκτός αν συνεχίζετε, οπότε δεν μπορείτε να αντικαταστήσετε μια εκτέλεση κατά λάθος.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Οι σημαίες που αλλάζουν πραγματικά το αποτέλεσμα

Οι προεπιλογές που κληρονομείτε αν δεν αγγίξετε τίποτα

Μια ρύθμιση στο lerobot φέρει τη δική της προκαθορισμένη ρύθμιση βελτιστοποιητή και χρονοπρογραμματιστή, και εκτός αν ορίσετε use_policy_training_preset=false αυτές οι προκαθορισμένες ρυθμίσεις υπερισχύουν. Οι μισές από τις ερωτήσεις που κάνουν οι άνθρωποι σχετικά με την εκπαίδευση του SmolVLA απαντώνται από μια προεπιλογή που δεν γνώριζαν ότι υπήρχε.

Οι δύο γραμμές που εκπλήσσουν τους ανθρώπους είναι freeze_vision_encoder και train_expert_only, και οι δύο αληθείς. Εκτός συσκευασίας εκπαιδεύετε περίπου 100 M παραμέτρους, όχι 450 M, γι' αυτό και χωράει σε 24 GB. Η δική του αναφορά του LeRobot σε ένα σύμπλεγμα τεσσάρων GPU H100 τις αλλάζει και τις δύο σε false. Σε μία κάρτα 24 GB αυτό μετατρέπει μια λειτουργική εκτέλεση σε ένα σφάλμα έλλειψης μνήμης.

Πόσο διαρκεί η εκτέλεση και πόσα βήματα είναι αρκετά

Το LeRobot δημοσιεύει σημεία αναφοράς πραγματικού χρόνου (wall-clock anchors) για πέντε εποχές σε ένα σύνολο δεδομένων περίπου 50 επεισοδίων, περίπου 45000 καρέ στα 30 fps. Είναι μεγέθη τάξης μεγέθους, λένε τα έγγραφα, αλλά αποτελούν τη διαφορά μεταξύ του να περιμένεις μία ώρα και μία ημέρα.

Εκτέλεση της λεπτορυθμισμένης πολιτικής πίσω στον βραχίονα

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Τα 245 ms ανά βήμα ενέργειας είναι εύκολο να παρερμηνευθούν: η πολιτική εκπέμπει chunk_size = 50 ενέργειες ανά πέρασμα προς τα εμπρός και εκτελεί n_action_steps = 50 από αυτές, οπότε το πόσο συχνά πληρώνετε αυτό το κόστος καθορίζεται από αυτούς τους διακόπτες, όχι από το πόσο συχνά οι σερβομηχανισμοί λαμβάνουν εντολή. Αυτό είναι που προσφέρει, και γιατί ένα μοντέλο 245 ms μπορεί να κινήσει έναν βραχίονα 30 Hz. Αυτό που απομένει είναι στο τέλος του τεμαχίου.

Αυτή η τρίτη σειρά είναι αυτό που οι περισσότερες αναφορές παραλείπουν. Η ασύγχρονη συμπερασματολογία είναι περίπου 30 τοις εκατό ταχύτερη και σχεδόν διπλασιάζει την απόδοση σε ένα σταθερό χρονικό παράθυρο, και η εργασία αναφέρει ότι τα ποσοστά επιτυχίας είναι συγκρίσιμα, κάτι που κατά μέσο όρο ισχύει. Κάτω από αυτό, η ταξινόμηση έπεσε από 70 σε 50 τοις εκατό, ενώ το pick and place κέρδισε 5. Το lerobot 0.6.1 φέρει τον άλλο μοχλό στο ίδιο δυαδικό: --inference.type=rtc αλλάζει την εκτέλεση σε τεμαχισμό σε πραγματικό χρόνο, το οποίο το μπλοκ χρήσης του ίδιου του σεναρίου συνιστά για τα αργά VLA, Pi0, Pi0.5 και SmolVLA.

Δύο διαδρομές προς το ίδιο σημείο ελέγχου

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Όταν το SmolVLA είναι η λάθος επιλογή

Το κριτήριο για το αν το SmolVLA ήταν η σωστή πρώτη εκτέλεση δεν είναι αν λειτούργησε, αλλά αν η αποτυχία σου είπε κάτι. Φτάστε το 60 ή 70 τοις εκατό και ένα μεγαλύτερο μοντέλο είναι μια λογική επόμενη επένδυση: τα δεδομένα φέρουν σήμα. Φτάστε το 10 τοις εκατό και ένα μοντέλο 3 B πιθανότατα φτάνει επίσης το 10 τοις εκατό, κάτι που μόλις μάθατε για τρία δολάρια αντί για δώδεκα.

Αξίζει να διαβάσετε πριν ξοδέψετε περισσότερα: Pi0.5 έναντι SmolVLA για περισσότερη χωρητικότητα στην ίδια ιδέα, και GR00T N1.7 έναντι SmolVLA για τη διαδρομή της NVIDIA, και τα δύο στην κατηγορία 80 GB με 4 έως 12 USD ανά εκτέλεση. Ο άλλος τρόπος, ACT είναι η φθηνότερη βάση: 80 M παράμετροι, 20 ms ανά βήμα ενέργειας, χωρίς γλωσσική προσαρμογή. Και τα πέντε βρίσκονται στη σελίδα πολιτικών; την αρένα έχει 85 μοντέλα και 332 αποτελέσματα συγκριτικής αξιολόγησης.

Η λίστα ελέγχου πριν κλιμακώσετε οτιδήποτε

1. Έφτασε το lr στο κατώτατο όριο των 2.5e-6; Κάτω από 30000 βήματα, το lerobot αναπροσαρμόζει την αποσύνθεση και το αναφέρει στην εκκίνηση. Πάνω από αυτό, ορίστε το --policy.scheduler_decay_steps μόνοι σας.
2. Περισσότερα από ένα σημεία ελέγχου (checkpoint) και επεισόδια που κρατήθηκαν με το --dataset.eval_split ώστε η απώλεια αξιολόγησης να σημαίνει κάτι.
3. Κινείται καθόλου η πολιτική; Μια πτώση της απώλειας με ένα ακίνητο χέρι έχει συγκεκριμένες αιτίες: η απώλεια πέφτει, η πολιτική δεν κάνει τίποτα.
4. Επιβιώνει σε αλλαγή σκηνικού; Αν όχι: η πολιτική λειτουργεί μόνο σε μία ρύθμιση.
5. Σημειώσατε το seed; Το lerobot έχει προεπιλογή το 1000, οπότε δύο ανέγγιχτες εκτελέσεις παραμένουν συγκρίσιμες.
6. Μόνο τότε: περισσότερα επεισόδια, περισσότερη παραλλαγή ή ένα μεγαλύτερο μοντέλο. Με αυτή τη σειρά.

Γιατί υπάρχουν αυτά τα μοντέλα και τι κάνουν με την είσοδο γλώσσας, , είναι το υπόβαθρο. εκτελεί συναρμολόγηση μέσω μέχρι την πρώτη εκτέλεση. Για το ολοκληρωμένο σημείο ελέγχου (checkpoint), · αν το χέρι δεν εμφανιστεί ποτέ, .