Πώς να εκπαιδεύσετε το GR00T N1.7 στο δικό σας σύνολο δεδομένων SO-100

Η NVIDIA παρέχει ένα παράδειγμα fine-tuning για ακριβώς τον βραχίονα που πιθανώς διαθέτετε. Μέσα στο αποθετήριο Isaac-GR00T υπάρχει ένας φάκελος που ονομάζεται demo_data/cube_to_bowl_5: πέντε επεισόδια, 4.148 καρέ στα 30 fps, ήδη γραμμένα ως LeRobot v2.1, με μια αντίστοιχη διαμόρφωση τρόπου λειτουργίας (modality config) κάτω από examples/SO100/. Το meta/info.json αναφέρει robot_type: so101_follower, το οποίο στο LeRobot είναι η ίδια κλάση διαμόρφωσης με so100_follower. Αυτό είναι πραγματικά χρήσιμο, γιατί σημαίνει ότι η διαδρομή αναφοράς για GR00T N1.7 σε έναν βραχίονα χόμπι έξι βαθμών ελευθερίας συντηρείται από τους ανθρώπους που έγραψαν το μοντέλο. Δεν είναι μια ανθρωποειδής επίδειξη μειωμένης κλίμακας, είναι ο ίδιος βραχίονας.

Τα κακά νέα είναι η απόσταση μεταξύ I recorded 60 episodes και the arm does the task. Υπάρχουν περίπου έξι σημεία όπου αυτή η διοχέτευση αποτυγχάνει αθόρυβα αντί για ηχηρά, και τέσσερα από αυτά βρίσκονται σε αρχεία που οι περισσότεροι άνθρωποι δεν ανοίγουν ποτέ: meta/modality.json, η διαμόρφωση δεδομένων Python, meta/relative_stats.json, και η δική του συμβολοσειρά έκδοσης του συνόλου δεδομένων. Αυτός ο οδηγός περιγράφει τη χειροκίνητη διαδρομή από την αρχή μέχρι το τέλος με τις πραγματικές εντολές, και στη συνέχεια δείχνει την ίδια εργασία ως φόρμα στο AY-Robots. Όλα τα παρακάτω ελέγχθηκαν έναντι του κύριου κλάδου του Isaac-GR00T από τις 20 Αυγούστου 2026 (η γραμμή έκδοσης n1.7) και του lerobot 0.6.1, που δημοσιεύτηκε στο PyPI στις 3 Αυγούστου 2026. Το upstream κινείται γρήγορα, και όπου ένα flag μετονομάστηκε, αυτό το άρθρο το αναφέρει.

Τι είναι στην πραγματικότητα το GR00T N1.7

Το GR00T N1.7 είναι ένα μοντέλο όρασης-γλώσσας-δράσης με τη διάταξη διπλού συστήματος που περιγράφεται στην αρχική δημοσίευση GR00T N1: μια μονάδα όρασης-γλώσσας που διαβάζει τις κάμερες και την εντολή, και ένας μετασχηματιστής διάχυσης που μετατρέπει αυτό σε ένα κομμάτι συνεχών εντολών κινητήρα. Το N1.7 αντικατέστησε το πρώτο μισό. Το backbone Eagle από το N1.6 έχει φύγει, αντικαταστάθηκε από nvidia/Cosmos-Reason2-2B σε αρχιτεκτονική Qwen3-VL, και το μοντέλο προεκπαιδεύτηκε σε περίπου 20.000 ώρες εγωκεντρικού ανθρώπινου βίντεο επιπλέον των δεδομένων ρομπότ. Η δική της αναφορά της NVIDIA αναφέρει τον αριθμό σε 20.854 ώρες και αναφέρει ότι η μετάβαση από 1k σε 20k ώρες υπερδιπλασιάζει τη μέση ολοκλήρωση εργασιών.

Το δεύτερο μισό άλλαξε επίσης, με τρόπους που έχουν σημασία για την εκτέλεσή σας. Η κεφαλή δράσης μειώθηκε από 32 στρώματα διάχυσης σε 16, το προβλεπόμενο κομμάτι δράσης αυξήθηκε από 16 βήματα σε 40, και το μέγιστο πλάτος κατάστασης και δράσης πήγε από 29 σε 132. Αυτοί οι τρεις αριθμοί προέρχονται από το changelog στο README του αποθετηρίου. Η δική της δημοσίευση εκκίνησης της NVIDIA εξακολουθεί να περιγράφει το Σύστημα 1 ως ένα DiT 32 στρωμάτων, οπότε όπου οι δύο διαφωνούν, εμπιστευτείτε το αποθετήριο που πρόκειται να κλωνοποιήσετε. Οι ενέργειες εκφράζονται από προεπιλογή σε έναν σχετικό χώρο τελικού ενεργοποιητή, διαφορές από την τρέχουσα πόζα αντί για απόλυτους στόχους, κάτι που επιτρέπει τη μεταφορά των προηγούμενων γνώσεων χειρισμού που αποκτήθηκαν από ανθρώπινο βίντεο στον έλεγχο ρομπότ. Η ίδια η κεφαλή είναι ένας μετασχηματιστής διάχυσης αντιστοίχισης ροής, της ίδιας οικογένειας με το Pi0.5 αλλά με διαφορετικό backbone μπροστά του. Εάν εξακολουθείτε να χρησιμοποιείτε την προηγούμενη γενιά, το N1.7 έναντι N1.5 καλύπτει το αν η αναβάθμιση δικαιολογεί την επανεκτέλεση της διαδικασίας σας.

Αυτές οι τρεις τελευταίες σειρές εξηγούν το μεγαλύτερο μέρος της απογοήτευσης που αναφέρουν οι άνθρωποι. Ο πρωτοσέλιδος αριθμός των 27.9 ms είναι ένας κινητήρας TensorRT σε H100 με μία κάμερα και τέσσερα βήματα αποθορυβοποίησης. Το απλό PyTorch στην ίδια κάρτα είναι 85.8 ms, και η κάρτα μοντέλου τοποθετεί το κενό στο 3.08x. Κανένας αριθμός δεν περιλαμβάνει ένα serving layer, μια δεύτερη κάμερα ή ένα network hop. Τα 152 ms ανά βήμα δράσης που αναφέρει η AY-Robots για το εξυπηρετούμενο GR00T N1.7 της είναι ο αριθμός με το serving στον βρόχο, και ένα ταξίδι μετ' επιστροφής στο δημόσιο διαδίκτυο βρίσκεται πάνω από αυτό. Περισσότερα για αυτό στο τέλος. Για τους αριθμούς δίπλα σε άλλα μοντέλα, το GR00T N1.7 έναντι του Pi0.5 και το GR00T N1.7 έναντι του SmolVLA τα παραθέτουν δίπλα-δίπλα.

Τι χρειάζεται η εκτέλεση πριν πληκτρολογήσετε οτιδήποτε

Βήμα 0: τα ίδια τα επεισόδια

Όλα τα παρακάτω προϋποθέτουν ότι έχετε ήδη καταγεγραμμένα επεισόδια. Εάν όχι, αυτό είναι το πραγματικό πρώτο βήμα και είναι αυτό που καθορίζει πόσο καλό μπορεί να είναι το αποτέλεσμα, επειδή μάθηση μέσω μίμησης δεν μπορεί να ανακτήσει πληροφορίες που δεν υπάρχουν στα δεδομένα. Κάντε πρώτα βαθμονόμηση και στα δύο χέρια, και μετά οδηγήστε τον ακόλουθο με ένα βραχίονα οδηγό ενώ lerobot-record γράφει τα αρχεία parquet και τις ροές της κάμερας. Εάν η βαθμονόμηση είναι εκτός, οι τιμές των αρθρώσεων στο σύνολο δεδομένων σας περιγράφουν ένα ελαφρώς διαφορετικό ρομπότ από αυτό που θα εκτελέσει αργότερα την πολιτική, και καμία ποσότητα εκπαίδευσης δεν το διορθώνει αυτό.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

Η συμβουλή της LeRobot είναι να καταγράψετε τουλάχιστον 50 επεισόδια με περίπου 10 ανά θέση αντικειμένου, να κρατήσετε τις κάμερες σταθερές και να διατηρήσετε τη συμπεριφορά αρπαγής συνεπή. Προσθέστε παραλλαγές αργότερα, όχι στην αρχή. Ο εμπειρικός κανόνας που αξίζει να θυμάστε: αν δεν μπορούσατε να εκτελέσετε την εργασία μόνοι σας από τις εικόνες της κάμερας, ο αλγόριθμος δεν μπορεί ούτε αυτός. Για τη ρύθμιση ειδικά για τον βραχίονα, Εκκίνηση με το SO-100 και τη σελίδα LeRobot του SO-100 καλύπτουν τις θύρες, τη βαθμονόμηση και τους δείκτες κάμερας. Στα AY-Robots μπορείτε επίσης να το κάνετε αυτό μέσω του διαδικτύου από το πρόγραμμα περιήγησης χρησιμοποιώντας τηλελειτουργία και να καταγράψετε απευθείας από τη συνεδρία.

Βήμα 1: το σύνολο δεδομένων πρέπει να είναι LeRobot v2.1

Αυτό είναι το πιο συνηθισμένο εμπόδιο. Η τρέχουσα CODEBASE_VERSION του LeRobot στο main είναι v3.0, οπότε οτιδήποτε καταγράφετε σήμερα με μια τρέχουσα εργαλειοθήκη βγαίνει ως v3.0. Ο φορτωτής του GR00T αναμένει v2. Το αποθετήριο είναι σαφές ως προς τον λόγο: πολλά upstream σύνολα δεδομένων όπως τα DROID, LIBERO και Bridge δημοσιεύονται σε v2, και η εγγενής υποστήριξη και για τα δύο έχει προγραμματιστεί αλλά δεν έχει κυκλοφορήσει. Έτσι, η μετατροπή είναι δική σας ευθύνη, και εκτελείται στο δικό της virtualenv για έναν συγκεκριμένο λόγο: scripts/lerobot_conversion φέρει το δικό του pyproject που απαιτεί Python 3.10 ή 3.11 και δεσμεύει το lerobot σε ένα git commit, ενώ το ίδιο το Isaac-GR00T απαιτεί Python 3.12. Εγκαταστήστε τον μετατροπέα από τη ρίζα του αποθετηρίου και θα λάβετε το gr00t πακέτο αντ' αυτού, το οποίο είναι το λάθος για το οποίο προειδοποιεί το README του. Εάν είστε νέοι στη μορφή, η σύνολο δεδομένων LeRobot καταχώριση γλωσσαρίου εξηγεί τι περιέχει στην πραγματικότητα.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Η δομή που θέλει το GR00T μετά τη μετατροπή είναι η κλασική διάταξη v2: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, αρχεία parquet κάτω από data/chunk-000/, αρχεία MP4 κάτω από videos/chunk-000/observation.images./, και ένα επιπλέον αρχείο που δεν διαθέτει το τυπικό LeRobot. Σε αυτό το επιπλέον αρχείο βρίσκονται οι περισσότερες από τις υπόλοιπες αστοχίες.

Βήμα 2: modality.json, οι έξι αριθμοί που αποφασίζουν τα πάντα

Σε ένα σύνολο δεδομένων LeRobot, η κατάσταση του ρομπότ και η ενέργεια αποθηκεύονται ως επίπεδοι πίνακες float32. Για ένα SO-100, και τα δύο έχουν σχήμα [6]: πέντε αρθρώσεις βραχίονα και μια λαβίδα. Το σύνολο δεδομένων επίδειξης τα ονομάζει shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, αλλά αυτά τα ονόματα βρίσκονται στο info.json και τίποτα στο αρχείο parquet δεν αναφέρει ποιος δείκτης αντιστοιχεί σε τι. Το meta/modality.json παρέχει αυτήν την αντιστοίχιση, και το GR00T δεν θα εκπαιδευτεί χωρίς αυτήν. Ακολουθεί αυτό που παρέχεται από το αποθετήριο για το SO-100, αυτούσιο.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Αντιγράψτε το στο μετατρεμμένο σύνολο δεδομένων σας στο meta/modality.json και μετονομάστε τα κλειδιά βίντεο σε ό,τι ονομάζονται πραγματικά οι κάμερές σας. Εάν κάνατε εγγραφή με μία μόνο κάμερα οροφής με όνομα top, τότε original_key είναι observation.images.top και το φιλικό όνομα είναι ό,τι θα αναφέρει η διαμόρφωση των δεδομένων σας. Τα δύο πρέπει να συμφωνούν, και κανένα από αυτά δεν ελέγχει το άλλο για εσάς. Η γλωσσική σχολιασμός είναι χειρότερη, επειδή το ίδιο κλειδί πρέπει να εμφανίζεται σε τρία μέρη.

Βήμα 3: η διαμόρφωση δεδομένων, σχετικός βραχίονας και απόλυτη λαβίδα

Η διαμόρφωση της τροπικότητας είναι ένα αρχείο Python και όχι JSON, επειδή αποφασίζει επίσης πώς αναπαρίσταται κάθε ομάδα δράσης. Αυτό είναι το μέρος της ροής εργασίας N1.7 που δεν υπήρχε στην ίδια μορφή στο N1.5, και το μέρος που αξίζει να διαβάσετε δύο φορές. Η διαμόρφωση SO-100 που παρέχεται προβλέπει τις πέντε αρθρώσεις του βραχίονα ως ΣΧΕΤΙΚΑ δέλτα από την τρέχουσα κατάσταση και τη λαβίδα ως ΑΠΟΛΥΤΗ θέση στόχο, επειδή ένα δυαδικό σήμα ανοιχτό-ή-κλειστό συμπεριφέρεται καλύτερα ως στόχος παρά ως δέλτα.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Δύο λεπτομέρειες εδώ θα σας κοστίσουν μια μέρα αν δεν τις γνωρίζετε. Πρώτον, το action_configs είναι θέσης: η τεκμηρίωση απαιτεί το ίδιο μήκος και την ίδια σειρά με το modality_keys, και είναι σαφής σχετικά με τη συνέπεια του λάθους, η οποία είναι ότι η λανθασμένη αναπαράσταση εφαρμόζεται σιωπηλά. Η λαβίδα σας εκπαιδεύεται ως δέλτα και ο βραχίονάς σας ως απόλυτος στόχος, και δεν υπάρχει μήνυμα σφάλματος. Δεύτερον, το register_modality_config επιβεβαιώνει ότι η ετικέτα δεν είναι ήδη καταχωρημένη, οπότε μια δεύτερη διαμόρφωση NEW_EMBODIMENT στην ίδια διαδικασία Python τερματίζεται με Embodiment tag ... already registered. Δεν μπορείτε να εισαγάγετε δύο από αυτές σε ένα σενάριο. Ένας τρίτος κανόνας επιβάλλεται αργότερα, κατά την ανάπτυξη: το delta_indices δράσης πρέπει να είναι το συνεχές εύρος που ξεκινά από το μηδέν. Ένα αραιό παράθυρο όπως το [0, 4, 8] απορρίπτεται, επειδή όλα τα κατάντη ευρετηριάζουν το προβλεπόμενο τμήμα γραμμικά και διαφορετικά θα εκτελούσαν τις λάθος γραμμές.

Βήμα 4: το περιβάλλον

Το N1.7 μετέφερε το αποθετήριο στο και Python 3.12. Η παλιά διαδρομή conda συν pip install -e . διαδρομή εξακολουθεί να υπάρχει σε μια συμπτυγμένη ενότητα του README, αλλά προειδοποιεί ότι οι εξαρτήσεις GPU, συμπεριλαμβανομένων των flash-attn και TensorRT, ενδέχεται να χρειάζονται χειροκίνητη εγκατάσταση. Χρησιμοποιήστε το uv εκτός αν έχετε έναν συγκεκριμένο λόγο να μην το κάνετε. Όσον αφορά το flash-attn, μια λεπτομέρεια αποτρέπει τη σύγχυση: θα δείτε Installing flash-attn να εκτυπώνεται σε κάθε uv run. Δεν γίνεται ανακατασκευή. Το uv επανα-επικυρώνει ένα URL-pinned wheel που είναι ήδη στην κρυφή μνήμη, και αυτό διαρκεί δύο ή τρία δευτερόλεπτα.

1. 1
   Εγκαταστήστε το git-lfs, μετά κλωνοποιήστε με υπομονάδες

   Το git-lfs είναι απαραίτητο, όχι προαιρετικό. Χωρίς αυτό, τα αρχεία parquet στο demo_data/ κατεβαίνουν ως δείκτες-placeholders, και η εκτέλεση του demo αποτυγχάνει σε ένα σύνολο δεδομένων που φαίνεται να υπάρχει στην καταχώριση αρχείων.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Εγκαταστήστε το uv και συγχρονίστε το περιβάλλον

   Η προεπιλεγμένη εγκατάσταση τραβάει τις εξαρτήσεις GPU, συμπεριλαμβανομένων των flash-attn και TensorRT. Σε μια νέα εικόνα A100 ή H100, αυτό είναι το μεγαλύτερο μεμονωμένο βήμα, οπότε κάντε το πριν αρχίσετε να δίνετε προσοχή σε οτιδήποτε άλλο.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Πιστοποίηση έναντι του Hugging Face

   Κάντε το αυτό πριν από την πρώτη εκκίνηση εκπαίδευσης, όχι αφού αποτύχει μετά από οκτώ λεπτά.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Έλεγχος ορθότητας στα παρεχόμενα δεδομένα επίδειξης SO-100

   Πριν αγγίξετε τη δική σας εγγραφή, εκτελέστε 2000 βήματα στο demo_data/cube_to_bowl_5. Είναι πέντε επεισόδια, τελειώνει γρήγορα και αποδεικνύει το περιβάλλον και όχι τα δεδομένα σας. Εάν αυτή η εκτέλεση αποτύχει, τίποτα από όσα κάνετε στο σύνολο δεδομένων σας δεν θα βοηθήσει.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Βήμα 5: η εντολή fine-tune και οι πραγματικές προεπιλογές των παραμέτρων της

Αντικαταστήστε το demo σύνολο δεδομένων με το δικό σας και προσθέστε τις ρυθμίσεις που πραγματικά θέλετε. Παρακάτω είναι η πλήρης μορφή που χρησιμοποιεί το αποθετήριο στο δικό του εκπαιδευτικό υλικό για νέα ενσωμάτωση (new-embodiment), συμπεριλαμβανομένων των παραμέτρων επέκτασης (augmentation) και σημείων ελέγχου (checkpointing) που παραλείπει το σύντομο παράδειγμα του README. Αυτό είναι με τη στενή έννοια: ο γλωσσικός κορμός (language backbone) και ο οπτικός κωδικοποιητής (visual encoder) παραμένουν παγωμένοι, και αυτό που εκπαιδεύεται είναι ο προβολέας (projector) και η κεφαλή δράσης διάχυσης (diffusion action head).

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Αυτή η τελευταία σειρά δεν είναι τυπογραφικό λάθος. launch_finetune.py είναι ένα CLI tyro που δημιουργείται από μια κλάση δεδομένων (dataclass), και αυτή η κλάση δεδομένων δεν έχει πεδίο seed. Το README σημειώνει ξεχωριστά διακύμανση 5 έως 6 τοις εκατό μεταξύ των εκτελέσεων που προκαλείται από μη-ντετερμινιστική αύξηση εικόνας. Δύο εκτελέσεις με πανομοιότυπες σημαίες δεν θα παράγουν πανομοιότυπα σημεία ελέγχου (checkpoints), κάτι που έχει μεγάλη σημασία όταν προσπαθείτε να αποφασίσετε αν μια αλλαγή υπερπαραμέτρου βοήθησε ή αν ήσασταν τυχεροί. Για σύγκριση, ο δικός του εκπαιδευτής του lerobot έχει ως προεπιλογή το seed 1000, και η συνταγή LeRobot GR00T περνάει --seed=42 ρητά.

Τι κοστίζει μια εκτέλεση 20000 βημάτων

Το GR00T N1.7 χρειάζεται μια κάρτα 80 GB, οπότε το ερώτημα του κόστους έχει μια στενή απάντηση. Στο AY-Robots ο εκπαιδευτής groot1.7 τρέχει στην κατηγορία A100 80 GB ή H100 80 GB, όπου μια εκτέλεση διαρκεί 3 έως 6 ώρες με 1.20 έως 2.00 USD ανά ώρα στην αγορά spot. Αυτό είναι περίπου 4 έως 12 USD για την προεπιλεγμένη εργασία 20000 βημάτων. Η ίδια εργασία στο SmolVLA ή στο ACT προσγειώνεται σε μια κάρτα 24 GB με 0.30 έως 0.60 USD ανά ώρα και 1 έως 3 USD ανά εκτέλεση. Αυτή είναι η πραγματική αντιστάθμιση: το GR00T κοστίζει περίπου τέσσερις φορές περισσότερο ανά προσπάθεια, και δεν μπορείτε να το τρέξετε στην 4090 κάτω από το γραφείο σας.

Το ελάχιστο των 50 επεισοδίων είναι ένα κατώτατο όριο, όχι ένας στόχος. Οι δικές της Συχνές Ερωτήσεις της NVIDIA είναι πιο απαιτητικές: περίπου 100 τροχιές για μια απλή επιλογή και τοποθέτηση σε σταθερή θέση, 500 ή περισσότερες για σύνθετες ή πολλαπλών βημάτων σκηνές, και 100 έως 500 για λεπτή χειραγώγηση. Αν βρίσκεστε στα 20 επεισόδια, αφιερώστε το απόγευμα στην καταγραφή αντί για το βράδυ στον συντονισμό. Ο οδηγός συλλογής δεδομένων καλύπτει τι διαχωρίζει ένα χρήσιμο επεισόδιο από ένα χαμένο, καταγράψτε το πρώτο σας σύνολο δεδομένων είναι η σύντομη έκδοση, και συλλογή δεδομένων SO-100 είναι η ειδική για τον βραχίονα.

Βήμα 6: αξιολόγηση ανοιχτού βρόχου πριν αγγίξετε τον βραχίονα

Μην τοποθετείτε ένα νέο σημείο ελέγχου σε έναν φυσικό βραχίονα για να διαπιστώσετε αν η εκπαίδευση λειτούργησε. Εκτελέστε πρώτα την αξιολόγηση ανοιχτού βρόχου. Αυτή αναπαράγει ένα καταγεγραμμένο επεισόδιο, ζητά από το μοντέλο ενέργειες σε κάθε βήμα και σχεδιάζει την πρόβλεψη έναντι της πραγματικής τιμής με MSE και MAE. Δεν κοστίζει τίποτα και εντοπίζει τα λάθη αντιστοίχισης από τα βήματα 2 και 3.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Το αποθετήριο αρνείται σκόπιμα να δημοσιεύσει ένα στοχευμένο MSE για προσαρμοσμένα δεδομένα, και αυτό είναι το σωστό: ο αριθμός εξαρτάται από τις μονάδες δράσης σας, την εργασία σας και το μέγεθος του συνόλου δεδομένων σας, οπότε ένα όριο αντιγραμμένο από τον βραχίονα κάποιου άλλου δεν σημαίνει τίποτα. Αυτό που έχει νόημα είναι η τάση. Ακολουθεί η εκτέλεση αναφοράς που τεκμηριώνει το αποθετήριο σε έναν μόνο H100 με το σύνολο δεδομένων επίδειξης πέντε επεισοδίων και 2000 βήματα.

Το σχήμα είναι το σήμα, όχι οι απόλυτες τιμές. Το σφάλμα θα πρέπει να μειώνεται σταθερά καθώς συσσωρεύονται. Κατά μέσο όρο σε όλα τα πέντε επεισόδια εκπαίδευσης αντί μόνο στην τροχιά 0, το τελικό σημείο ελέγχου του αποθετηρίου σημείωσε περίπου 7.5 MSE και 1.5 MAE, οπότε ακόμη και η εκτέλεση αναφοράς διαβάζεται διαφορετικά ανάλογα με το ποια επεισόδια υπολογίζετε τον μέσο όρο. Καταγράψτε τη δική σας βασική γραμμή στην τροποποιημένη εντολή επίδειξης πριν αλλάξετε οτιδήποτε στα δικά σας δεδομένα: αν δεν μπορείτε να αναπαράγετε μια γνωστή-καλή εκτέλεση, δεν μπορείτε να διακρίνετε ένα λάθος ρύθμισης από ένα πρόβλημα δεδομένων. Το αποθετήριο αντιστοιχίζει επίσης τα κοινά συμπτώματα σε αιτίες, και κάθε μία από αυτές είναι λειτουργική και όχι σφάλμα μοντέλου.

Η άλλη διαδρομή: lerobot-train αντί για Isaac-GR00T

Η τρέχουσα έκδοση του LeRobot, 0.6.1 στο PyPI από τις 3 Αυγούστου 2026, προσφέρει έναν δεύτερο και αρκετά διαφορετικό τρόπο για να ρυθμίσετε τα ίδια βασικά βάρη. Το LeRobot εκθέτει το GR00T N1.7 ως τύπο πολιτικής και το εκπαιδεύει μέσω του δικού του lerobot-train σημείου εισόδου. Δύο πράγματα έχουν σημασία εδώ. Το CLI του LeRobot είναι ένα σύνολο από scripts κονσόλας, οπότε οτιδήποτε διαβάσετε που λέει python lerobot/scripts/train.py είναι παρωχημένο και δεν θα εκτελεστεί. Και το LeRobot αφαίρεσε πλήρως την υποστήριξη του GR00T N1.5, απορρίπτοντας τα σημεία ελέγχου και τις διαμορφώσεις του N1.5 με μια σημείωση μετεγκατάστασης, οπότε αν χρειάζεστε το N1.5 μέσω του LeRobot πρέπει να καθορίσετε την έκδοση lerobot==0.5.1, την τελευταία έκδοση που το υποστηρίζει, η οποία δημοσιεύτηκε στις 7 Απριλίου 2026.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Δύο τρόποι για να αποκτήσετε το ίδιο σημείο ελέγχου

Επαναφορά του σημείου ελέγχου στον βραχίονα

Το Isaac-GR00T χρησιμοποιεί διαχωρισμό server-client μέσω ZMQ. Η πολιτική εκτελείται στην GPU, και ένας λεπτός πελάτης στο μηχάνημα του ρομπότ στέλνει παρατηρήσεις και λαμβάνει τμήματα δράσης. Το παράδειγμα SO-100 είναι αρκετά πλήρες για αντιγραφή: ξεκινήστε το run_gr00t_server.py με το σημείο ελέγχου σας και το --embodiment-tag NEW_EMBODIMENT, μετά εκτελέστε το eval_so100.py στην πλευρά του ρομπότ με τη σειριακή θύρα, το αναγνωριστικό ρομπότ, τους δείκτες κάμερας και την εντολή γλώσσας. Τα ονόματα των καμερών σε αυτή την εντολή πρέπει να ταιριάζουν με τα φιλικά ονόματα από το modality.json σας, όχι με τους αριθμούς συσκευών του λειτουργικού συστήματος.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Τώρα το ειλικρινές μέρος σχετικά με το πού εκτελείται η πολιτική, επειδή η εκπαίδευση και η εξυπηρέτηση έχουν διαφορετικές ιστορίες υλικού. Η λεπτομερής ρύθμιση απαιτεί 40 GB ή περισσότερο. Η εξαγωγή συμπερασμάτων όχι: το README την τοποθετεί στα 16 GB ή περισσότερο και αναφέρει ρητά την RTX 4090, οπότε μια κάρτα που ήδη έχετε μπορεί να εξυπηρετήσει ένα checkpoint που δεν θα μπορούσε ποτέ να έχει παράγει. Αυτό που αποφασίζει αν η πολιτική είναι ανταποκρινόμενη δεν είναι η VRAM, είναι το πού βρίσκεται ο διακομιστής. Στα AY-Robots, το GR00T N1.7 είναι μόνο στο cloud, οπότε ο βρόχος ελέγχου πληρώνει ένα ταξίδι μετ' επιστροφής μέσω του δημόσιου διαδικτύου επιπλέον των 152 ms ανά βήμα ενέργειας, και μόνο SmolVLA και ACT εκτελούνται επίσης τοπικά. Για αργή επιλογή και τοποθέτηση, ένα απομακρυσμένο pod είναι βιώσιμο. Για οτιδήποτε αντιδραστικό δεν είναι: η πολιτική γίνεται διστακτική με τρόπο που μοιάζει ακριβώς με αποτυχία εκπαίδευσης και δεν είναι. Το ACT στα 20 ms ανά βήμα ενέργειας είναι το μοντέλο που ανέχεται τον πιο σφιχτό βρόχο, το SmolVLA βρίσκεται στα 245 ms, και καμία ποσότητα ρύθμιση καθυστέρησης δεν μπορεί να ανακτήσει ένα ταξίδι μετ' επιστροφής που έχει ήδη δαπανηθεί. Εκτελέστε την πρώτη σας πολιτική περιγράφει την πλευρά εξυπηρέτησης από άκρο σε άκρο.

Τι πάει πραγματικά στραβά

• GatedRepoError στην πρώτη εκτέλεση. Δεν σας έχει παραχωρηθεί πρόσβαση στο nvidia/Cosmos-Reason2-2B, ή δεν πραγματοποιήσατε έλεγχο ταυτότητας. Αυτό συμβαίνει αφού έχει ήδη ξεκινήσει το ρολόι της GPU.
• Το σύνολο δεδομένων απορρίφθηκε κατά τη φόρτωση. Σχεδόν πάντα ένα σύνολο δεδομένων v3.0. Μετατρέψτε το σε παλαιότερη έκδοση. Δείτε απόρριψη συνόλου δεδομένων ως v3.
• IndexError σχετικά με μη αντιστοιχισμένες boolean διαστάσεις. Αλλάξατε τα delta_indices και δεν αναδημιουργήσατε τα στατιστικά.
• Έλλειψη μνήμης στο batch 32. Μειώστε το --global-batch-size και αυξήστε το --gradient-accumulation-steps, ή μειώστε το --num-shards-per-epoch, το οποίο η διαμόρφωση προτείνει ρητά όταν η VRAM είναι περιορισμένη. Δείτε έλλειψη μνήμης κατά την εκπαίδευση.
• Η απώλεια μειώνεται, η πολιτική δεν κάνει τίποτα. Δεν υπάρχει διαχωρισμός επικύρωσης από προεπιλογή, οπότε μια καθαρή καμπύλη εκπαίδευσης αποδεικνύει πολύ λίγα. Αυτή η σελίδα καλύπτει τη διάγνωση.
• Λειτουργεί στη ρύθμισή σας και πουθενά αλλού. Αναμενόμενο με ένα μικρό σύνολο δεδομένων που κινηματογραφήθηκε υπό μία συνθήκη φωτισμού. Η NVIDIA συνιστά αύξηση χρωματικού jitter συν 20 έως 50 επεισόδια σε διαφορετικούς φωτισμούς. Περισσότερα εδώ.
• Η λαβίδα δεν κλείνει ποτέ σωστά. Ελέγξτε ότι η ενέργεια της λαβίδας είναι ABSOLUTE και οι αρθρώσεις του βραχίονα RELATIVE, με αυτή τη σειρά στα action_configs. Η λαβίδα δεν κλείνει παραθέτει τις άλλες αιτίες.
• Μια κάμερα απενεργοποιείται σιωπηλά κατά τη διάρκεια της εγγραφής. Το επεισόδιο εξακολουθεί να αποθηκεύεται και το κλειδί βίντεο εξακολουθεί να υπάρχει, γι' αυτό και αυτό είναι άσχημο. Η κάμερα δεν ανιχνεύεται το καλύπτει.

Ο πλήρης κατάλογος των τρόπων αποτυχίας βρίσκεται στις . Εάν επιλέγετε μεταξύ μοντέλων αντί να διορθώνετε ένα, η και η έχουν αριθμούς αναφοράς με συνημμένες πηγές, και η είναι η σύγκριση που χρειάζονται οι περισσότεροι άνθρωποι, επειδή είναι η επιλογή μεταξύ ενός μοντέλου που μπορείτε να εκπαιδεύσετε στην κάρτα κάτω από το γραφείο σας και ενός που πρέπει να νοικιάσετε έναν κόμβο 80 GB για να το ρυθμίσετε. Για να κατανοήσετε γιατί αυτά τα μοντέλα συμπεριφέρονται με τον τρόπο που συμπεριφέρονται, η και ο αξίζει να διαβαστούν πρώτα. Και αν δεν έχετε ακόμα ένα ρομποτικό βραχίονα, ο μεταδίδει ένα φυσικό SO-100 χωρίς εγγραφή.