Ako trénovať GR00T N1.7 na vlastnom datasete SO-100

NVIDIA dodáva príklad jemného doladenia presne pre rameno, ktoré pravdepodobne vlastníte. Vo vnútri úložiska Isaac-GR00T sa nachádza priečinok s názvom demo_data/cube_to_bowl_5: päť epizód, 4 148 snímok pri 30 fps, už napísaných ako LeRobot v2.1, so zodpovedajúcou konfiguráciou modality pod examples/SO100/. Jeho meta/info.json hlási robot_type: so101_follower, čo je v LeRobot rovnaká trieda konfigurácie ako so100_follower. To je skutočne užitočné, pretože to znamená, že referenčná cesta pre GR00T N1.7 na šesť-stupňov voľnosti hobby ramene je udržiavaná ľuďmi, ktorí model napísali. Nie je to zmenšená humanoidná ukážka, je to to isté rameno.

Zlou správou je vzdialenosť medzi I recorded 60 episodes a the arm does the task. Existuje asi šesť miest, kde tento pipeline zlyháva ticho, namiesto hlasno, a štyri z nich sa nachádzajú v súboroch, ktoré väčšina ľudí nikdy neotvorí: meta/modality.json, konfigurácia dát Pythonu, meta/relative_stats.json, a vlastný reťazec verzie datasetu. Táto príručka prechádza manuálnou cestou od začiatku do konca so skutočnými príkazmi, potom ukazuje rovnakú úlohu ako formulár na AY-Robots. Všetko nižšie bolo skontrolované oproti hlavnej vetve Isaac-GR00T k 20. augustu 2026 (riadok n1.7-release) a lerobot 0.6.1, publikovanému na PyPI 3. augusta 2026. Upstream sa rýchlo mení, a ak bol premenovaný nejaký príznak, tento článok to uvádza.

Čo je GR00T N1.7 v skutočnosti

GR00T N1.7 je vizuálno-jazykovo-akčný model s dvoj-systémovým usporiadaním opísaným v pôvodnom článku GR00T N1: vizuálno-jazykový modul, ktorý číta kamery a inštrukcie, a difúzny transformátor, ktorý to premieňa na blok súvislých motorických príkazov. N1.7 nahradil prvú polovicu. Chrbtica Eagle z N1.6 je preč, vymenená za nvidia/Cosmos-Reason2-2B na architektúre Qwen3-VL, a model bol predtrenovaný na približne 20 000 hodinách egocentrického ľudského videa navyše k robotickým dátam. Vlastný popis spoločnosti NVIDIA uvádza číslo 20 854 hodín a hlási, že prechod z 1k na 20k hodín viac ako zdvojnásobuje priemerné dokončenie úloh.

Zmenila sa aj druhá polovica, a to spôsobmi, ktoré sú dôležité pre váš beh. Akčná hlava klesla z 32 difúznych vrstiev na 16, predpovedaný akčný blok narástol zo 16 krokov na 40 a maximálna šírka stavu a akcie sa zmenila z 29 na 132. Tieto tri čísla pochádzajú zo zoznamu zmien v README repozitára; vlastný oznam spoločnosti NVIDIA stále opisuje Systém 1 ako 32-vrstvový DiT, takže tam, kde sa tieto dva údaje rozchádzajú, dôverujte repozitáru, ktorý sa chystáte klonovať. Akcie sú štandardne vyjadrené v relatívnom koncovom efektore priestore, ako delty od aktuálnej pozície namiesto absolútnych cieľov, čo umožňuje prenos manipulačných priorít naučených z ľudského videa do riadenia robota. Samotná hlava je flow-matching difúzny transformátor, rovnaká rodina ako Pi0.5, ale s inou chrbticou pred ním. Ak stále používate predchádzajúcu generáciu, N1.7 oproti N1.5 pokrýva, či upgrade ospravedlňuje prepracovanie vášho pipeline.

Tieto posledné tri riadky vysvetľujú väčšinu sklamania, ktoré ľudia hlásia. Titulných 27.9 ms je TensorRT engine na H100 s jednou kamerou a štyrmi krokmi denoisovania. Čistý PyTorch na rovnakej karte je 85.8 ms a karta modelu uvádza rozdiel 3.08x. Ani jedno číslo nezahŕňa obslužnú vrstvu, druhú kameru alebo sieťový skok. Údaj 152 ms na akčný krok, ktorý AY-Robots uvádza pre svoj obsluhovaný GR00T N1.7, je hodnota s obsluhou v slučke, a k tomu sa pridáva aj spiatočná cesta cez verejný internet. Viac o tom na konci. Pre čísla vedľa iných modelov, GR00T N1.7 oproti Pi0.5 a GR00T N1.7 oproti SmolVLA ich porovnávajú vedľa seba.

Čo je potrebné pre spustenie, než čokoľvek napíšete

Krok 0: samotné epizódy

Všetko nižšie predpokladá, že už máte nahrané epizódy. Ak nie, to je skutočný prvý krok a je to ten, ktorý rozhoduje o tom, aký dobrý môže byť výsledok, pretože učenie napodobňovaním nedokáže obnoviť informácie, ktoré nie sú v dátach. Najprv kalibrujte obe ramená, potom riaďte sledovacie rameno pomocou vodiaceho ramena zatiaľ čo lerobot-record zapisuje parquet súbory a streamy z kamier. Ak kalibrácia je nesprávna, hodnoty kĺbov vo vašom datasete popisujú mierne odlišného robota, než ten, ktorý bude neskôr vykonávať politiku, a žiadne množstvo tréningu to nenapraví.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

Vlastná rada LeRobotu je nahrať aspoň 50 epizód, približne 10 pre každú polohu objektu, udržiavať kamery pevné a zachovať konzistentné správanie pri uchopení. Variácie pridajte neskôr, nie na začiatku. Pravidlo, ktoré si treba zapamätať: ak by ste úlohu nedokázali vykonať sami len z obrázkov kamery, politika to tiež nedokáže. Pre nastavenie špecifické pre rameno, začíname s SO-100 a stránka LeRobot pre SO-100 pokrývajú porty, kalibráciu a indexy kamier. Na AY-Robots to môžete urobiť aj cez internet z prehliadača pomocou teleoperácie a nahrávať priamo zo sedenia.

Krok 1: súbor dát musí byť LeRobot v2.1

Toto je najčastejšia prekážka. Aktuálna verzia CODEBASE_VERSION LeRobot v hlavnej vetve je v3.0, takže čokoľvek, čo dnes nahráte s aktuálnym reťazcom nástrojov, bude vo verzii v3.0. Loader GR00T očakáva v2. Repozitár jasne vysvetľuje prečo: mnohé upstream datasety ako DROID, LIBERO a Bridge sú publikované vo verzii v2 a natívna podpora pre obe je plánovaná, ale zatiaľ nie je dodaná. Konverzia je teda na vás a beží vo vlastnom virtualenv z konkrétneho dôvodu: scripts/lerobot_conversion obsahuje vlastný pyproject, ktorý vyžaduje Python 3.10 alebo 3.11 a fixuje lerobot na jeden git commit, zatiaľ čo samotný Isaac-GR00T vyžaduje Python 3.12. Nainštalujte konvertor z koreňa repozitára a namiesto toho získate balík gr00t, čo je chyba, pred ktorou varuje jeho README. Ak ste noví v tomto formáte, záznam v glosári datasetu LeRobot vysvetľuje, čo sa v ňom skutočne nachádza.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Štruktúra, ktorú GR00T vyžaduje po konverzii, je klasické rozloženie v2: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, súbory parquet pod data/chunk-000/, súbory MP4 pod videos/chunk-000/observation.images./, a jeden dodatočný súbor, ktorý štandardný LeRobot nemá. V tomto dodatočnom súbore sa nachádza väčšina zostávajúcich chýb.

Krok 2: modality.json, šesť čísel, ktoré rozhodujú o všetkom

V datasete LeRobot sú stav robota a akcia uložené ako ploché polia float32. Pre SO-100 majú obe tvar [6]: päť kĺbov ramena a uchopovač. Demo dataset ich nazýva shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, ale tieto názvy sú v info.json a nič v súbore parquet nehovorí, ktorý index je ktorý. meta/modality.json poskytuje toto mapovanie a GR00T bez neho nebude trénovať. Tu je to, čo repozitár dodáva pre SO-100, doslovne.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Skopírujte ho do vášho konvertovaného datasetu na meta/modality.json a premenujte kľúče videí na to, ako sa vaše kamery skutočne volajú. Ak ste nahrávali s jednou stropnou kamerou s názvom top, potom original_key je observation.images.top a priateľský názov je to, na čo sa bude odkazovať vaša dátová konfigurácia. Tieto dve veci sa musia zhodovať a ani jedna z nich nekontroluje tú druhú za vás. Jazyková anotácia je horšia, pretože rovnaký kľúč sa musí objaviť na troch miestach.

Krok 3: dátová konfigurácia, relatívne rameno a absolútny uchopovač

Konfigurácia modality je súbor Pythonu, nie JSON, pretože tiež rozhoduje o tom, ako je reprezentovaná každá akčná skupina. Toto je tá časť pracovného postupu N1.7, ktorá v N1.5 neexistovala v rovnakej forme, a tá časť, ktorú sa oplatí prečítať dvakrát. Dodávaná konfigurácia SO-100 predpovedá päť kĺbov ramena ako RELATIVE delty z aktuálneho stavu a chápadlo ako ABSOLUTE cieľovú pozíciu, pretože binárny signál otvorenia/zatvorenia sa správa lepšie ako cieľ než ako delta.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Dva detaily vás tu budú stáť deň, ak ich nepoznáte. Po prvé, action_configs je pozičný: dokumentácia vyžaduje rovnakú dĺžku a rovnaké poradie ako modality_keys, a sú priame ohľadom dôsledkov chyby, ktorou je tiché aplikovanie nesprávnej reprezentácie. Vaše chápadlo sa trénuje ako delta a vaše rameno ako absolútny cieľ, a neexistuje žiadna chybová správa. Po druhé, register_modality_config tvrdí, že značka ešte nie je zaregistrovaná, takže druhá konfigurácia NEW_EMBODIMENT v rovnakom procese Pythonu zlyhá s Embodiment tag ... already registered. Nemôžete importovať dve z nich do jedného skriptu. Tretie pravidlo sa vynucuje neskôr, pri nasadení: akcia delta_indices musí byť súvislý rozsah začínajúci nulou. Riedke okno ako [0, 4, 8] je odmietnuté, pretože všetko následné indexuje predpovedaný blok lineárne a inak by vykonalo nesprávne riadky.

Krok 4: prostredie

N1.7 presunul repozitár na a Python 3.12. Stará cesta s conda plus pip install -e . cesta stále existuje v zbalenej sekcii README, ale upozorňuje, že závislosti GPU vrátane flash-attn a TensorRT môžu vyžadovať manuálnu inštaláciu. Použite uv, pokiaľ nemáte špecifický dôvod to neurobiť. Pokiaľ ide o flash-attn, jeden detail šetrí zmätok: uvidíte Installing flash-attn vytlačené pri každom uv run. Neprebieha prebudovanie. uv znovu overuje wheel pripnutý k URL, ktorý je už v cache, a trvá to dve alebo tri sekundy.

1. 1
   Nainštalujte git-lfs, potom klonujte so submodulmi

   git-lfs je povinný, nie voliteľný. Bez neho sa súbory parquet v demo_data/ stiahnu ako zástupné ukazovatele a demo spustenie zlyhá na datasete, ktorý sa javí ako prítomný v zozname súborov.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Nainštalujte uv a synchronizujte prostredie

   Predvolená inštalácia stiahne závislosti GPU vrátane flash-attn a TensorRT. Na čerstvom obraze A100 alebo H100 je to najdlhší samostatný krok, takže ho urobte predtým, než začnete venovať pozornosť čomukoľvek inému.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Autentifikujte sa voči Hugging Face

   Urobte to pred prvým spustením trénovania, nie potom, čo zlyhá po ôsmich minútach.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Kontrola funkčnosti na dodaných demo dátach SO-100

   Predtým, než sa dotknete vlastného záznamu, spustite 2000 krokov na demo_data/cube_to_bowl_5. Je to päť epizód, dokončí sa rýchlo a preukáže prostredie, nie vaše dáta. Ak toto spustenie zlyhá, nič, čo urobíte s vaším datasetom, nepomôže.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Krok 5: príkaz na jemné doladenie a aké sú skutočné predvolené hodnoty jeho príznakov

Vymeňte demo dátovú sadu za vašu a pridajte nastavenia, ktoré skutočne chcete. Nižšie je uvedená úplná forma, ktorú úložisko používa vo svojom vlastnom tutoriáli pre nové stelesnenie, vrátane príznakov pre augmentáciu a ukladanie kontrolných bodov, ktoré krátky príklad v README vynecháva. Toto je v užšom zmysle: jazyková chrbtica a vizuálny kodér zostávajú zmrazené a trénuje sa projektor a difúzna akčná hlava.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Ten posledný riadok nie je preklep. launch_finetune.py je CLI tyro generované z dátovej triedy a táto dátová trieda nemá pole pre seed. Súbor README samostatne uvádza 5 až 6 percentnú varianciu medzi spusteniami spôsobenú nedeterministickou augmentáciou obrazu. Dve spustenia s identickými príznakmi nebudú produkovať identické kontrolné body, čo je veľmi dôležité, keď sa snažíte rozhodnúť, či zmena hyperparametrov pomohla, alebo či ste mali šťastie. Pre porovnanie, vlastný tréner lerobot predvolene používa seed 1000 a recept LeRobot GR00T explicitne odovzdáva --seed=42 explicitne.

Čo stojí spustenie s 20000 krokmi

GR00T N1.7 potrebuje 80 GB kartu, takže otázka nákladov má úzku odpoveď. Na AY-Robots beží tréner groot1.7 na úrovni A100 80 GB alebo H100 80 GB, kde spustenie trvá 3 až 6 hodín pri 1.20 až 2.00 USD za hodinu na spotovom trhu. To je približne 4 až 12 USD za predvolenú úlohu s 20000 krokmi. Rovnaká úloha na SmolVLA alebo ACT pristane na 24 GB karte pri 0.30 až 0.60 USD za hodinu a 1 až 3 USD za spustenie. To je skutočný kompromis: GR00T stojí približne štyrikrát viac za pokus a nemôžete ho spustiť na 4090 pod vaším stolom.

Minimálny počet epizód 50-epizód je spodná hranica, nie cieľ. Vlastné FAQ spoločnosti NVIDIA je náročnejšie: približne 100 trajektórií pre jednoduché uchopenie a umiestnenie na pevnom mieste, 500 alebo viac pre komplexné alebo viacstupňové scény a 100 až 500 pre jemnú manipuláciu. Ak máte 20 epizód, strávte popoludnie nahrávaním namiesto večerného ladenia. Sprievodca zberom dát pokrýva, čo odlišuje užitočnú epizódu od zbytočnej, nahrajte svoj prvý dataset je krátka verzia a zber dát SO-100 je verzia špecifická pre rameno.

Krok 6: vyhodnotenie v otvorenej slučke predtým, ako sa dotknete ramena

Neumiestňujte čerstvý kontrolný bod na fyzické rameno, aby ste zistili, či tréning fungoval. Najprv spustite vyhodnotenie v otvorenej slučke. Prehrá zaznamenanú epizódu, požiada model o akcie v každom kroku a vykreslí predikciu oproti skutočnej hodnote s MSE a MAE. Nič to nestojí a zachytáva chyby mapovania z krokov 2 a 3.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Úložisko zámerne odmieta zverejniť cieľové MSE pre vlastné dáta, a to je správne rozhodnutie: číslo závisí od vašich akčných jednotiek, vašej úlohy a veľkosti vášho datasetu, takže prahová hodnota skopírovaná z ramena niekoho iného nič neznamená. Zmysluplný je trend. Tu je referenčný beh, ktorý úložisko dokumentuje na jednom H100 s demo datasetom piatich epizód a 2000 krokmi.

Tvar je signál, nie absolútne hodnoty. Chyba by mala neustále klesať, ako sa tréningové kroky akumulujú. Priemerne za všetkých päť tréningových epizód, a nie len za trajektóriu 0, dosiahol finálny kontrolný bod repozitára približne 7.5 MSE a 1.5 MAE, takže aj referenčný beh sa číta inak v závislosti od toho, ktoré epizódy spriemerujete. Zaznamenajte si vlastnú základnú líniu na neupravenom demo príkaze predtým, ako zmeníte čokoľvek vo svojich vlastných dátach: ak nedokážete reprodukovať známy dobrý beh, nedokážete rozlíšiť chybu nastavenia od problému s dátami. Repozitár tiež mapuje bežné symptómy k príčinám a každý z nich je prevádzkový, nie chyba modelu.

Iná cesta: lerobot-train namiesto Isaac-GR00T

Aktuálna verzia LeRobot, 0.6.1 na PyPI od 3. augusta 2026, ponúka druhý a celkom odlišný spôsob jemného doladenia rovnakých základných váh. LeRobot vystavuje GR00T N1.7 ako typ politiky a trénuje ju prostredníctvom vlastného lerobot-train vstupného bodu. Dve veci sú tu dôležité. LeRobot CLI je sada konzolových skriptov, takže čokoľvek, čo čítate a hovorí python lerobot/scripts/train.py je zastarané a nebude fungovať. A LeRobot úplne odstránil podporu GR00T N1.5, odmietajúc kontrolné body a konfigurácie N1.5 s poznámkou o migrácii, takže ak potrebujete N1.5 cez LeRobot, musíte pripnúť lerobot==0.5.1, poslednú verziu, ktorá ju podporuje, vydanú 7. apríla 2026.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Dva spôsoby, ako získať rovnaký checkpoint

Návrat checkpointu na rameno

Isaac-GR00T používa rozdelenie server-klient cez ZMQ. Politika beží na GPU a tenký klient na robotickom stroji posiela pozorovania a prijíma akčné bloky. Príklad SO-100 je dostatočne kompletný na skopírovanie: spustite run_gr00t_server.py s vaším checkpointom a --embodiment-tag NEW_EMBODIMENT, potom spustite eval_so100.py na strane robota so sériovým portom, id robota, indexmi kamier a jazykovou inštrukciou. Názvy kamier v tomto príkaze musia zodpovedať priateľským názvom z vášho modality.json, nie číslam zariadení OS.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Teraz úprimná časť o tom, kde beží politika, pretože trénovanie a obsluha majú odlišné hardvérové požiadavky. Jemné doladenie vyžaduje 40 GB alebo viac. Inferencie nie: README uvádza 16 GB alebo viac a explicitne spomína RTX 4090, takže karta, ktorú už vlastníte, môže obsluhovať checkpoint, ktorý by nikdy nemohla vyprodukovať. To, čo rozhoduje o tom, či sa politika cíti citlivo, nie je VRAM, ale to, kde sa nachádza server. Na AY-Robots je GR00T N1.7 iba v cloude, takže riadiaca slučka platí za okružnú cestu cez verejný internet navyše k 152 ms na akčný krok, a iba SmolVLA a ACT bežia aj lokálne. Pre pomalé uchopenie a umiestnenie je vzdialený pod prežiteľný. Pre čokoľvek reaktívne to nie je: politika sa stáva váhavou spôsobom, ktorý vyzerá presne ako zlyhanie tréningu a nie je ním. ACT s 20 ms na akčný krok je model, ktorý toleruje najtesnejšiu slučku, SmolVLA je na 245 ms, a žiadne množstvo ladenia latencie nevráti okružnú cestu, ktorá už bola strávená. Spustite svoju prvú politiku prechádza obslužnou stranou od začiatku do konca.

Čo sa skutočne pokazí

• GatedRepoError pri prvom spustení. Nebol vám udelený prístup k nvidia/Cosmos-Reason2-2B, alebo ste sa neautentifikovali. Stáva sa to po tom, čo sa už spustili hodiny GPU.
• Dátový súbor odmietnutý pri načítaní. Takmer vždy dátový súbor v3.0. Preveďte ho na nižšiu verziu. Pozrite si dátový súbor odmietnutý ako v3.
• IndexError o nesúladných booleovských dimenziách. Zmenili ste delta_indices a nepregenerovali ste štatistiky.
• Nedostatok pamäte pri dávke 32. Znížte --global-batch-size a zvýšte --gradient-accumulation-steps, alebo znížte --num-shards-per-epoch, čo konfigurácia výslovne navrhuje, keď je VRAM obmedzená. Pozrite si nedostatok pamäte počas trénovania.
• Strata klesá, politika nič nerobí. Predvolene neexistuje validačné rozdelenie, takže čistá tréningová krivka dokazuje veľmi málo. Táto stránka pokrýva diagnostiku.
• Funguje vo vašom nastavení a nikde inde. Očakávané pri malom dátovom súbore natočenom za jednej svetelnej podmienky. NVIDIA odporúča augmentáciu farebného chvenia plus 20 až 50 epizód pri rôznom osvetlení. Viac tu.
• Chápadlo sa nikdy správne nezatvorí. Skontrolujte, či je akcia chápadla ABSOLÚTNA a kĺby ramena RELATÍVNE, v tomto poradí v action_configs. Chápadlo sa nezatvára uvádza ďalšie príčiny.
• Kamera sa potichu vypne uprostred nahrávania. Epizóda sa stále uloží a video kľúč stále existuje, preto je to nepríjemné. Kamera nerozpoznaná to pokrýva.

Celý index režimov zlyhania nájdete na . Ak si vyberáte medzi modelmi namiesto ladenia jedného, a majú benchmarkové čísla s priloženými zdrojmi, a je porovnanie, ktoré väčšina ľudí skutočne potrebuje, pretože ide o voľbu medzi modelom, ktorý môžete trénovať na karte pod vaším stolom, a takým, pre ktorý si musíte prenajať 80 GB uzol na doladenie. Pre pochopenie, prečo sa tieto modely správajú tak, ako sa správajú, a sa oplatí prečítať ako prvé. A ak ešte nevlastníte rameno, streamuje fyzické SO-100 bez registrácie.