Jak trénovat GR00T N1.7 na vlastním SO-100 datasetu

NVIDIA dodává příklad jemného doladění přesně pro rameno, které pravděpodobně vlastníte. Uvnitř úložiště Isaac-GR00T je složka s názvem demo_data/cube_to_bowl_5: pět epizod, 4 148 snímků při 30 fps, již zapsaných jako LeRobot v2.1, s odpovídající konfigurací modality pod examples/SO100/. Jeho meta/info.json hlásí robot_type: so101_follower, což je v LeRobot stejná konfigurační třída jako so100_follower. To je skutečně užitečné, protože to znamená, že referenční cesta pro GR00T N1.7 na šest-stupňovém volnosti hobby rameni je udržována lidmi, kteří model napsali. Není to zmenšená humanoidní ukázka, je to stejné rameno.

Špatná zpráva je vzdálenost mezi I recorded 60 episodes a the arm does the task. Existuje asi šest míst, kde tento pipeline selže tiše, spíše než hlasitě, a čtyři z nich se nacházejí v souborech, které většina lidí nikdy neotevře: meta/modality.json, konfigurace dat Pythonu, meta/relative_stats.json, a vlastní řetězec verze datové sady. Tento průvodce provede manuální cestou od začátku do konce se skutečnými příkazy, poté ukáže stejnou úlohu jako formulář na AY-Robots. Vše níže bylo zkontrolováno proti hlavní větvi Isaac-GR00T k 20. srpnu 2026 (řada n1.7-release) a lerobot 0.6.1, publikovanému na PyPI 3. srpna 2026. Upstream se rychle mění, a pokud byl nějaký příznak přejmenován, tento článek to uvádí.

Co GR00T N1.7 skutečně je

GR00T N1.7 je vizuálně-jazykový akční model s uspořádáním duálního systému popsaným v původním článku GR00T N1: vizuálně-jazykovým modulem, který čte kamery a instrukce, a difuzním transformátorem, který to převádí na blok souvislých motorických příkazů. N1.7 nahradil první polovinu. Původní páteř Eagle z N1.6 byla odstraněna a nahrazena nvidia/Cosmos-Reason2-2B na architektuře Qwen3-VL a model byl předtrénován na přibližně 20 000 hodinách egocentrického lidského videa navíc k datům robota. Vlastní zpráva NVIDIA uvádí číslo 20 854 hodin a uvádí, že přechod z 1k na 20k hodin více než zdvojnásobuje průměrné dokončení úkolu.

Druhá polovina se také změnila, a to způsoby, které jsou důležité pro váš běh. Akční hlava klesla z 32 difuzních vrstev na 16, předpokládaný akční blok se zvětšil z 16 kroků na 40 a maximální šířka stavu a akce se změnila z 29 na 132. Tato tři čísla pocházejí ze záznamu změn v README repozitáře; vlastní spouštěcí příspěvek NVIDIA stále popisuje Systém 1 jako 32vrstvý DiT, takže tam, kde se tyto dva zdroje liší, důvěřujte repozitáři, který se chystáte klonovat. Akce jsou ve výchozím nastavení vyjádřeny v relativním prostoru koncového efektoru, jako delty od aktuální pozice spíše než absolutní cíle, což umožňuje přenos manipulačních priorit naučených z lidského videa do řízení robota. Samotná hlava je difuzní transformátor s flow-matching, stejná rodina jako Pi0.5, ale s jinou páteří před ním. Pokud stále používáte předchozí generaci, N1.7 proti N1.5 pojednává o tom, zda upgrade ospravedlňuje přepracování vašeho pipeline.

Tyto poslední tři řádky vysvětlují většinu zklamání, které lidé uvádějí. Titulních 27.9 ms je engine TensorRT na H100 s jednou kamerou a čtyřmi kroky denoisingu. Čistý PyTorch na stejné kartě je 85.8 ms a karta modelu uvádí rozdíl 3.08x. Ani jedno číslo nezahrnuje obslužnou vrstvu, druhou kameru nebo síťový skok. Hodnota 152 ms na akční krok, kterou AY-Robots uvádí pro svůj nasazený GR00T N1.7, je údaj s obsluhou v cyklu, a k tomu se přidává zpáteční cesta přes veřejný internet. Více o tom na konci. Pro srovnání čísel s jinými modely, GR00T N1.7 proti Pi0.5 a GR00T N1.7 proti SmolVLA je uvádějí vedle sebe.

Co je potřeba pro spuštění, než cokoli napíšete

Krok 0: samotné epizody

Vše níže předpokládá, že již máte nahrané epizody. Pokud ne, je to skutečný první krok a je to ten, který rozhoduje o tom, jak dobrý může být výsledek, protože učení napodobováním nemůže obnovit informace, které nejsou v datech. Nejprve zkalibrujte obě ramena, poté ovládejte následovníka pomocí vedoucího ramene zatímco lerobot-record zapisuje soubory parquet a streamy z kamer. Pokud kalibrace je vypnutá, hodnoty kloubů ve vašem datasetu popisují mírně odlišného robota, než ten, který později provede politiku, a žádné množství tréninku to nenapraví.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

Vlastní rada LeRobotu je nahrát alespoň 50 epizod, přibližně 10 pro každou polohu objektu, udržovat kamery pevné a zachovat konzistentní chování uchopení. Variace přidávejte později, ne na začátku. Pravidlo, které stojí za to si zapamatovat: pokud byste úkol nedokázali provést sami pouze z obrazů kamer, politika to také nedokáže. Pro nastavení specifické pro rameno, začínáme s SO-100 a stránka SO-100 LeRobot pokrývají porty, kalibraci a indexy kamer. Na AY-Robots to můžete provést také přes internet z prohlížeče pomocí teleoperace a nahrávat přímo ze sezení.

Krok 1: datová sada musí být LeRobot v2.1

Toto je nejčastější překážka. Aktuální CODEBASE_VERSION LeRobota na main je v3.0, takže cokoli, co dnes zaznamenáte s aktuálním toolchainem, bude ve verzi v3.0. Loader GR00T očekává v2. Repozitář jasně vysvětluje proč: mnoho upstreamových datových sad, jako jsou DROID, LIBERO a Bridge, je publikováno ve v2 a nativní podpora pro obě je plánována, ale zatím není dodána. Konverze je tedy na vás a běží ve vlastním virtualenvu z konkrétního důvodu: scripts/lerobot_conversion má svůj vlastní pyproject, který vyžaduje Python 3.10 nebo 3.11 a připíná lerobot k jednomu git commitu, zatímco Isaac-GR00T sám vyžaduje Python 3.12. Nainstalujte konvertor z kořenového adresáře repozitáře a místo toho získáte balíček gr00t, což je chyba, před kterou varuje jeho README. Pokud jste v tomto formátu noví, datová sada LeRobot v glosáři vysvětluje, co se v ní skutečně nachází.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Struktura, kterou GR00T po konverzi vyžaduje, je klasické rozložení v2: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, soubory parquet pod data/chunk-000/, soubory MP4 pod videos/chunk-000/observation.images./, a jeden dodatečný soubor, který standardní LeRobot nemá. V tomto dodatečném souboru se nachází většina zbývajících chyb.

Krok 2: modality.json, šest čísel, která rozhodují o všem

V datové sadě LeRobot jsou stav robota a akce uloženy jako plochá pole float32. Pro SO-100 mají obě tvar [6]: pět kloubů ramene a chapadlo. Demo datová sada je pojmenovává shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, ale tato jména jsou v info.json a nic v souboru parquet neříká, který index je který. meta/modality.json poskytuje toto mapování a GR00T bez něj nebude trénovat. Zde je ten, který repozitář dodává pro SO-100, doslovně.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Zkopírujte jej do svého převedeného datasetu na meta/modality.json a přejmenujte klíče videí na skutečné názvy vašich kamer. Pokud jste nahrávali s jedinou stropní kamerou s názvem top, pak original_key je observation.images.top a uživatelsky přívětivý název je ten, na který se bude odkazovat vaše datová konfigurace. Tyto dva názvy se musí shodovat a ani jeden z nich nekontroluje ten druhý za vás. Jazyková anotace je horší, protože stejný klíč se musí objevit na třech místech.

Krok 3: konfigurace dat, relativní rameno a absolutní chapadlo

Konfigurace modality je soubor Pythonu spíše než JSON, protože také rozhoduje o tom, jak je reprezentována každá akční skupina. Toto je část pracovního postupu N1.7, která v N1.5 v této podobě neexistovala, a část, kterou stojí za to si přečíst dvakrát. Dodávaná konfigurace SO-100 předpovídá pět kloubů paže jako RELATIVNÍ delty z aktuálního stavu a chapadlo jako ABSOLUTNÍ cílovou pozici, protože binární signál otevřeno/zavřeno se chová lépe jako cíl než jako delta.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Dva detaily zde vás budou stát den, pokud je neznáte. Zaprvé, action_configs je poziční: dokumentace vyžaduje stejnou délku a stejné pořadí jako modality_keys, a jsou nekompromisní ohledně důsledků chyby, což je tiché použití špatné reprezentace. Vaše chapadlo se trénuje jako delta a vaše paže jako absolutní cíl, a bez chybové zprávy. Zadruhé, register_modality_config tvrdí, že tag není již registrován, takže druhá konfigurace NEW_EMBODIMENT ve stejném procesu Pythonu selže s Embodiment tag ... already registered. Nemůžete importovat dvě z těchto konfigurací do jednoho skriptu. Třetí pravidlo je vynuceno později, při nasazení: akční delta_indices musí být souvislý rozsah začínající nulou. Řídké okno jako [0, 4, 8] je odmítnuto, protože vše navazující indexuje předpovězený blok lineárně a jinak by provedlo špatné řádky.

Krok 4: prostředí

N1.7 přesunul repozitář na a Python 3.12. Stará cesta přes conda plus pip install -e . stále existuje ve sbalené sekci README, ale upozorňuje, že závislosti GPU včetně flash-attn a TensorRT mohou vyžadovat ruční instalaci. Použijte uv, pokud nemáte konkrétní důvod to nedělat. Co se týče flash-attn, jeden detail zabrání zmatkům: uvidíte Installing flash-attn vytištěno při každém uv run. Neprobíhá opětovné sestavování. uv znovu ověřuje wheel připnutý k URL, který je již v mezipaměti, a trvá to dvě nebo tři sekundy.

1. 1
   Nainstalujte git-lfs, poté klonujte se submoduly

   git-lfs je povinný, nikoli volitelný. Bez něj se soubory parquet v demo_data/ stáhnou jako zástupné ukazatele a demo běh selže na datové sadě, která se ve výpisu souborů jeví jako přítomná.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Nainstalujte uv a synchronizujte prostředí

   Výchozí instalace stáhne závislosti GPU včetně flash-attn a TensorRT. Na čistém obraze A100 nebo H100 je to nejdelší jednotlivý krok, takže jej proveďte, než se začnete věnovat čemukoli jinému.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Ověření proti Hugging Face

   Udělejte to před prvním spuštěním tréninku, ne až poté, co selže po osmi minutách.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Kontrola funkčnosti na dodaných demo datech SO-100

   Než se dotknete vlastního záznamu, spusťte 2000 kroků na demo_data/cube_to_bowl_5. Je to pět epizod, dokončí se rychle a prokáže prostředí spíše než vaše data. Pokud tento běh selže, nic, co uděláte se svou datovou sadou, nepomůže.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Krok 5: příkaz pro jemné doladění a jaké jsou skutečné výchozí hodnoty jeho příznaků

Vyměňte demo datovou sadu za svou vlastní a přidejte ovládací prvky, které skutečně chcete. Níže je uvedena úplná forma, kterou repozitář používá ve svém vlastním tutoriálu pro nové ztělesnění, včetně příznaků pro augmentaci a ukládání kontrolních bodů, které krátký příklad v README vynechává. Toto je v užším smyslu: jazyková páteř a vizuální kodér zůstávají zmrazené a trénuje se projektor a difuzní akční hlava.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Ten poslední řádek není překlep. launch_finetune.py je CLI nástroj tyro vygenerovaný z datové třídy a tato datová třída nemá pole pro seed. Soubor README samostatně uvádí 5 až 6 procentní odchylku mezi spuštěními způsobenou nedeterministickou augmentací obrazu. Dvě spuštění se stejnými příznaky nebudou produkovat identické kontrolní body, což je velmi důležité, když se snažíte rozhodnout, zda změna hyperparametru pomohla, nebo zda jste měli štěstí. Pro srovnání, vlastní trénovací nástroj lerobotu má výchozí seed 1000 a recept LeRobot GR00T explicitně předává --seed=42 explicitně.

Co stojí běh s 20000 kroky

GR00T N1.7 potřebuje 80 GB kartu, takže otázka nákladů má úzkou odpověď. Na AY-Robots běží trénovací nástroj groot1.7 na úrovni A100 80 GB nebo H100 80 GB, kde běh trvá 3 až 6 hodin za 1.20 až 2.00 USD za hodinu na spotovém trhu. To je zhruba 4 až 12 USD za výchozí úlohu s 20000 kroky. Stejný úkol na SmolVLA nebo ACT běží na 24 GB kartě za 0.30 až 0.60 USD za hodinu a 1 až 3 USD za běh. To je skutečný kompromis: GR00T stojí zhruba čtyřikrát tolik za pokus a nemůžete ho spustit na 4090 pod vaším stolem.

Minimální počet epizod 50-epizod není cílem, ale minimem. Vlastní FAQ společnosti NVIDIA je náročnější: zhruba 100 trajektorií pro jednoduché uchopení a umístění na pevném místě, 500 a více pro složité nebo vícestupňové scény a 100 až 500 pro jemnou manipulaci. Pokud máte 20 epizod, věnujte odpoledne nahrávání namísto večerního ladění. průvodce sběrem dat popisuje, co odlišuje užitečnou epizodu od zbytečné, nahrajte svůj první dataset je krátká verze a sběr dat pro SO-100 je verze specifická pro rameno.

Krok 6: vyhodnocení v otevřené smyčce, než se dotknete ramene

Nepoužívejte čerstvý kontrolní bod na fyzickém rameni, abyste zjistili, zda trénink fungoval. Nejprve spusťte vyhodnocení v otevřené smyčce. Přehrává zaznamenanou epizodu, v každém kroku se ptá modelu na akce a vykresluje predikci proti skutečnosti s MSE a MAE. Nic to nestojí a zachytí to chyby mapování z kroků 2 a 3.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Repozitář záměrně odmítá zveřejnit cílovou MSE pro vlastní data, a to je správné rozhodnutí: číslo závisí na vašich akčních jednotkách, vašem úkolu a velikosti vašeho datového souboru, takže práh zkopírovaný z cizího ramene nic neznamená. Smysluplný je trend. Zde je referenční běh, který repozitář dokumentuje na jednom H100 s demo datovou sadou pěti epizod a 2000 kroky.

Tvar je signál, nikoli absolutní hodnoty. Chyba by měla stabilně klesat, jak se tréninkové kroky akumulují. Zprůměrováno přes všech pět tréninkových epizod, nikoli pouze trajektorii 0, konečný kontrolní bod repozitáře dosáhl přibližně 7.5 MSE a 1.5 MAE, takže i referenční běh se čte jinak v závislosti na tom, které epizody zprůměrujete. Zaznamenejte si vlastní základní linii na neupraveném demo příkazu, než cokoli změníte ve svých vlastních datech: pokud nemůžete reprodukovat známý funkční běh, nemůžete rozlišit chybu nastavení od problému s daty. Repozitář také mapuje běžné symptomy k příčinám a každý z nich je provozní, nikoli chyba modelu.

Jiná cesta: lerobot-train namísto Isaac-GR00T

Současná verze LeRobot, 0.6.1 na PyPI od 3. srpna 2026, nabízí druhý a zcela odlišný způsob, jak doladit stejné základní váhy. LeRobot zpřístupňuje GR00T N1.7 jako typ politiky a trénuje ji prostřednictvím vlastního lerobot-train vstupního bodu. Zde jsou důležité dvě věci. LeRobot CLI je sada konzolových skriptů, takže cokoli, co čtete a říká python lerobot/scripts/train.py je zastaralé a nebude fungovat. A LeRobot zcela odstranil podporu GR00T N1.5, odmítá kontrolní body a konfigurace N1.5 s poznámkou o migraci, takže pokud potřebujete N1.5 přes LeRobot, musíte připnout lerobot==0.5.1, poslední vydání, které ji podporuje, publikované 7. dubna 2026.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Dva způsoby, jak získat stejný checkpoint

Nahrání kontrolního bodu zpět na rameno

Isaac-GR00T používá rozdělení server-klient přes ZMQ. Politika běží na GPU a tenký klient na robotickém stroji odesílá pozorování a přijímá akční bloky. Příklad SO-100 je dostatečně kompletní k zkopírování: spusťte run_gr00t_server.py s vaším kontrolním bodem a --embodiment-tag NEW_EMBODIMENT, poté spusťte eval_so100.py na straně robota se sériovým portem, ID robota, indexy kamery a jazykovou instrukcí. Názvy kamer v tomto příkazu musí odpovídat uživatelským jménům z vašeho modality.json, nikoli číslům zařízení OS.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Nyní upřímná část o tom, kde běží politika, protože trénink a obsluha mají odlišné hardwarové požadavky. Jemné doladění vyžaduje 40 GB nebo více. Inference nikoli: README uvádí 16 GB nebo více a výslovně zmiňuje RTX 4090, takže karta, kterou již vlastníte, může obsluhovat checkpoint, který by nikdy nemohla vytvořit. To, co rozhoduje o tom, zda se politika zdá být citlivá, není VRAM, ale to, kde se nachází server. Na AY-Robots GR00T N1.7 je pouze cloudový, takže řídicí smyčka platí za zpáteční cestu přes veřejný internet navíc k 152 ms na akční krok, a pouze SmolVLA a ACT běží také lokálně. Pro pomalé zvedání a umisťování je vzdálený pod přežitelný. Pro cokoli reaktivního nikoli: politika se stává váhavou způsobem, který vypadá přesně jako selhání tréninku a není jím. ACT s 20 ms na akční krok je model, který toleruje nejtěsnější smyčku, SmolVLA se pohybuje na 245 ms, a žádné množství ladění latence nezíská zpět zpáteční cestu, která již byla vynaložena. Spuštění vaší první politiky provede obslužnou stranu od začátku do konce.

Co se skutečně pokazí

• GatedRepoError při prvním spuštění. Nebyl vám udělen přístup k nvidia/Cosmos-Reason2-2B, nebo jste se neautentizovali. K tomu dochází poté, co se již spustily hodiny GPU.
• Datová sada odmítnuta při načítání. Téměř vždy se jedná o datovou sadu v3.0. Převeďte ji na nižší verzi. Viz datová sada odmítnuta jako v3.
• IndexError ohledně neshodných booleovských dimenzí. Změnili jste delta_indices a nevygenerovali jste znovu statistiky.
• Nedostatek paměti u dávky 32. Snižte --global-batch-size a zvyšte --gradient-accumulation-steps, nebo snižte --num-shards-per-epoch, což konfigurace výslovně doporučuje, když je VRAM omezená. Viz nedostatek paměti během tréninku.
• Ztráta klesá, politika nic nedělá. Ve výchozím nastavení neexistuje validační rozdělení, takže čistá tréninková křivka dokazuje jen velmi málo. Tato stránka se zabývá diagnostikou.
• Funguje ve vašem nastavení a nikde jinde. Očekáváno u malé datové sady natočené za jedné světelné podmínky. NVIDIA doporučuje augmentaci barevného chvění plus 20 až 50 epizod napříč různým osvětlením. Více zde.
• Chapák se nikdy správně nezavře. Zkontrolujte, zda je akce chapáku ABSOLUTNÍ a klouby ramene RELATIVNÍ, v tomto pořadí v action_configs. Chapák se nezavírá uvádí další příčiny.
• Kamera se tiše odpojí uprostřed nahrávání. Epizoda se stále ukládá a klíč videa stále existuje, proto je to tak nepříjemné. Kamera nebyla detekována to pokrývá.

Celý index režimů selhání se nachází na . Pokud si vybíráte mezi modely, spíše než ladíte jeden, a mají čísla benchmarků s připojenými zdroji, a je porovnání, které většina lidí skutečně potřebuje, protože je to volba mezi modelem, který můžete trénovat na kartě pod vaším stolem, a modelem, pro který si musíte pronajmout 80 GB uzel k doladění. Pro pochopení, proč se tyto modely chovají tak, jak se chovají, je a stojí za to si přečíst jako první. A pokud ještě nevlastníte rameno, streamuje fyzické SO-100 bez nutnosti registrace.