Як навчити GR00T N1.7 на власному наборі даних SO-100

NVIDIA постачає приклад тонкого налаштування саме для тієї руки, яку ви, ймовірно, маєте. У репозиторії Isaac-GR00T є папка під назвою demo_data/cube_to_bowl_5: п'ять епізодів, 4148 кадрів зі швидкістю 30 кадрів/с, вже записані як LeRobot v2.1, з відповідною конфігурацією модальності в examples/SO100/. Його meta/info.json повідомляє robot_type: so101_follower, що в LeRobot є тим самим класом конфігурації, що й so100_follower. Це справді корисно, оскільки це означає, що еталонний шлях для GR00T N1.7 на шести-ступенях свободи хобі-руки підтримується людьми, які написали модель. Це не зменшена демонстрація гуманоїда, це та сама рука.

Погана новина полягає у відстані між I recorded 60 episodes та the arm does the task. Існує близько шести місць, де цей конвеєр тихо, а не голосно, виходить з ладу, і чотири з них знаходяться у файлах, які більшість людей ніколи не відкривають: meta/modality.json, конфігурація даних Python, meta/relative_stats.json, та власний рядок версії набору даних. Цей посібник проходить ручний шлях від початку до кінця з реальними командами, а потім показує ту саму роботу як форму на AY-Robots. Усе нижче було перевірено на відповідність головній гілці Isaac-GR00T станом на 20 серпня 2026 року (лінія n1.7-release) та lerobot 0.6.1, опублікованому на PyPI 3 серпня 2026 року. Розробка відбувається швидко, і якщо прапор було перейменовано, ця стаття про це повідомляє.

Що насправді є GR00T N1.7

GR00T N1.7 — це візуально-мовна модель дій з двосистемною архітектурою, описаною в оригінальній статті GR00T N1: візуально-мовний модуль, який зчитує дані з камер та інструкції, і дифузійний трансформер, який перетворює це на блок безперервних моторних команд. N1.7 замінив першу половину. Основа Eagle з N1.6 зникла, замінена на nvidia/Cosmos-Reason2-2B на архітектурі Qwen3-VL, і модель була попередньо навчена на приблизно 20 000 годин егоцентричного людського відео на додаток до даних робота. Власна публікація NVIDIA вказує цифру 20 854 години та повідомляє, що перехід від 1 тис. до 20 тис. годин більш ніж подвоює середнє виконання завдань.

Друга половина також змінилася, і це важливо для вашого запуску. Голова дій зменшилася з 32 дифузійних шарів до 16, передбачуваний блок дій зріс з 16 кроків до 40, а максимальна ширина стану та дії збільшилася з 29 до 132. Ці три числа взяті з журналу змін у README репозиторію; власна публікація NVIDIA все ще описує Систему 1 як 32-шаровий DiT, тому там, де вони розходяться, довіряйте репозиторію, який ви збираєтеся клонувати. Дії за замовчуванням виражаються у відносному просторі кінцевого ефектора, дельтами від поточної пози, а не абсолютними цілями, що дозволяє переносити попередні знання про маніпуляції, отримані з людського відео, у керування роботом. Сама голова є зіставлення потоків дифузійним трансформером, тієї ж родини, що й Pi0.5, але з іншою основою перед ним. Якщо ви все ще використовуєте попереднє покоління, N1.7 проти N1.5 охоплює, чи виправдовує оновлення переробку вашого конвеєра.

Ці останні три рядки пояснюють більшість розчарувань, про які повідомляють люди. Заявлені 27.9 мс — це рушій TensorRT на H100 з однією камерою та чотирма кроками денойзингу. Звичайний PyTorch на тій самій карті становить 85.8 мс, і картка моделі вказує на розрив у 3.08x. Жодне з цих чисел не включає шар обслуговування, другу камеру або мережевий стрибок. 152 мс на крок дії, які AY-Robots вказує для свого розгорнутого GR00T N1.7, — це показник з обслуговуванням у циклі, і до цього додається час на передачу даних через публічний інтернет. Докладніше про це в кінці. Щодо чисел поруч з іншими моделями, GR00T N1.7 проти Pi0.5 та GR00T N1.7 проти SmolVLA порівнюють їх пліч-о-пліч.

Що потрібно для запуску, перш ніж щось вводити

Крок 0: самі епізоди

Все нижчезазначене передбачає, що ви вже записали епізоди. Якщо ні, то це справжній перший крок, і саме він вирішує, наскільки хорошим може бути результат, тому що імітаційне навчання не може відновити інформацію, якої немає в даних. Спочатку відкалібруйте обидві руки, потім керуйте веденим маніпулятором за допомогою ведучого маніпулятора поки lerobot-record записує файли parquet та потоки з камер. Якщо калібрування вимкнено, значення суглобів у вашому наборі даних описують дещо іншого робота, ніж той, який пізніше виконуватиме політику, і жодна кількість тренувань цього не виправить.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

Власна порада LeRobot полягає в тому, щоб записати щонайменше 50 епізодів, приблизно по 10 на кожне місце розташування об'єкта, тримати камери нерухомими та підтримувати послідовну поведінку захоплення. Додавайте варіації пізніше, а не на початку. Варто пам'ятати правило: якщо ви не змогли виконати завдання самостійно, лише за зображеннями з камери, то політика також не зможе. Для налаштування, специфічного для маніпулятора, початок роботи з SO-100 та сторінка LeRobot для SO-100 охоплюють порти, калібрування та індекси камер. На AY-Robots ви також можете зробити це через інтернет з браузера, використовуючи телеоперацію і записувати безпосередньо з сесії.

Крок 1: набір даних має бути LeRobot v2.1

Це найпоширеніша перешкода. Поточна CODEBASE_VERSION LeRobot у гілці main — це v3.0, тому все, що ви записуєте сьогодні за допомогою поточного набору інструментів, виходить як v3.0. Завантажувач GR00T очікує v2. Репозиторій чітко пояснює, чому: багато вихідних наборів даних, таких як DROID, LIBERO та Bridge, опубліковані у v2, і нативна підтримка обох планується, але ще не реалізована. Отже, конвертація лежить на вас, і вона запускається у власному віртуальному середовищі з конкретної причини: scripts/lerobot_conversion має власний pyproject, який вимагає Python 3.10 або 3.11 і прив'язує lerobot до одного git-коміту, тоді як сам Isaac-GR00T вимагає Python 3.12. Встановіть конвертер з кореня репозиторію, і ви отримаєте пакет gr00t замість того, що є помилкою, про яку попереджає його README. Якщо ви новачок у цьому форматі, запис у глосарії набір даних LeRobot пояснює, що насправді знаходиться всередині.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Структура, яку GR00T очікує після конвертації, — це класичний макет v2: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, файли parquet у data/chunk-000/, файли MP4 у videos/chunk-000/observation.images./, і один додатковий файл, якого немає у стандартному LeRobot. Саме в цьому додатковому файлі міститься більшість решти помилок.

Крок 2: modality.json, шість чисел, які вирішують усе

У наборі даних LeRobot стан робота та дія зберігаються як плоскі масиви float32. Для SO-100 обидва мають форму [6]: п'ять суглобів руки та захват. Демонстраційний набір даних називає їх shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, але ці назви знаходяться в info.json і ніщо у файлі parquet не вказує, який індекс є яким. meta/modality.json надає це відображення, і GR00T не буде навчатися без нього. Ось той, що постачається репозиторієм для SO-100, дослівно.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Скопіюйте його у ваш перетворений набір даних за адресою meta/modality.json і перейменуйте ключі відео відповідно до фактичних назв ваших камер. Якщо ви записували однією верхньою камерою під назвою top, тоді original_key є observation.images.top а зручна назва — це те, на що посилатиметься ваша конфігурація даних. Ці дві назви мають збігатися, і жодна з них не перевіряє іншу за вас. Анотація мови гірша, тому що один і той же ключ має з'являтися в трьох місцях.

Крок 3: конфігурація даних, відносна рука та абсолютний захват

Конфігурація модальності є файлом Python, а не JSON, оскільки вона також визначає, як представлена кожна група дій. Це та частина робочого процесу N1.7, яка не існувала в такій самій формі в N1.5, і та частина, яку варто прочитати двічі. Постачана конфігурація SO-100 передбачає п'ять суглобів руки як ВІДНОСНІ дельти від поточного стану, а захоплювач як АБСОЛЮТНУ цільову позицію, оскільки бінарний сигнал відкрито/закрито поводиться краще як ціль, ніж як дельта.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Дві деталі тут коштуватимуть вам дня, якщо ви їх не знаєте. По-перше, action_configs є позиційним: документація вимагає такої ж довжини та такого ж порядку, як modality_keys, і вони прямо говорять про наслідки помилки, яка полягає в тому, що неправильне представлення застосовується мовчазно. Ваш захоплювач навчається як дельта, а ваша рука як абсолютна ціль, і повідомлення про помилку відсутнє. По-друге, register_modality_config стверджує, що тег ще не зареєстрований, тому друга конфігурація NEW_EMBODIMENT в тому ж процесі Python завершується з помилкою Embodiment tag ... already registered. Ви не можете імпортувати дві такі конфігурації в один скрипт. Третє правило застосовується пізніше, під час розгортання: дія delta_indices повинна бути неперервним діапазоном, що починається з нуля. Розріджене вікно, таке як [0, 4, 8], відхиляється, оскільки все подальше індексує передбачений фрагмент лінійно і в іншому випадку виконало б неправильні рядки.

Крок 4: середовище

N1.7 перемістив репозиторій до та Python 3.12. Старий шлях conda плюс pip install -e . все ще існує у згорнутому розділі README, але він попереджає, що залежності GPU, включаючи flash-attn та TensorRT, можуть потребувати ручної установки. Використовуйте uv, якщо у вас немає конкретної причини не робити цього. Щодо flash-attn, одна деталь запобігає плутанині: ви побачите Installing flash-attn при кожному запуску uv run. Це не перезбірка. uv повторно перевіряє закріплений URL-адресою wheel, який вже кешований, і це займає дві-три секунди.

1. 1
   Встановіть git-lfs, потім клонуйте з підмодулями

   git-lfs є обов'язковим, а не опціональним. Без нього файли parquet у demo_data/ завантажуються як заглушки-покажчики, і демонстраційний запуск завершується помилкою на наборі даних, який виглядає присутнім у списку файлів.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Встановіть uv та синхронізуйте середовище

   Установка за замовчуванням завантажує залежності GPU, включаючи flash-attn та TensorRT. На чистому образі A100 або H100 це найдовший окремий крок, тому виконайте його, перш ніж звертати увагу на щось інше.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Автентифікація проти Hugging Face

   Зробіть це перед першим запуском навчання, а не після того, як воно завершиться помилкою через вісім хвилин.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Перевірка працездатності на наданих демонстраційних даних SO-100

   Перш ніж торкатися власного запису, запустіть 2000 кроків на demo_data/cube_to_bowl_5. Це п'ять епізодів, він швидко завершується і доводить працездатність середовища, а не ваших даних. Якщо цей запуск завершиться помилкою, ніщо, що ви зробите зі своїм набором даних, не допоможе.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Крок 5: команда тонкого налаштування та її фактичні значення за замовчуванням

Замініть демонстраційний набір даних на свій і додайте потрібні параметри. Нижче наведено повну форму, яку репозиторій використовує у власному посібнику з нового втілення, включаючи прапорці для аугментації та контрольних точок, які відсутні в короткому прикладі README. Це у вузькому сенсі: мовний каркас і візуальний кодер залишаються замороженими, а тренуються лише проектор і дифузійна головка дії.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Цей останній рядок — не помилка. launch_finetune.py — це CLI tyro, згенерований з dataclass, і цей dataclass не має поля seed. У README окремо зазначено 5-6 відсотків відхилення між запусками, спричинене недетермінованою аугментацією зображень. Два запуски з ідентичними прапорцями не дадуть ідентичних контрольних точок, що має велике значення, коли ви намагаєтеся вирішити, чи допомогла зміна гіперпараметра, чи вам просто пощастило. Для порівняння, власний тренажер lerobot за замовчуванням використовує seed 1000, а рецепт LeRobot GR00T явно передає --seed=42 явно.

Скільки коштує запуск на 20000 кроків

GR00T N1.7 потрібна карта на 80 ГБ, тому питання вартості має вузьку відповідь. На AY-Robots тренажер groot1.7 працює на рівні A100 80 ГБ або H100 80 ГБ, де запуск займає від 3 до 6 годин за ціною від 1.20 до 2.00 USD за годину на спотовому ринку. Це приблизно від 4 до 12 USD за стандартне завдання на 20000 кроків. Те саме завдання на SmolVLA або ACT виконується на карті 24 ГБ за 0.30 до 0.60 USD за годину та 1 до 3 USD за запуск. Це справжній компроміс: GR00T коштує приблизно в чотири рази дорожче за спробу, і ви не можете запустити його на 4090 під своїм столом.

Мінімум у 50 епізодів — це мінімум, а не ціль. Власний FAQ NVIDIA є більш вимогливим: приблизно 100 траєкторій для простого захоплення та розміщення у фіксованому місці, 500 або більше для складних або багатоетапних сцен, і від 100 до 500 для точної маніпуляції. Якщо у вас є 20 епізодів, проведіть день за записом, а не вечір за налаштуванням. Посібник зі збору даних охоплює те, що відрізняє корисний епізод від марного, запишіть свій перший набір даних — це коротка версія, а збір даних SO-100 — це версія для конкретного маніпулятора.

Крок 6: оцінка у відкритому циклі, перш ніж торкатися маніпулятора

Не ставте свіжий контрольний пункт на фізичну руку, щоб дізнатися, чи спрацювало навчання. Спочатку запустіть оцінку у відкритому циклі. Вона відтворює записаний епізод, запитує у моделі дії на кожному кроці та будує графік прогнозування порівняно з істинними даними з MSE та MAE. Це нічого не коштує і виявляє помилки відображення з кроків 2 і 3.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Репозиторій свідомо відмовляється публікувати цільовий MSE для власних даних, і це правильне рішення: це число залежить від ваших одиниць дії, вашого завдання та розміру вашого набору даних, тому поріг, скопійований з чужої руки, нічого не означає. Значущим є тренд. Ось еталонний запуск, який репозиторій документує на одному H100 з демонстраційним набором даних з п'яти епізодів та 2000 кроками.

Форма є сигналом, а не абсолютними значеннями. Помилка повинна стабільно зменшуватися, коли накопичуються. Усереднений за всіма п'ятьма епізодами навчання, а не лише за траєкторією 0, фінальний контрольний пункт репозиторію набрав приблизно 7.5 MSE та 1.5 MAE, тому навіть еталонний запуск інтерпретується по-різному залежно від того, які епізоди ви усереднюєте. Запишіть свій власний базовий показник за допомогою незміненої демонстраційної команди, перш ніж змінювати щось у своїх даних: якщо ви не можете відтворити відомий успішний запуск, ви не зможете відрізнити помилку налаштування від проблеми з даними. Репозиторій також зіставляє поширені симптоми з причинами, і кожен з них є операційним, а не помилкою моделі.

Інший шлях: lerobot-train замість Isaac-GR00T

Поточний реліз LeRobot, 0.6.1 на PyPI з 3 серпня 2026 року, пропонує другий і досить відмінний спосіб доналаштування тих самих базових ваг. LeRobot представляє GR00T N1.7 як тип політики та навчає його через власну lerobot-train точку входу. Тут важливі дві речі. CLI LeRobot — це набір консольних скриптів, тому все, що ви читаєте, де сказано python lerobot/scripts/train.py є застарілим і не працюватиме. А LeRobot повністю видалив підтримку GR00T N1.5, відхиляючи контрольні точки та конфігурації N1.5 з приміткою про міграцію, тому якщо вам потрібен N1.5 через LeRobot, вам доведеться закріпити lerobot==0.5.1, останній реліз, який його підтримує, опублікований 7 квітня 2026 року.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Два способи отримати одну й ту саму контрольну точку

Повернення контрольної точки на маніпулятор

Isaac-GR00T використовує розділення сервер-клієнт через ZMQ. Політика виконується на GPU, а тонкий клієнт на машині робота надсилає спостереження та отримує фрагменти дій. Приклад SO-100 є достатньо повним для копіювання: запустіть run_gr00t_server.py з вашою контрольною точкою та --embodiment-tag NEW_EMBODIMENT, потім запустіть eval_so100.py на стороні робота з послідовним портом, ідентифікатором робота, індексами камери та мовною інструкцією. Назви камер у цій команді повинні відповідати дружнім назвам з вашого modality.json, а не номерам пристроїв ОС.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Тепер чесна частина про те, де виконується політика, тому що навчання та обслуговування мають різні історії з обладнанням. Доналаштування вимагає 40 GB або більше. Висновок – ні: README вказує 16 GB або більше і прямо називає RTX 4090, тому карта, яку ви вже маєте, може обслуговувати контрольну точку, яку вона ніколи не могла б створити. Що вирішує, чи буде політика чутливою, це не VRAM, а те, де знаходиться сервер. На AY-Robots GR00T N1.7 є лише хмарним, тому цикл керування оплачує зворотний шлях через публічний інтернет на додаток до 152 ms за крок дії, і лише SmolVLA та ACT також працюють локально. Для повільного вибору та розміщення віддалений под є прийнятним. Для чогось реактивного – ні: політика стає нерішучою таким чином, що виглядає точно як збій навчання, але таким не є. ACT з 20 ms за крок дії є моделлю, яка толерує найщільніший цикл, SmolVLA знаходиться на 245 ms, і жодна кількість налаштування затримки не поверне зворотний шлях, який вже був витрачений. Запустіть свою першу політику детально розглядає сторону обслуговування.

Що насправді йде не так

• GatedRepoError під час першого запуску. Вам не надано доступ до nvidia/Cosmos-Reason2-2B, або ви не пройшли автентифікацію. Це відбувається після того, як тактова частота GPU вже почала працювати.
• Набір даних відхилено під час завантаження. Майже завжди це набір даних v3.0. Перетворіть його на попередню версію. Дивіться набір даних відхилено як v3.
• IndexError щодо невідповідності булевих розмірностей. Ви змінили delta_indices і не відновили статистику.
• Недостатньо пам'яті на пакеті 32. Зменшіть --global-batch-size та збільшіть --gradient-accumulation-steps, або зменшіть --num-shards-per-epoch, що явно пропонується в конфігурації, коли VRAM обмежена. Дивіться недостатньо пам'яті під час навчання.
• Втрати падають, політика нічого не робить. За замовчуванням немає розділення на валідаційний набір, тому чиста крива навчання мало що доводить. Ця сторінка охоплює діагностику.
• Працює у вашій конфігурації і ніде більше. Очікувано для невеликого набору даних, знятого за одних умов освітлення. NVIDIA рекомендує аугментацію кольорового джиттера плюс від 20 до 50 епізодів за різних умов освітлення. Більше тут.
• Захват ніколи не закривається належним чином. Перевірте, що дія захвату є ABSOLUTE, а суглоби руки RELATIVE, саме в такому порядку в action_configs. Захват не закривається перераховує інші причини.
• Камера мовчки вимикається під час запису. Епізод все ще зберігається, і ключ відео все ще існує, ось чому це неприємно. Камера не виявлена охоплює це.

Повний покажчик режимів відмов знаходиться на . Якщо ви вибираєте між моделями, а не налагоджуєте одну, то та мають показники бенчмарків із зазначеними джерелами, а — це порівняння, яке насправді потрібне більшості людей, оскільки це вибір між моделлю, яку можна навчати на карті під вашим столом, і тією, для тонкого налаштування якої потрібно орендувати вузол на 80 ГБ. Щоб зрозуміти, чому ці моделі поводяться саме так, варто спочатку прочитати та . А якщо у вас ще немає маніпулятора, то транслює фізичний SO-100 без реєстрації.