Запуск висновку GR00T без локального графічного процесора

Raspberry Pi достатньо, щоб керувати через послідовну шину та отримувати кадри з двох USB-камер. Цього недостатньо для запуску тримільярдного параметра : README від NVIDIA вказує, що інференс GR00T N1.7 вимагає однієї GPU з 16 ГБ або більше VRAM. Щоб побачити, що робить ваш доналаштований чекпоінт на руці без покупки карти, розмістіть політику на орендованому хмарному GPU, залиште робочий цикл робота на машині з USB-портами та надсилайте спостереження та фрагменти дій через мережу.

Це працює, це не безкоштовно, і ціна нерівномірно розподілена між завданнями. Нижче: власний сервер політик NVIDIA, асинхронний стек lerobot, арифметика, яка заздалегідь визначає, чи достатньо швидкий ваш вихідний канал, і маршрут платформи. Усе це перевірено на основній гілці Isaac-GR00T (N1.7 GA) та lerobot 0.6.1 станом на 23 серпня 2026 року.

Чому політика не поміститься на машині робота

Дві з п'яти політик AY-Robots, які можна навчити, працюють на карті робочої станції, три — ні. стовпець нижче вказано для кожного кроку дії, і це число, яке конкурує з часом оберту вашої мережі.

Сприймайте це як рішення, а не дрібницю. з 20 мс на крок працює на роботі, і ви більше ніколи про це не думаєте. з 485 мс витрачає третину секунди, перш ніж пакет покине вашу будівлю. та додають сторону точності.

Два клієнт-серверні стеки, які вже існують

Isaac-GR00T постачається з сервером запит-відповідь ZeroMQ; lerobot постачається з сервером gRPC, побудованим навколо асинхронного висновку. Обидва приймають GR00T контрольна точка. Список підтримуваних політик lerobot у async_inference/constants.py є act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 та groot; його список роботів: so100_follower, so101_follower, bi_so_follower та omx_follower.

Рядок серіалізації має більше значення, ніж здається. GR00T's MsgSerializer відмовляється від корисних навантажень ndarray типу object-dtype в обох напрямках, оскільки msgpack_numpy інакше передав би їх до pickle. lerobot натомість використовує pickle: policy_server.py викликає pickle.loads для даних запиту, robot_client.py використовує pickle для спостереження, яке він надсилає. Це прийнятно в довіреній локальній мережі, але неприйнятно, якщо порт стає доступним з інтернету.

Маршрут A: Власний сервер політик GR00T від NVIDIA

Це шлях, який NVIDIA документує для обладнання SO-100 та SO-101, і той, який слід використовувати, якщо ваш контрольний пункт вийшов з examples/finetune.sh з --embodiment-tag NEW_EMBODIMENT. Ці кроки додають те, що відсутнє у вихідному README: як отримати порт до робота, не відкриваючи його для всіх інших.

1. 1
   Встановіть GR00T на орендованій GPU-машині

   Підмодулі є обов'язковими, і git-lfs повинен існувати до клонування, інакше файли parquet у demo_data прибудуть як вказівники. flash-attn та TensorRT постачаються зі стандартною інсталяцією. Пастка на свіжому образі пода: torchcodec 0.8.0 є єдиним підтримуваним відео-бек-ендом і завантажує лише FFmpeg 4 до 7. Ubuntu 25.10 та 26.04 постачаються з FFmpeg 8, тому GR00T не працює з Could not load libtorchcodec. Встановіть FFmpeg версії нижче 8 і додайте його бібліотеки до LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Аутентифікація проти закритої базової моделі

   Кожен контрольний пункт GR00T N1.7, включаючи ваш власний доналаштований, завантажує закритий nvidia/Cosmos-Reason2-2B при першому використанні. Запитайте доступ на сторінці моделі та увійдіть на под, інакше завантаження завершиться помилкою GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Запустіть сервер політик

   Вкажіть --model-path на вашу директорію контрольних точок; на цьому шляху сервер ігнорує --modality-config-path, який читається лише на шляху відтворення. Пропустіть --model-path і замість цього передайте --dataset-path плюс --execution-horizon для ReplayPolicy, яка відтворює записані дії, що є найдешевшим способом перевірити працездатність підключення.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Тунелюйте порт 5555 до машини робота

   Прив'яжіться до loopback, як зазначено вище, і перенесіть порт через SSH або мережу типу WireGuard. Це забезпечує шифрування та автентифікацію, яких не має сокет ZeroMQ, приблизно за мілісекунду.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Запустіть клієнт робота поруч із сервоприводами

   Клієнту потрібне власне середовище uv: він хоче драйвери робота lerobot, а не стек для навчання. eval_so100.py імпортує so100_follower, so101_follower та koch_follower, тому передайте --robot.type, що відповідає вашій руці (вихідний README використовує so101_follower). Ключі камер повинні відповідати навчанню: адаптер читає саме front та wrist, і їхня заміна показує політиці неправильний вигляд.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Маршрут B: асинхронний висновок lerobot

lerobot вирішує іншу проблему. Замість того, щоб блокувати робота, поки модель обмірковує, клієнт продовжує обробляти чергу, яку він вже має, поки сервер обчислює наступний фрагмент. Це розбиття дій на фрагменти, розвинене далі, асинхронний стек, представлений зі SmolVLA. Він також працює з контрольними точками GR00T.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Сервер запускається порожнім: він не знає, яку політику він обслуговує, доки перший рукостискання клієнта не повідомить йому про це, що зручно на орендованому поді. Дві ручки, які вирішують, чи плавно рухається рука, це actions_per_chunk та chunk_size_threshold (документація lerobot називає другу g, на честь статті SmolVLA), і задокументовані значення та фактичні значення не збігаються.

Арифметика, яка вирішує, чи достатньо швидке ваше з'єднання

Люди пропускають це, а потім витрачають день на . Це займає дві хвилини і майже завжди є вирішальним.

Закоментований словник спостережень у eval_so100.py від NVIDIA показує, що передається по дроту: два масиви форми (480, 640, 3) у форматі uint8, шість чисел з плаваючою комою для суглобів, рядок мови. Це 921 600 байт на кадр, 1 843 200 байт для двох камер, близько 14.7 Мбіт, і жоден стек не стискає це за допомогою JPEG. Блок, що повертається, складається з кількох десятків кроків по 6 чисел з плаваючою комою. Ваша швидкість вивантаження вирішує все, а не швидкість завантаження.

Бюджет, у який потрібно вписатися

Клієнт GR00T SO-100 є синхронним: він викликає policy.get_action(obs), виконує перші action_horizon кроків чанку зі швидкістю 30 FPS, а потім викликає знову. Розмір чанку та горизонт — це різні числа: посібник з розгортання NVIDIA рекомендує розмір чанку дії 16, щонайменше 32 при поєднанні з чанкуванням у реальному часі, тоді як eval_so100.py постачається з горизонтом виконання 8. Вісім кроків при 30 FPS — це 267 мс руху за виклик, і все інше має вписатися в цей час.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Збільшення горизонту — це грубе і не безкоштовне рішення: рука діє на основі спостереження, яке вже застаріло. Принципове рішення — це чанкування в реальному часі (RTC), яке обчислює наступний чанк, поки виконується поточний, заморожує дії, які гарантовано будуть виконані, і доповнює решту; стаття про RTC повідомляє, що воно стійке до затримки висновку без перенавчання. Спочатку перевірте його статус. NVIDIA позначає RTC як експериментальний, низькорівневий примітив моделі, доступний через action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), не інтегрований у Gr00tPolicy або шлях сервер-клієнт, де options не використовується, без тестів та прикладів. Через сервер політик ви отримуєте асинхронне виконання, а не RTC.

Виміряйте, перш ніж довіряти

Кожне число вище є прогнозом. Чотири команди перетворюють його на вимірювання, яке варто виконати, перш ніж виділяти годину роботи пода на завдання, яке ніколи не спрацювало б.

1. 1
   Отримайте необроблену затримку туди й назад

   Проти пода, а не CDN. Слідкуйте за відхиленням так само уважно, як і за середнім значенням: тремтіння змушує руку заїкатися, а не середня затримка.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Виміряйте вихідний канал, який у вас є, а не той, за який ви платите

   Швидкість завантаження в житлових мережах зазвичай становить частку від швидкості завантаження, і це число в таблиці пропускної здатності вище.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Прочитайте власний журнал затримки клієнта

   Клієнт робота lerobot реєструє затримку від сервера до клієнта та час десеріалізації для кожного фрагмента. На маршруті B вам не потрібні зовнішні інструменти.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Спостерігайте за спорожненням черги дій

   Передайте --debug_visualize_queue_size=True, і клієнт відобразить розмір черги під час виконання. Якщо він неодноразово досягає нуля, у вас закінчився бюджет: зменшіть fps, збільште actions_per_chunk або збільште chunk_size_threshold, щоб спостереження надсилалися частіше.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Для чого насправді корисний віддалений висновок

Якщо віддалений запуск заїкається в одній і тій же точці кожного епізоду, мережа, ймовірно, не є причиною. Політика, яка щоразу вагається на одному й тому ж куті суглоба, зазвичай є проблемою даних; дивіться сторінки режимів відмов, зокрема політику, яка працює лише в одній конфігурації та втрати падають, але політика нічого не робить.

Робити це самостійно проти робити це на AY-Robots

Скільки коштує віддалена сесія інференсу

Важливі два показники: погодинна ставка картки та час, протягом якого ви її використовуєте. Перший опублікований; другий дивує людей.

Ці тарифи були взяті зі сторінки цін Runpod 23 серпня 2026 року, і спотові ринки змінюються. AY-Robots натомість пропонує повний запуск: від 3 до 6 годин за 1.20 до 2.00 USD за годину на рівні A100 або H100, приблизно від 4 до 12 USD за запуск GR00T або Pi0.5; від 2 до 5 годин за 0.30 до 0.60 USD за годину на рівні 24 ГБ, від 1 до 3 USD для SmolVLA або ACT. Сесія висновків перевершує тренувальний запуск за вартістю лише тоді, якщо ви її зупините, для чого й призначений сторожовий таймер простою. Дивіться документацію з виставлення рахунків та сторінку цін.

Якщо ви не бажаєте, щоб мережа була в циклі

Віддалений висновок вирішує проблему з обладнанням і створює проблему затримки. Іноді кращою відповіддю є політика, яка відповідає наявному у вас обладнанню.

• ACT, приблизно 80 млн параметрів і 20 мс на крок дії, мінімум 50 епізодів, будь-яка карта на 24 ГБ. У повторюваній однозадачній конфігурації він часто перевершує віддалену модель 3 B, оскільки ніколи не чекає на пакет.
• SmolVLA, приблизно 450 млн параметрів і 245 мс на крок дії, мінімум 30 епізодів. Він зберігає мовне кондиціонування, якого бракує ACT, а документація lerobot оцінює його приблизно в 2 ГБ під час висновку проти приблизно 14 ГБ для PI0.
• ACT vs GR00T N1.7 для половини компромісу, що стосується точності.

Існує також проміжний шлях: тренування в хмарі, оцінка локально. Доопрацювання потребує карти на 80 ГБ і не переймається затримкою, тому тренування GR00T N1.7 на SO-100 віддалено є безспірним. Лише цикл оцінки має обмеження в реальному часі; документація з тренування та матриця моделей та маніпуляторів охоплюють цю половину.

Часті запитання

Коротка версія

Віддалений висновок для 3 B політика є вирішеною інженерною проблемою з невирішеною фізичною проблемою. Інженерія — це дві команди та SSH-тунель. Фізика полягає в тому, що спостереження розміром 1.8 МБ має досягти графічного процесора в іншій країні та повернутися до того, як рука вичерпає дії. Зробіть розрахунки, перш ніж щось орендувати, оберіть завдання, яке толерує застаріле спостереження, і збільште горизонт виконання, замість того, щоб сподіватися на покращення зв'язку.

Якщо ви ще не записали набір даних, запишіть свій перший набір даних та посібник з налаштування SO-100 є першочерговими, а формат набору даних LeRobot запис пояснює, що записує реєстратор. Довідкова інформація міститься в моделях "зір-мова-дія" та роботі з політиками зіставлення потоків; запис арени посилається на джерело для кожного показника бенчмарку.