Извршете GR00T заклучување без локална GPU

Raspberry Pi е доволен за управување на преку сериска магистрала и за преземање рамки од две USB камери. Не е доволен за извршување на модел со три милијарди параметри : README-то на NVIDIA ја става инференцијата на GR00T N1.7 на едно GPU со 16 GB или повеќе VRAM. За да видите што прави вашата фино подесена контролна точка на раката без да купите картичка, ставете ја политиката на изнајмен облак GPU, задржете ја роботската јамка на машината со USB портите и испраќајте набљудувања и делови од акции преку мрежата.

Работи, не е бесплатно, а цената не е рамномерно распоредена низ задачите. Подолу: сопствениот сервер за политики на NVIDIA, асинхрониот стек на lerobot, аритметиката што однапред кажува дали вашиот uplink е доволно брз, и рутата на платформата. Сето тоа проверено наспроти главната гранка на Isaac-GR00T (N1.7 GA) и lerobot 0.6.1 на 23 август 2026 година.

Зошто политиката нема да се вклопи на машината на роботот

Две од петте политики што AY-Robots може да ги тренира работат на работна станица, три не. колоната подолу е по чекор на акција, и тоа е бројот што се натпреварува со вашето мрежно повратно патување.

Прочитајте го тоа како одлука, а не како тривијалност. со 20 ms по чекор работи на роботската машина и никогаш повеќе не размислувате за тоа. со 485 ms поминал третина од секундата пред пакет да ја напушти вашата зграда. и ја додаваат страната на точноста.

Двата клиент-сервер стекови кои веќе постојат

Isaac-GR00T испорачува ZeroMQ сервер за барање-одговор; lerobot испорачува gRPC сервер изграден околу асинхрона инференција. И двете прифаќаат GR00T контролна точка. Поддржаната листа на политики на lerobot во async_inference/constants.py е act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 и groot; неговата листа на роботи е so100_follower, so101_follower, bi_so_follower и omx_follower.

Редот за серијализација е поважен отколку што изгледа. MsgSerializer на GR00T одбива ndarray податоци со тип на објект во двете насоки, бидејќи msgpack_numpy инаку би ги предал на pickle. lerobot наместо тоа користи pickle: policy_server.py повикува pickle.loads на податоците од барањето, robot_client.py ги пиклира набљудувањата што ги испраќа. Одбранливо на доверлива LAN мрежа, неодбранливо откако портот е достапен од интернет.

Рута А: Сопствен GR00T сервер за политики на NVIDIA

Ова е патеката што NVIDIA ја документира за хардверот SO-100 и SO-101, и онаа што треба да се користи ако вашата контролна точка произлезе од examples/finetune.sh со --embodiment-tag NEW_EMBODIMENT. Чекорите додаваат она што недостасува во оригиналниот README: како да се донесе портот до роботот без да се изложи на сите други.

1. 1
   Инсталирајте го GR00T на изнајмениот GPU сервер

   Потребни се подмодули, а git-lfs мора да постои пред клонирањето или parquet датотеките во demo_data ќе пристигнат како покажувачи. flash-attn и TensorRT доаѓаат со стандардната инсталација. Замката на свежа слика на под: torchcodec 0.8.0 е единствениот поддржан видео бекенд и вчитува само FFmpeg 4 до 7. Ubuntu 25.10 и 26.04 испорачуваат FFmpeg 8, па GR00T не успева со Could not load libtorchcodec. Инсталирајте FFmpeg под верзија 8 и ставете ги неговите библиотеки на LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Автентицирајте се против затворената основа

   Секоја GR00T N1.7 контролна точка, вклучувајќи ја и вашата сопствена фино подесување, го вчитува затворениот nvidia/Cosmos-Reason2-2B при првата употреба. Побарајте пристап на страницата на моделот и најавете се на поодот, или вчитувањето ќе пропадне со GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Стартувајте го серверот за политики

   Насочете го --model-path кон вашиот директориум со контролни точки; на таа патека серверот го игнорира --modality-config-path, кој се чита само на патеката за повторување. Изоставете го --model-path и наместо тоа предадете --dataset-path плус --execution-horizon за ReplayPolicy што ги повторува снимените дејства, најевтиниот начин да се докаже дека поврзувањето работи.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Тунелирајте го портот 5555 до машината на роботот

   Поврзете се со loopback, како погоре, и пренесете го портот преку SSH или мрежа во стилот на WireGuard. Тоа обезбедува енкрипција и автентикација што ZeroMQ сокетот не ги нуди, за околу милисекунда.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Стартувајте го роботскиот клиент до сервомоторите

   Клиентот има потреба од сопствена uv околина: тој ги сака драјверите за робот на lerobot, а не стекот за тренирање. eval_so100.py ги импортира so100_follower, so101_follower и koch_follower, па предадете го --robot.type што одговара на вашата рака (оригиналниот README користи so101_follower). Клучевите на камерата мора да се совпаѓаат со тренирањето: адаптерот чита точно front и wrist, а нивното менување ѝ покажува на политиката погрешен приказ.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Рута Б: асинхроно заклучување со lerobot

lerobot решава поинаков проблем. Наместо да го блокира роботот додека моделот размислува, клиентот продолжува да чекори низ редот што веќе го има додека серверот го пресметува следниот дел. Ова е поделба на акции проширена, асинхрониот стек воведен со SmolVLA. Работи и со GR00T контролна точка.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Серверот започнува празен: не знае која политика ја опслужува додека првото ракување на клиентот не му каже, што е погодно на изнајмен под. Двете поставки кои одлучуваат дали раката се движи непречено се actions_per_chunk и chunk_size_threshold (документацијата на lerobot ја нарекува втората g, по трудот SmolVLA), а документираните вредности и испорачаните вредности не се совпаѓаат.

Аритметиката која одлучува дали вашата врска е доволно брза

Луѓето го прескокнуваат ова и потоа трошат цел ден на политика која замрзнува среде движење. Потребни се две минути и речиси секогаш е одлучувачко.

Коментираниот речник за набљудување во eval_so100.py на NVIDIA кажува што се пренесува: две низи со форма (480, 640, 3) во uint8, шест зглобни флоати, низа за јазик. Тоа е 921.600 бајти по рамка, 1.843.200 бајти за две камери, околу 14.7 Mbit, и ниту еден стек не го компресира со JPEG. Делот што се враќа е неколку десетици чекори од 6 флоати. Вашиот аплоуд одлучува за сè, а не вашиот даунлоуд.

Буџетот во кој треба да се вклопите

Клиентот GR00T SO-100 е синхрон: тој повикува policy.get_action(obs), извршувајќи ги првите action_horizon чекори од парчето со 30 FPS, а потоа повторно повикува. Големината на парчето и хоризонтот се различни броеви: упатството за распоредување на NVIDIA препорачува големина на парче акција од 16, најмалку 32 кога се комбинира со парчиња во реално време, додека eval_so100.py испорачува хоризонт на извршување од 8. Осум чекори со 30 FPS се 267 ms движење по повик, и сè друго мора да се вклопи во тоа.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Подигнувањето на хоризонтот е грубо решение и не е бесплатно: раката дејствува врз набљудување кое сега е старо. Принципиелното решение е парчиња во реално време (real-time chunking), кое го пресметува следното парче додека тековното работи, ги замрзнува дејствата гарантирани за извршување и го дополнува остатокот; трудот за RTC го пријавува како робусно на доцнењето на заклучувањето без повторна обука. Проверете каде стои тоа прво. NVIDIA го означува RTC како експериментален, примитив на модел на ниско ниво достапен преку action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), не поврзан со Gr00tPolicy или патеката сервер-клиент, каде што options е неискористен, без тестови и без пример. Преку сервер за политики добивате асинхроно извршување, а не RTC.

Измерете го пред да му верувате

Секој број погоре е предвидување. Четири команди го претвораат во мерење, вредно за извршување пред да посветите час на под на задача која никогаш немало да функционира.

1. 1
   Добијте го суровото повратно патување

   Против поодот, а не CDN. Внимавајте на отстапувањето исто толку внимателно како и на просекот: треперењето предизвикува заглавување на раката, а не просечна латентност.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Измерете ја врската што ја имате, а не онаа за која плаќате

   Домашната брзина на прикачување обично е дел од брзината на преземање, и тоа е бројот во табелата за пропусен опсег погоре.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Прочитајте го сопствениот дневник за латентност на клиентот

   Клиентот на роботот lerobot ја евидентира латентноста од сервер до клиент и времето на десеријализација за секој дел. На рута Б не ви е потребна надворешна алатка.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Гледајте како се празни редот за акции

   Предадете --debug_visualize_queue_size=True и клиентот ќе ја исцрта големината на редот за време на извршувањето. Ако постојано достигнува нула, сте го надминале буџетот: намалете го fps, зголемете го actions_per_chunk, или зголемете го chunk_size_threshold за да се испраќаат набљудувања почесто.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

За што е всушност добра далечинската инференција

Ако далечинско извршување заглавува на истата точка во секоја епизода, мрежата веројатно не е причината. Политика која се двоуми на истиот агол на зглобот секој пат е обично проблем со податоците; видете ги страниците за режими на откажување, особено политика која работи само во едно поставување и загубата паѓа, но политиката не прави ништо.

Правењето сами наспроти правењето на AY-Robots

Колку чини сесијата за далечинско заклучување

Важни се два броја: часовната стапка на картичката и колку долго ја оставате да работи. Првиот е објавен; вториот ги изненадува луѓето.

Овие цени беа прочитани од страницата за цени на Runpod на 23 август 2026 година, а пазарите на самото место се менуваат. AY-Robots наместо тоа нуди цел циклус: 3 до 6 часа по 1.20 до 2.00 УСД на час на нивото A100 или H100, околу 4 до 12 УСД за циклус на GR00T или Pi0.5; 2 до 5 часа по 0.30 до 0.60 УСД на час на нивото од 24 GB, 1 до 3 УСД за SmolVLA или ACT. Сесијата за заклучување е поисплатлива од циклусот за тренирање само ако ја запрете, за што служи надзорникот за мирување. Видете ги документите за наплата и страницата за цени.

Ако претпочитате мрежата да не е вклучена во јамката

Далечното заклучување решава хардверски проблем и создава проблем со доцнењето. Понекогаш подобро решение е политика што одговара на хардверот што го имате.

• ACT, приближно 80 M параметри и 20 ms по чекор на акција, минимум 50 епизоди, која било картичка од 24 GB. На повторувачка поставка за една задача, честопати надминува далечински модел од 3 B, бидејќи никогаш не чека пакет.
• SmolVLA, приближно 450 M параметри и 245 ms по чекор на акција, минимум 30 епизоди. Ги задржува јазичните услови што му недостасуваат на ACT, а документите на lerobot го проценуваат на околу 2 GB за време на заклучувањето наспроти приближно 14 GB за PI0.
• ACT vs GR00T N1.7 за половина од точноста на компромисот.

Постои и среден пат: тренирајте во облакот, евалуирајте локално. Фино подесување потребна е картичка од 80 GB и не се грижи за доцнењето, така што тренирање GR00T N1.7 на SO-100 далечински е неспорно. Само јамката за евалуација има ограничување во реално време; документите за тренирање и матрицата модел-и-рака го покриваат тој дел.

Често поставувани прашања

Кратката верзија

Оддалечено заклучување за 3 B политика е решен инженерски проблем со нерешен физички проблем. Инженерството се состои од две команди и SSH тунел. Физиката е дека набљудување од 1.8 MB мора да стигне до графички процесор во друга земја и да се врати пред раката да остане без акции. Направете ја аритметиката пред да изнајмите нешто, изберете задача што толерира застарено набљудување и подигнете го хоризонтот на извршување наместо да се надевате дека врската ќе се подобри.

Ако сè уште немате снимено збир на податоци, и доаѓаат прво, а објаснува што запишува снимачот. Позадината е во и ; ги поврзува секој број на бенчмарк со извор.