Spustite inferenciu GR00T bez lokálneho GPU

Raspberry Pi stačí na ovládanie cez sériovú zbernicu a sťahovanie snímok z dvoch USB kamier. Nestačí však na spustenie trojmiliardového parametrového : Súbor README od spoločnosti NVIDIA uvádza inferenciu GR00T N1.7 na jednej GPU s 16 GB alebo viac VRAM. Ak chcete vidieť, čo robí váš jemne vyladený checkpoint na ramene bez zakúpenia karty, umiestnite politiku na prenajatú cloudovú GPU, udržujte robotickú slučku na stroji s USB portami a posielajte pozorovania a akčné bloky cez sieť.

Funguje to, nie je to zadarmo a cena nie je rovnomerne rozložená medzi úlohy. Nižšie: vlastný server politík spoločnosti NVIDIA, asynchrónny zásobník lerobot, aritmetika, ktorá vopred povie, či je váš uplink dostatočne rýchly, a trasa platformy. Všetko overené oproti hlavnej vetve Isaac-GR00T (N1.7 GA) a lerobot 0.6.1 k 23. augustu 2026.

Prečo sa politika nezmestí na stroj robota

Dve z piatich politík, ktoré AY-Robots dokáže trénovať, bežia na karte pracovnej stanice, tri nie. Stĺpec nižšie je na krok akcie, a to je číslo, ktoré konkuruje vášmu sieťovému round tripu.

Čítajte to ako rozhodnutie, nie ako zaujímavosť. pri 20 ms na krok beží na robotickom stroji a už na to nikdy nemusíte myslieť. pri 485 ms strávil tretinu sekundy, kým balík opustí vašu budovu. a pridávajú stranu presnosti.

Dva existujúce klientsko-serverové zásobníky

Isaac-GR00T dodáva ZeroMQ request-reply server; lerobot dodáva gRPC server postavený na asynchrónnej inferencii. Oba akceptujú GR00T kontrolný bod. Zoznam podporovaných politík lerobot v async_inference/constants.py je act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 a groot; jeho zoznam robotov je so100_follower, so101_follower, bi_so_follower a omx_follower.

Riadok serializácie je dôležitejší, než sa zdá. GR00T-ov MsgSerializer odmieta ndarray dátové štruktúry typu object-dtype v oboch smeroch, pretože msgpack_numpy by ich inak odovzdal pickle. lerobot namiesto toho používa pickle: policy_server.py volá pickle.loads na dáta požiadavky, robot_client.py serializuje pozorovanie, ktoré posiela. Obrániteľné v dôveryhodnej LAN sieti, neobrániteľné, akonáhle je port dostupný z internetu.

Trasa A: Vlastný GR00T policy server od NVIDIA

Toto je cesta, ktorú NVIDIA dokumentuje pre hardvér SO-100 a SO-101, a tá, ktorú treba použiť, ak váš checkpoint pochádza z examples/finetune.sh s --embodiment-tag NEW_EMBODIMENT. Kroky dopĺňajú to, čo pôvodný README vynecháva: ako dostať port k robotovi bez toho, aby bol vystavený všetkým ostatným.

1. 1
   Nainštalujte GR00T na prenajatý GPU box

   Submoduly sú povinné a git-lfs musí existovať pred klonovaním, inak sú parquet súbory v demo_data doručené ako ukazovatele. flash-attn a TensorRT sú súčasťou predvolenej inštalácie. Úskalie pri čerstvom obraze podu: torchcodec 0.8.0 je jediný podporovaný video backend a načíta iba FFmpeg 4 až 7. Ubuntu 25.10 a 26.04 dodávajú FFmpeg 8, takže GR00T zlyhá s Could not load libtorchcodec. Nainštalujte FFmpeg verzie nižšej ako 8 a umiestnite jeho knižnice do LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Autentifikujte sa voči gated backbone

   Každý GR00T N1.7 checkpoint, vrátane vášho vlastného fine-tune, načíta pri prvom použití gated nvidia/Cosmos-Reason2-2B. Požiadajte o prístup na stránke modelu a prihláste sa na pod, inak načítanie zlyhá s GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Spustite policy server

   Nasmerujte --model-path na váš adresár checkpointu; na tejto ceste server ignoruje --modality-config-path, ktorý sa číta iba na ceste pre prehrávanie. Vyhnite sa --model-path a namiesto toho odovzdajte --dataset-path plus --execution-horizon pre ReplayPolicy, ktorá prehráva zaznamenané akcie, čo je najlacnejší spôsob, ako dokázať, že zapojenie funguje.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tunelujte port 5555 k robotickému stroju

   Naviažte sa na loopback, ako je uvedené vyššie, a preneste port cez SSH alebo sieť typu WireGuard. To poskytuje šifrovanie a autentifikáciu, ktoré ZeroMQ socket neposkytuje, za približne milisekundu.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Spustite robotického klienta vedľa servomotorov

   Klient potrebuje vlastné uv prostredie: chce robotické ovládače lerobot, nie tréningový stack. eval_so100.py importuje so100_follower, so101_follower a koch_follower, takže odovzdajte --robot.type zodpovedajúci vášmu ramenu (pôvodný README používa so101_follower). Kľúče kamier musia zodpovedať tréningu: adaptér číta presne front a wrist, a ich výmena ukáže politike nesprávny pohľad.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Trasa B: lerobot asynchrónna inferencia

lerobot rieši iný problém. Namiesto blokovania robota, kým model premýšľa, klient pokračuje v spracovávaní fronty, ktorú už má, zatiaľ čo server vypočítava ďalší chunk. Toto je chunkovanie akcií posunuté ďalej, asynchrónny zásobník predstavený so SmolVLA. Funguje aj s checkpointom GR00T.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Server sa spúšťa prázdny: nevie, akú politiku obsluhuje, kým mu to nepovie prvé nadviazanie spojenia klientom, čo je výhodné na prenajatom pode. Dva parametre, ktoré rozhodujú o tom, či sa rameno pohybuje plynulo, sú actions_per_chunk a chunk_size_threshold (dokumentácia lerobot nazýva druhý parameter g, podľa článku SmolVLA), a dokumentované hodnoty a dodané hodnoty sa nezhodujú.

Aritmetika, ktorá rozhoduje, či je vaše pripojenie dostatočne rýchle

Ľudia toto preskočia a potom strávia deň nad . Trvá to dve minúty a takmer vždy je to rozhodujúce.

Komentovaný slovník pozorovania v NVIDIA's eval_so100.py hovorí, čo ide po drôte: dve polia tvaru (480, 640, 3) v uint8, šesť kĺbových floatov, jazykový reťazec. To je 921 600 bajtov na snímku, 1 843 200 bajtov pre dve kamery, približne 14.7 Mbit, a ani jeden zásobník to nekomprimuje do JPEG. Vracajúci sa blok je niekoľko desiatok krokov po 6 floatov. Váš upload rozhoduje o všetkom, nie váš download.

Rozpočet, do ktorého sa musíte zmestiť

Klient GR00T SO-100 je synchrónny: volá policy.get_action(obs), vykoná prvých action_horizon krokov bloku pri 30 FPS, potom volá znova. Veľkosť bloku a horizont sú rôzne čísla: sprievodca nasadením od NVIDIA odporúča veľkosť bloku akcie 16, minimálne 32 v kombinácii s chunkingom v reálnom čase, zatiaľ čo eval_so100.py dodáva horizont vykonávania 8. Osem krokov pri 30 FPS je 267 ms pohybu na jedno volanie a všetko ostatné sa musí zmestiť do tohto času.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Zvýšenie horizontu je hrubé riešenie a nie zadarmo: rameno reaguje na pozorovanie, ktoré je už staré. Principiálnym riešením je chunking v reálnom čase (real-time chunking), ktorý vypočítava ďalší blok, zatiaľ čo beží ten aktuálny, zmrazuje akcie zaručené na vykonanie a dopĺňa zvyšok; článok o RTC uvádza, že je robustný voči oneskoreniu inferencie bez preškolenia. Najprv skontrolujte, ako to vyzerá. NVIDIA označuje RTC ako experimentálne, nízkoúrovňovú modelovú primitívu dostupnú cez action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), nezapojenú do Gr00tPolicy ani do cesty server-klient, kde options je nepoužívaná, bez testov a bez príkladu. Cez server politiky získate asynchrónne vykonávanie, nie RTC.

Zmerajte to, kým tomu budete veriť

Každé číslo vyššie je predpoveď. Štyri príkazy z neho urobia meranie, ktoré sa oplatí spustiť predtým, ako venujete hodinu podu úlohe, ktorá by nikdy nefungovala.

1. 1
   Získajte nespracovaný čas odozvy

   Proti podu, nie CDN. Sledujte odchýlku rovnako pozorne ako priemer: chvenie spôsobuje trhanie ramena, nie priemerná latencia.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Zmerajte uplink, ktorý máte, nie ten, za ktorý platíte

   Domáce nahrávanie (upload) je zvyčajne zlomkom sťahovania (download), a je to číslo v tabuľke šírky pásma vyššie.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Prečítajte si vlastný log latencie klienta

   Klient robota lerobot zaznamenáva latenciu zo servera na klienta a čas deserializácie pre každý chunk. Na trase B nepotrebujete žiadne externé nástroje.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Sledujte vyprázdňovanie frontu akcií

   Použite --debug_visualize_queue_size=True a klient vykreslí veľkosť frontu počas behu. Ak opakovane dosiahne nulu, vyčerpali ste rozpočet: znížte fps, zvýšte actions_per_chunk, alebo zvýšte chunk_size_threshold, aby sa pozorovania odosielali častejšie.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Na čo je skutočne dobrá vzdialená inferencia

Ak sa vzdialený beh zadrháva v rovnakom bode v každej epizóde, sieť pravdepodobne nie je príčinou. Politika, ktorá zakaždým váha pri rovnakom uhle kĺbu, je zvyčajne problém s dátami; pozrite si stránky s režimami zlyhania, najmä politiku, ktorá funguje len v jednom nastavení a strata klesá, ale politika nič nerobí.

Robíte to sami vs. robíte to na AY-Robots

Čo stojí vzdialená inferenčná relácia

Dve čísla sú dôležité: hodinová sadzba karty a ako dlho ju necháte bežať. Prvé je zverejnené; druhé ľudí prekvapuje.

Tieto sadzby boli prečítané zo stránky s cenami Runpod dňa 23. augusta 2026 a spotové trhy sa menia. AY-Robots namiesto toho uvádza cenu za celý beh: 3 až 6 hodín pri 1.20 až 2.00 USD za hodinu na úrovni A100 alebo H100, približne 4 až 12 USD za beh GR00T alebo Pi0.5; 2 až 5 hodín pri 0.30 až 0.60 USD za hodinu na úrovni 24 GB, 1 až 3 USD za SmolVLA alebo ACT. Inferencia je nákladovo výhodnejšia ako tréningový beh len vtedy, ak ju zastavíte, na čo slúži strážny pes nečinnosti. Pozrite si dokumentáciu k fakturácii a stránku s cenami.

Ak by ste radšej nemali sieť v slučke

Vzdialená inferencia rieši hardvérový problém a vytvára problém s latenciou. Niekedy je lepšou odpoveďou politika, ktorá sa hodí k hardvéru, ktorý máte.

• ACT, približne 80 M parametrov a 20 ms na akčný krok, minimálne 50 epizód, akákoľvek 24 GB karta. V nastavení pre opakované jednorazové úlohy často prekonáva vzdialený 3 B model, pretože nikdy nečaká na paket.
• SmolVLA, približne 450 M parametrov a 245 ms na akčný krok, minimálne 30 epizód. Zachováva jazykové podmienky, ktoré ACT chýbajú, a dokumentácia lerobot ho uvádza s približne 2 GB v čase inferencie oproti približne 14 GB pre PI0.
• ACT vs GR00T N1.7 pre polovicu kompromisu týkajúcu sa presnosti.

Existuje aj stredná cesta: trénovať v cloude, vyhodnocovať lokálne. Jemné doladenie potrebuje 80 GB kartu a nezáleží mu na latencii, takže trénovanie GR00T N1.7 na SO-100 vzdialene je nespochybniteľné. Iba vyhodnocovací cyklus má obmedzenie v reálnom čase; dokumentácia k trénovaniu a matrica modelov a ramien pokrývajú túto polovicu.

Často kladené otázky

Stručná verzia

Vzdialená inferencia pre 3 B politika je vyriešený inžiniersky problém s nevyriešeným fyzikálnym problémom. Inžinierstvo sú dva príkazy a SSH tunel. Fyzika spočíva v tom, že 1.8 MB pozorovanie musí dosiahnuť GPU v inej krajine a vrátiť sa skôr, než rameno vyčerpá akcie. Urobte si výpočty pred prenájmom čohokoľvek, vyberte si úlohu, ktorá toleruje zastarané pozorovanie, a zvýšte horizont vykonávania namiesto toho, aby ste dúfali, že sa spojenie zlepší.

Ak ste ešte nenahrali dátovú sadu, a sú na prvom mieste a záznam vysvetľuje, čo zapisuje nahrávač. Pozadie je v a v ; odkazuje každé číslo benchmarku na zdroj.