Vykdyti GR00T išvadą be vietinio GPU

Raspberry Pi pakanka, kad valdytų per nuosekliąją magistralę ir gautų kadrus iš dviejų USB kamerų. Tačiau nepakanka paleisti trijų milijardų parametrų : NVIDIA README nurodo, kad GR00T N1.7 išvadoms reikalingas vienas GPU su 16 GB ar daugiau VRAM. Norėdami pamatyti, ką jūsų patobulintas kontrolinis taškas daro su ranka nepirkdami kortelės, įdėkite politiką į nuomotą debesies GPU, palikite roboto ciklą mašinoje su USB prievadais ir siųskite stebėjimus bei veiksmų fragmentus per tinklą.

Tai veikia, tai nėra nemokama, o kaina nėra tolygiai paskirstyta tarp užduočių. Žemiau: NVIDIA nuosavas politikos serveris, lerobot asinchroninis stekas, aritmetika, kuri iš anksto pasako, ar jūsų siuntimo greitis yra pakankamas, ir platformos maršrutas. Visa tai patikrinta pagal Isaac-GR00T pagrindinę šaką (N1.7 GA) ir lerobot 0.6.1 2026 m. rugpjūčio 23 d.

Kodėl politika netilps į roboto mašiną

Dvi iš penkių AY-Robots apmokytų politikų veikia darbo stoties kortelėje, trys – ne. Toliau esančiame stulpelyje „“ nurodomas vėlavimas vienam veiksmo žingsniui, ir tai yra skaičius, kuris konkuruoja su jūsų tinklo kelionės laiku.

Supraskite tai kaip sprendimą, o ne smulkmeną. su 20 ms vėlavimu vienam žingsniui veikia roboto mašinoje ir apie tai daugiau niekada negalvojate. su 485 ms vėlavimu jau sugaišo trečdalį sekundės, kol paketas palieka jūsų pastatą. ir prideda tikslumo pusę.

Dvi jau egzistuojančios kliento-serverio sąsajos

Isaac-GR00T teikia ZeroMQ užklausų-atsakymų serverį; lerobot teikia gRPC serverį, sukurtą aplink asinchroninį išvadą. Abu priima GR00T kontrolinį tašką. lerobot palaikomų politikų sąrašas async_inference/constants.py yra act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 ir groot; jo robotų sąrašas yra so100_follower, so101_follower, bi_so_follower ir omx_follower.

Serializacijos eilutė yra svarbesnė, nei atrodo. GR00T MsgSerializer atsisako objektinio tipo ndarray duomenų abiem kryptimis, nes msgpack_numpy priešingu atveju perduotų juos pickle. lerobot vietoj to naudoja pickle: policy_server.py iškviečia pickle.loads užklausos duomenims, robot_client.py naudoja pickle siunčiamam stebėjimui. Ginama patikimame LAN tinkle, neapginama, kai prievadas pasiekiamas iš interneto.

A maršrutas: NVIDIA GR00T politikos serveris

Tai yra kelias, kurį NVIDIA dokumentuoja SO-100 ir SO-101 aparatinei įrangai, ir tas, kurį reikia naudoti, jei jūsų kontrolinis taškas buvo sukurtas naudojant examples/finetune.sh su --embodiment-tag NEW_EMBODIMENT. Šie žingsniai papildo tai, ko trūksta pagrindiniame README faile: kaip nukreipti prievadą į robotą, neatskleidžiant jo visiems kitiems.

1. 1
   Įdiekite GR00T nuomojamame GPU serveryje

   Submoduliai yra būtini, o git-lfs turi egzistuoti prieš klonavimą, kitaip parquet failai demo_data kataloge bus atvaizduojami kaip rodyklės. flash-attn ir TensorRT yra įdiegiami su numatytuoju diegimu. Spąstai naujame pod atvaizde: torchcodec 0.8.0 yra vienintelis palaikomas vaizdo posistemis ir įkelia tik FFmpeg 4–7 versijas. Ubuntu 25.10 ir 26.04 pateikia FFmpeg 8, todėl GR00T nepavyksta su Could not load libtorchcodec klaida. Įdiekite FFmpeg žemesnės nei 8 versijos ir įdėkite jo bibliotekas į LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Autentifikuokite prie uždaro pagrindo

   Kiekvienas GR00T N1.7 kontrolinis taškas, įskaitant jūsų paties patobulintą, pirmą kartą naudojant įkelia uždarą nvidia/Cosmos-Reason2-2B. Paprašykite prieigos modelio puslapyje ir prisijunkite prie pod, kitaip įkėlimas nepavyks su GatedRepoError klaida.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Paleiskite politikos serverį

   Nurodykite --model-path į savo kontrolinio taško katalogą; šiame kelyje serveris ignoruoja --modality-config-path, kuris skaitomas tik atkūrimo kelyje. Praleiskite --model-path ir vietoj to perduokite --dataset-path bei --execution-horizon, kad būtų naudojama ReplayPolicy, kuri atkuria įrašytus veiksmus – tai pigiausias būdas įrodyti, kad laidai veikia.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tuneliuokite prievadą 5555 į roboto mašiną

   Pririškite prie loopback, kaip nurodyta aukščiau, ir perduokite prievadą per SSH arba WireGuard tipo tinklą. Tai suteikia šifravimą ir autentifikavimą, kurių ZeroMQ lizdas neturi, maždaug per milisekundę.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Paleiskite roboto klientą šalia servovariklių

   Klientui reikalinga atskira uv aplinka: jam reikia lerobot roboto tvarkyklių, o ne mokymo sistemos. eval_so100.py importuoja so100_follower, so101_follower ir koch_follower, todėl perduokite --robot.type, atitinkantį jūsų ranką (pagrindiniame README naudojamas so101_follower). Kameros raktai turi atitikti mokymą: adapteris skaito tiksliai front ir wrist, o juos sukeitus, politika matys neteisingą vaizdą.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

B maršrutas: lerobot asinchroninis išvadų gavimas

lerobot sprendžia kitokią problemą. Užuot blokavęs robotą, kol modelis mąsto, klientas toliau apdoroja jau turimą eilę, kol serveris apskaičiuoja kitą gabalą. Tai yra veiksmų skaidymas į gabalus patobulinta, asinchroninė struktūra, pristatyta su SmolVLA. Ji veikia ir su GR00T kontroliniu tašku.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Serveris paleidžiamas tuščias: jis nežino, kokią politiką aptarnauja, kol to nepasako pirmasis kliento rankos paspaudimas, o tai patogu nuomojamame pode. Du nustatymai, kurie lemia, ar ranka juda sklandžiai, yra actions_per_chunk ir chunk_size_threshold (lerobot dokumentacijoje antrasis vadinamas g, pagal SmolVLA straipsnį), ir dokumentuotos bei pateiktos reikšmės nesutampa.

Aritmetika, kuri nustato, ar jūsų ryšys yra pakankamai greitas

Žmonės tai praleidžia ir tada praleidžia dieną ties . Tai užtrunka dvi minutes ir beveik visada yra lemiama.

NVIDIA's pakomentuotas stebėjimo žodynas eval_so100.py nurodo, kas perduodama laidu: du (480, 640, 3) formos masyvai uint8 formatu, šeši jungčių slankieji kableliai, kalbos eilutė. Tai yra 921 600 baitų vienam kadrui, 1 843 200 baitų dviem kameroms, apie 14,7 Mbit, ir nė viena programinė įranga to nesuspaudžia JPEG formatu. Grįžtantis duomenų blokas yra kelios dešimtys žingsnių po 6 slankiuosius kablelius. Jūsų įkėlimo greitis lemia viską, o ne atsisiuntimo.

Biudžetas, į kurį turite tilpti

GR00T SO-100 klientas yra sinchroninis: jis iškviečia policy.get_action(obs), vykdo pirmuosius action_horizon žingsnius bloko 30 FPS greičiu, tada iškviečia vėl. Bloko dydis ir horizontas yra skirtingi skaičiai: NVIDIA diegimo vadovas rekomenduoja veiksmo bloko dydį 16, bent 32, kai derinamas su realaus laiko blokavimu, o eval_so100.py pateikia vykdymo horizontą 8. Aštuoni žingsniai 30 FPS greičiu yra 267 ms judesio per iškvietimą, ir visa kita turi tilpti į tai.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Horizonto padidinimas yra grubus ir ne nemokamas sprendimas: ranka veikia pagal dabar jau seną stebėjimą. Principinis sprendimas yra realaus laiko blokavimas (real-time chunking), kuris apskaičiuoja kitą bloką, kol veikia dabartinis, užšaldo veiksmus, kuriuos garantuotai vykdys, ir užpildo likusius; RTC dokumentas praneša, kad jis yra atsparus išvadų vėlavimui be perkvalifikavimo. Pirmiausia patikrinkite, kokia yra jo padėtis. NVIDIA žymi RTC kaip eksperimentinį, žemo lygio modelio primityvą, pasiekiamą per action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), neįdiegtą į Gr00tPolicy ar serverio-kliento kelią, kur options yra nenaudojamas, be jokių testų ir pavyzdžių. Per politikos serverį gaunate asinchroninį vykdymą, o ne RTC.

Išmatuokite, prieš pasitikėdami

Kiekvienas aukščiau pateiktas skaičius yra prognozė. Keturios komandos paverčia jį matavimu, kurį verta atlikti prieš skiriant pod-valandą užduočiai, kuri niekada nebūtų veikusi.

1. 1
   Gaukite neapdorotą kelionės pirmyn ir atgal laiką

   Prieš pod'ą, ne CDN. Stebėkite nuokrypį taip pat atidžiai, kaip ir vidurkį: virpėjimas sukelia rankos trūkčiojimą, o ne vidutinis vėlavimas.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Išmatuokite turimą įkėlimo greitį, o ne tą, už kurį mokate

   Gyvenamojo tinklo įkėlimo greitis paprastai yra atsisiuntimo greičio dalis, ir tai yra skaičius aukščiau esančioje pralaidumo lentelėje.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Perskaitykite kliento vėlavimo žurnalą

   LeRobot roboto klientas registruoja serverio-kliento vėlavimą ir deserializavimo laiką kiekvienam duomenų blokui. Maršrute B jums nereikia jokių išorinių įrankių.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Stebėkite veiksmų eilės ištuštėjimą

   Perduokite --debug_visualize_queue_size=True ir klientas vykdymo metu braižys eilės dydį. Jei jis nuolat pasiekia nulį, jums trūksta biudžeto: sumažinkite kadrų per sekundę (fps), padidinkite actions_per_chunk arba padidinkite chunk_size_threshold, kad stebėjimai būtų siunčiami dažniau.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Kam iš tikrųjų tinka nuotolinis išvadų darymas

Jei nuotolinis vykdymas stringa tame pačiame taške kiekviename epizode, tinklas greičiausiai nėra priežastis. Politika, kiekvieną kartą dvejojanti ties tuo pačiu sąnario kampu, paprastai yra duomenų problema; žr. gedimo režimų puslapius, ypač politiką, kuri veikia tik vienoje konfigūracijoje ir nuostoliai mažėja, bet politika nieko nedaro.

Darymas pačiam vs darymas su AY-Robots

Kiek kainuoja nuotolinio išvadavimo sesija

Svarbūs du skaičiai: valandinis kortelės tarifas ir tai, kiek ilgai ją paliekate veikti. Pirmasis yra viešas; antrasis nustebina žmones.

Šie tarifai buvo perskaityti iš Runpod kainodaros puslapio 2026 m. rugpjūčio 23 d., o rinkos kainos kinta. AY-Robots vietoj to nurodo visos sesijos kainą: nuo 3 iki 6 valandų po 1.20–2.00 USD už valandą A100 arba H100 lygiu, apie 4–12 USD už GR00T arba Pi0.5 sesiją; nuo 2 iki 5 valandų po 0.30–0.60 USD už valandą 24 GB lygiu, 1–3 USD už SmolVLA arba ACT. Išvadų sesija yra pigesnė už apmokymo sesiją tik tuo atveju, jei ją sustabdote, o tam ir skirtas tuščiosios eigos stebėtojas. Žr. atsiskaitymo dokumentus ir kainodaros puslapį.

Jei nenorėtumėte, kad tinklas būtų įtrauktas į ciklą

Nuotolinis išvados darymas išsprendžia aparatinės įrangos problemą ir sukuria vėlavimo problemą. Kartais geresnis atsakymas yra politika, atitinkanti turimą aparatinę įrangą.

• ACT, maždaug 80 M parametrų ir 20 ms vienam veiksmo žingsniui, mažiausiai 50 epizodų, bet kokia 24 GB kortelė. Pasikartojančioje vienos užduoties sąrankoje ji dažnai pralenkia nuotolinį 3 B modelį, nes niekada nelaukia paketo.
• SmolVLA, maždaug 450 M parametrų ir 245 ms vienam veiksmo žingsniui, mažiausiai 30 epizodų. Jis išlaiko kalbos sąlygojimą, kurio trūksta ACT, o lerobot dokumentuose nurodoma, kad išvadų darymo metu jis užima apie 2 GB, palyginti su maždaug 14 GB PI0.
• ACT vs GR00T N1.7 dėl tikslumo pusės kompromiso.

Taip pat yra vidurinis kelias: treniruotis debesyje, vertinti vietoje. Tikslinimas reikalinga 80 GB kortelė ir jai nerūpi vėlavimas, todėl GR00T N1.7 treniravimas SO-100 nuotoliniu būdu yra neginčijamas. Tik vertinimo ciklas turi realaus laiko apribojimą; mokymo dokumentai ir modelio ir rankos matrica apima tą pusę.

Dažnai užduodami klausimai

Trumpoji versija

Nuotolinės išvados 3 B politikai yra išspręsta inžinerinė problema su neišspręsta fizikos problema. Inžinerija – tai dvi komandos ir SSH tunelis. Fizika – tai, kad 1,8 MB stebėjimas turi pasiekti GPU kitoje šalyje ir grįžti, kol ranka neišnaudos veiksmų. Atlikite skaičiavimus prieš ką nors nuomodami, pasirinkite užduotį, kuri toleruoja pasenusį stebėjimą, ir padidinkite vykdymo horizontą, o ne tikėkitės, kad ryšys pagerės.

Jei dar neįrašėte duomenų rinkinio, ir yra svarbiausi, o įrašas paaiškina, ką įrašymo įrenginys rašo. Pagrindinė informacija yra ir ; kiekvienas etaloninis skaičius susietas su šaltiniu.