Zagon sklepanja GR00T brez lokalnega GPE

Raspberry Pi je dovolj za pogon prek serijskega vodila in zajemanje sličic iz dveh USB kamer. Ni pa dovolj za poganjanje modela s tremi milijardami parametrov, : NVIDIA-jev README navaja, da GR00T N1.7 sklepanje zahteva en GPU s 16 GB ali več VRAM-a. Da bi videli, kaj vaša fino nastavljena kontrolna točka počne na roki, ne da bi kupili kartico, postavite politiko na najeti GPU v oblaku, ohranite robotsko zanko na stroju z USB priključki in pošiljajte opazovanja ter dele akcij prek omrežja.

Deluje, ni brezplačno, in cena ni enakomerno porazdeljena med naloge. Spodaj: NVIDIA-jev lastni strežnik politik, lerobot-ov asinhroni sklad, aritmetika, ki vnaprej pove, ali je vaša povezava dovolj hitra, in pot platforme. Vse to je bilo preverjeno glede na glavno vejo Isaac-GR00T (N1.7 GA) in lerobot 0.6.1 dne 23. avgusta 2026.

Zakaj politika ne bo ustrezala robotskemu stroju

Dve od petih politik, ki jih lahko trenira AY-Robots, delujeta na delovni postaji, tri ne. Stolpec spodaj je na korak dejanja, in to je številka, ki tekmuje z vašim omrežnim povratnim časom.

To preberite kot odločitev, ne kot zanimivost. pri 20 ms na korak deluje na robotskem stroju in o tem nikoli več ne razmišljate. pri 485 ms je porabilo tretjino sekunde, preden paket zapusti vašo zgradbo. in dodata stran natančnosti.

Dva obstoječa sklopa odjemalec-strežnik

Isaac-GR00T vključuje strežnik ZeroMQ za zahtevo-odgovor; lerobot vključuje strežnik gRPC, zgrajen okoli asinhronnega sklepanja. Oba sprejemata GR00T kontrolna točka. Seznam podprtih politik lerobot v async_inference/constants.py je act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 in groot; njegov seznam robotov je so100_follower, so101_follower, bi_so_follower in omx_follower.

Vrstica za serializacijo je pomembnejša, kot se zdi. GR00T-ov MsgSerializer zavrača ndarray pakete tipa objekta v obe smeri, ker bi jih msgpack_numpy sicer predal pickle-u. lerobot namesto tega uporablja pickle: policy_server.py kliče pickle.loads na podatkih zahteve, robot_client.py uporablja pickle za opazovanje, ki ga pošilja. Obrambno na zaupanja vrednem LAN-u, neobrambno, ko so vrata dosegljiva z interneta.

Pot A: NVIDIIN lastni strežnik politik GR00T

To je pot, ki jo NVIDIA dokumentira za strojno opremo SO-100 in SO-101, in tista, ki jo uporabite, če je vaša kontrolna točka nastala iz examples/finetune.sh z --embodiment-tag NEW_EMBODIMENT. Koraki dodajajo tisto, kar izpušča zgornji README: kako dobiti vrata do robota, ne da bi jih izpostavili vsem ostalim.

1. 1
   Namestite GR00T na najeti GPU strežnik

   Podmoduli so obvezni, in git-lfs mora obstajati pred kloniranjem, sicer datoteke parquet v demo_data prispejo kot kazalci. flash-attn in TensorRT sta vključena v privzeto namestitev. Past pri sveži pod podobi: torchcodec 0.8.0 je edini podprti video zaledje in nalaga samo FFmpeg 4 do 7. Ubuntu 25.10 in 26.04 vsebujeta FFmpeg 8, zato GR00T ne uspe z Could not load libtorchcodec. Namestite FFmpeg, starejši od 8, in njegove knjižnice dodajte v LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Avtentikacija proti zaprtemu jedru

   Vsaka kontrolna točka GR00T N1.7, vključno z vašo lastno fino nastavitvijo, ob prvi uporabi naloži zaprti nvidia/Cosmos-Reason2-2B. Zahtevajte dostop na strani modela in se prijavite na pod, sicer nalaganje ne uspe z GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Zaženite strežnik politik

   Usmerite --model-path na vaš imenik kontrolnih točk; na tej poti strežnik ignorira --modality-config-path, ki se bere samo na poti ponovnega predvajanja. Izpustite --model-path in namesto tega podajte --dataset-path ter --execution-horizon za ReplayPolicy, ki ponavlja posnete akcije, kar je najcenejši način za dokaz, da ožičenje deluje.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tunelirajte vrata 5555 do robotskega stroja

   Povežite se na povratno zanko, kot zgoraj, in prenesite vrata preko SSH ali mreže v stilu WireGuard. To zagotavlja šifriranje in avtentikacijo, ki ju vtičnica ZeroMQ ne, za približno milisekundo.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Zaženite robotskega odjemalca poleg servomotorjev

   Odjemalec potrebuje svoje lastno uv okolje: želi robotske gonilnike lerobot, ne pa učnega sklada. eval_so100.py uvozi so100_follower, so101_follower in koch_follower, zato podajte --robot.type, ki ustreza vaši roki (zgornji README uporablja so101_follower). Ključi kamere se morajo ujemati z usposabljanjem: adapter bere natančno front in wrist, in zamenjava le-teh prikaže politiki napačen pogled.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Pot B: asinhrono sklepanje z lerobot

lerobot rešuje drugačen problem. Namesto da bi blokiral robota, medtem ko model razmišlja, odjemalec nadaljuje s koraki skozi vrsto, ki jo že ima, medtem ko strežnik izračunava naslednji del. To je razdelitev dejanj na dele razširjeno, asinhroni sklad, predstavljen s SmolVLA. Deluje tudi s kontrolno točko GR00T.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Strežnik se zažene prazen: ne ve, katero politiko streže, dokler mu tega ne pove prvi stisk roke odjemalca, kar je priročno na najetem podu. Dva gumba, ki določata, ali se roka premika gladko, sta actions_per_chunk in chunk_size_threshold (dokumentacija lerobot drugega imenuje g, po članku SmolVLA), in dokumentirane vrednosti ter dobavljene vrednosti se ne ujemajo.

Aritmetika, ki določa, ali je vaša povezava dovolj hitra

Ljudje to preskočijo in nato porabijo dan za . Traja dve minuti in je skoraj vedno odločilno.

Komentirani slovar opazovanj v NVIDIA-inem eval_so100.py pove, kaj gre po žici: dva niza oblike (480, 640, 3) v uint8, šest skupnih plavajočih števil, jezikovni niz. To je 921.600 bajtov na sličico, 1.843.200 bajtov za dve kameri, približno 14.7 Mbit, in noben sklad tega ne JPEG-kompresira. Kos, ki se vrne, je nekaj ducatov korakov po 6 plavajočih števil. Vaš prenos odloča o vsem, ne vaš prejem.

Proračun, v katerega se morate vklapljati

Odjemalec GR00T SO-100 je sinhron: kliče policy.get_action(obs), izvede prvih action_horizon korakov bloka pri 30 FPS, nato ponovno kliče. Velikost bloka in horizont sta različni številki: NVIDIA-jev vodnik za uvajanje priporoča velikost bloka akcij 16, vsaj 32 v kombinaciji z razdeljevanjem v realnem času, medtem ko eval_so100.py dobavlja izvedbeni horizont 8. Osem korakov pri 30 FPS pomeni 267 ms gibanja na klic, in vse ostalo se mora prilegati v to.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Povečanje horizonta je groba rešitev in ni brezplačna: roka deluje na opazovanju, ki je zdaj staro. Načelna rešitev je razdeljevanje v realnem času (real-time chunking), ki izračuna naslednji blok, medtem ko teče trenutni, zamrzne dejanja, ki so zagotovljena za izvedbo, in dopolni preostala; članek o RTC poroča, da je robusten na zakasnitve sklepanja brez ponovnega usposabljanja. Najprej preverite, kje to stoji. NVIDIA označuje RTC kot eksperimentalno, nizkonivojsko modelno primitivo, dosegljivo preko action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), ni vgrajeno v Gr00tPolicy ali pot strežnik-odjemalec, kjer options ni uporabljeno, brez testov in brez primera. Preko strežnika politik dobite asinhrono izvedbo, ne RTC.

Izmerite, preden zaupate

Vsaka zgornja številka je napoved. Štirje ukazi jo spremenijo v meritev, ki jo je vredno izvesti, preden porabite pod-uro za nalogo, ki nikoli ne bi delovala.

1. 1
   Pridobite neobdelan povratni čas

   Proti podu, ne CDN-ju. Spremljajte odstopanje tako pozorno kot povprečje: nihanje povzroči zatikanje roke, ne povprečna zakasnitev.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Izmerite povezavo za nalaganje, ki jo imate, ne tiste, ki jo plačujete

   Domači prenos podatkov (upload) je običajno del prenosa (download), in to je številka v zgornji tabeli pasovne širine.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Preberite lastni dnevnik zakasnitev odjemalca

   Robotni odjemalec lerobot beleži zakasnitev strežnik-odjemalec in čas deserializacije za vsak kos. Na poti B ne potrebujete zunanjih orodij.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Opazujte praznjenje čakalne vrste dejanj

   Posredujte --debug_visualize_queue_size=True in odjemalec bo med izvajanjem izrisal velikost čakalne vrste. Če večkrat doseže nič, ste presegli proračun: znižajte fps, povečajte actions_per_chunk ali povečajte chunk_size_threshold, da se opazovanja pošiljajo pogosteje.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Za kaj je dejansko dobro oddaljeno sklepanje

Če se oddaljeno izvajanje zatika na isti točki v vsaki epizodi, omrežje verjetno ni vzrok. Politika, ki vsakič okleva pri istem kotu sklepa, je običajno problem s podatki; glejte strani z načini odpovedi, zlasti politiko, ki deluje samo v eni nastavitvi in izguba pada, vendar politika ne dela nič.

Naredite sami proti uporabi AY-Robots

Kaj stane oddaljena seja sklepanja

Pomembni sta dve številki: urna postavka kartice in kako dolgo jo pustite delovati. Prva je objavljena; druga preseneča ljudi.

Te cene so bile prebrane s strani Runpodove strani s cenami 23. avgusta 2026, in promptni trgi se spreminjajo. AY-Robots namesto tega navaja celoten zagon: 3 do 6 ur po 1.20 do 2.00 USD na uro na nivoju A100 ali H100, približno 4 do 12 USD za zagon GR00T ali Pi0.5; 2 do 5 ur po 0.30 do 0.60 USD na uro na nivoju 24 GB, 1 do 3 USD za SmolVLA ali ACT. Seja sklepanja premaga zagon usposabljanja po stroških le, če jo ustavite, za kar je namenjen nadzornik mirovanja. Glejte in .

Če raje ne bi imeli omrežja v zanki

Oddaljeno sklepanje rešuje problem strojne opreme in ustvarja problem zakasnitve. Včasih je boljši odgovor politika, ki ustreza strojni opremi, ki jo imate.

• ACT, približno 80 M parametrov in 20 ms na korak dejanja, najmanj 50 epizod, katera koli 24 GB kartica. Pri ponavljajoči se nastavitvi z eno nalogo pogosto premaga oddaljeni 3 B model, ker nikoli ne čaka na paket.
• SmolVLA, približno 450 M parametrov in 245 ms na korak dejanja, najmanj 30 epizod. Ohranja jezikovno pogojenost, ki jo ACT nima, in dokumentacija lerobot jo postavlja na približno 2 GB v času sklepanja v primerjavi s približno 14 GB za PI0.
• ACT proti GR00T N1.7 za polovico kompromisa, ki se nanaša na natančnost.

Obstaja tudi srednja pot: treniranje v oblaku, lokalno vrednotenje. Fino uglaševanje potrebuje 80 GB kartico in mu ni mar za zakasnitev, zato je treniranje GR00T N1.7 na SO-100 na daljavo nesporno. Samo zanka vrednotenja ima omejitev v realnem času; dokumentacija za treniranje in matrika modelov in rok pokrivata to polovico.

Pogosto zastavljena vprašanja

Kratka različica

Oddaljeno sklepanje za 3 B politika je rešen inženirski problem z nerešenim fizikalnim problemom. Inženiring sta dva ukaza in SSH tunel. Fizika je, da mora opazovanje velikosti 1.8 MB doseči GPU v drugi državi in se vrniti, preden roki zmanjka dejanj. Preden karkoli najamete, naredite izračune, izberite nalogo, ki prenaša zastarelo opazovanje, in povečajte izvedbeni horizont, namesto da upate na izboljšanje povezave.

Če še niste posneli nabora podatkov, posnemite svoj prvi nabor podatkov in vodnik za nastavitev SO-100 sta na prvem mestu, in vnos formata nabora podatkov LeRobot pojasnjuje, kaj zapisovalnik zapiše. Ozadje je v modelih vida, jezika in dejanj in delu s politikami ujemanja toka; vnos v areno povezuje vsako referenčno številko z virom.