Pokrenite GR00T inferencu bez lokalnog GPU-a

Raspberry Pi je dovoljan za pokretanje preko serijske magistrale i preuzimanje frejmova sa dve USB kamere. Nije dovoljan za pokretanje modela sa tri milijarde parametara : NVIDIA-in README navodi da GR00T N1.7 inferencija zahteva jedan GPU sa 16 GB ili više VRAM-a. Da biste videli šta vaš fino podešeni kontrolna tačka radi na ruci bez kupovine kartice, postavite politiku na iznajmljeni GPU u oblaku, zadržite robotsku petlju na mašini sa USB portovima i šaljite zapažanja i delove akcija preko mreže.

Radi, nije besplatno, a cena nije ravnomerno raspoređena po zadacima. Ispod: NVIDIA-in sopstveni server politika, lerobot-ov asinhroni stek, aritmetika koja unapred govori da li je vaš uplink dovoljno brz i ruta platforme. Sve je provereno u odnosu na glavnu granu Isaac-GR00T (N1.7 GA) i lerobot 0.6.1, 23. avgusta 2026.

Zašto politika neće stati na robotsku mašinu

Dve od pet politika koje AY-Robots može da obuči rade na radnoj stanici, tri ne. kolona ispod je po koraku akcije, i to je broj koji se takmiči sa vašim mrežnim povratnim putovanjem.

Čitajte to kao odluku, a ne kao trivijalnost. sa 20 ms po koraku radi na robotskoj mašini i nikada više ne razmišljate o tome. sa 485 ms je potrošio trećinu sekunde pre nego što paket napusti vašu zgradu. i dodaju stranu tačnosti.

Dva postojeća klijent-server steka

Isaac-GR00T isporučuje ZeroMQ request-reply server; lerobot isporučuje gRPC server izgrađen oko asinhronog zaključivanja. Oba prihvataju GR00T kontrolnu tačku. lerobot-ova lista podržanih politika u async_inference/constants.py je act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 i groot; njegova lista robota je so100_follower, so101_follower, bi_so_follower i omx_follower.

Redosled serijalizacije je važniji nego što izgleda. GR00T-ov MsgSerializer odbija ndarray pakete tipa objekta u oba smera, jer bi ih msgpack_numpy inače predao pickle-u. lerobot umesto toga koristi pickle: policy_server.py poziva pickle.loads na podacima zahteva, robot_client.py pakuje (pickles) opservaciju koju šalje. Odbranjivo na pouzdanoj LAN mreži, neodbranjivo kada je port dostupan sa interneta.

Ruta A: NVIDIA-in sopstveni GR00T server politike

Ovo je putanja koju NVIDIA dokumentuje za SO-100 i SO-101 hardver, i ona koju treba koristiti ako je vaša kontrolna tačka (checkpoint) nastala iz examples/finetune.sh sa --embodiment-tag NEW_EMBODIMENT. Koraci dodaju ono što je izostavljeno u izvornom README-u: kako dovesti port do robota, a da ga ne izložite svima ostalima.

1. 1
   Instalirajte GR00T na iznajmljenoj GPU mašini

   Submoduli su obavezni, a git-lfs mora postojati pre kloniranja, inače će parquet datoteke u demo_data stići kao pokazivači. flash-attn i TensorRT dolaze sa podrazumevanom instalacijom. Zamka na svežoj pod slici: torchcodec 0.8.0 je jedini podržani video backend i učitava samo FFmpeg 4 do 7. Ubuntu 25.10 i 26.04 isporučuju FFmpeg 8, tako da GR00T ne uspeva sa Could not load libtorchcodec. Instalirajte FFmpeg verzije ispod 8 i postavite njegove biblioteke na LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Autentifikujte se protiv zatvorenog (gated) okosnog modela

   Svaka GR00T N1.7 kontrolna tačka (checkpoint), uključujući i vašu sopstvenu finu obradu, učitava zatvoreni (gated) nvidia/Cosmos-Reason2-2B pri prvoj upotrebi. Zatražite pristup na stranici modela i prijavite se na pod, inače učitavanje ne uspeva sa GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Pokrenite server politike

   Ukažite --model-path na vaš direktorijum kontrolne tačke (checkpoint); na toj putanji server ignoriše --modality-config-path, koja se čita samo na putanji ponovnog izvršavanja (replay path). Izostavite --model-path i prosledite --dataset-path plus --execution-horizon umesto toga za ReplayPolicy koja ponavlja snimljene akcije, što je najjeftiniji način da se dokaže da ožičenje radi.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tunelirajte port 5555 do mašine robota

   Vežite se za loopback, kao gore, i prenesite port preko SSH-a ili WireGuard-style mreže. To obezbeđuje enkripciju i autentifikaciju koju ZeroMQ soket ne pruža, za oko milisekundu.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Pokrenite klijenta robota pored servoa

   Klijentu je potrebno sopstveno uv okruženje: želi lerobot-ove drajvere za robote, a ne trening stek. eval_so100.py uvozi so100_follower, so101_follower i koch_follower, pa prosledite --robot.type koji odgovara vašoj ruci (izvorni README koristi so101_follower). Ključevi kamere moraju odgovarati treningu: adapter čita tačno front i wrist, a njihova zamena prikazuje politici pogrešan pogled.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Ruta B: lerobot asinhrona inferenca

lerobot rešava drugačiji problem. Umesto da blokira robota dok model razmišlja, klijent nastavlja da prolazi kroz red koji već ima dok server izračunava sledeći deo. Ovo je segmentiranje akcija dalje razvijeno, asinhroni stek uveden sa SmolVLA. Radi i sa GR00T kontrolnom tačkom.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Server se pokreće prazan: ne zna koju politiku opslužuje dok mu prvi rukovanje klijenta to ne kaže, što je zgodno na iznajmljenom podu. Dva parametra koja odlučuju da li se ruka kreće glatko su actions_per_chunk i chunk_size_threshold (lerobot dokumentacija drugi naziva g, po SmolVLA radu), a dokumentovane i isporučene vrednosti se ne podudaraju.

Aritmetika koja odlučuje da li je vaša veza dovoljno brza

Ljudi ovo preskaču i onda provedu dan na . Traje dva minuta i skoro uvek je odlučujuće.

Komentarisani rečnik opservacija u NVIDIA-inom eval_so100.py govori šta ide preko žice: dva niza oblika (480, 640, 3) u uint8, šest float vrednosti zglobova, jezički string. To je 921,600 bajtova po kadru, 1,843,200 bajtova za dve kamere, oko 14.7 Mbit, i nijedan stek to ne kompresuje JPEG-om. Deo koji se vraća je nekoliko desetina koraka od 6 float vrednosti. Vaš upload odlučuje o svemu, ne vaš download.

Budžet u koji se morate uklopiti

GR00T SO-100 klijent je sinhron: poziva policy.get_action(obs), izvršava prvih action_horizon koraka bloka pri 30 FPS, zatim ponovo poziva. Veličina bloka i horizont su različiti brojevi: NVIDIA-in vodič za implementaciju preporučuje veličinu bloka akcija od 16, najmanje 32 kada se kombinuje sa chunkingom u realnom vremenu, dok eval_so100.py isporučuje horizont izvršenja od 8. Osam koraka pri 30 FPS je 267 ms kretanja po pozivu, i sve ostalo mora da stane u to.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Povećanje horizonta je grubo rešenje i nije besplatno: ruka deluje na zapažanje koje je sada staro. Principijelno rešenje je chunking u realnom vremenu, koji izračunava sledeći chunk dok se trenutni izvršava, zamrzava akcije koje su garantovano izvršene i dopunjuje ostatak; RTC rad ga navodi kao robustan na kašnjenje inferencije bez ponovne obuke. Prvo proverite gde to stoji. NVIDIA označava RTC kao eksperimentalni, primitiv modela niskog nivoa dostupan preko action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), nije povezan sa Gr00tPolicy ili putanjom server-klijent, gde je options neiskorišćen, bez testova i bez primera. Preko servera politike dobijate asinhrono izvršavanje, a ne RTC.

Izmerite pre nego što verujete

Svaki broj iznad je predviđanje. Četiri komande ga pretvaraju u merenje, koje vredi pokrenuti pre nego što se posveti pod-sat zadatku koji nikada ne bi funkcionisao.

1. 1
   Dobijte sirovo vreme povratnog putovanja

   Protiv poda, ne CDN-a. Pratite odstupanje jednako pažljivo kao i prosek: podrhtavanje uzrokuje zastajkivanje ruke, a ne prosečna latencija.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Izmerite uplink koji imate, a ne onaj koji plaćate

   Kućni upload je obično delić downloada, i to je broj u gornjoj tabeli propusnosti.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Pročitajte sopstveni log latencije klijenta

   LeRobot klijent robota beleži latenciju server-klijent i vreme deseralizacije za svaki chunk. Na ruti B vam nije potreban nikakav spoljni alat.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Posmatrajte pražnjenje reda akcija

   Prosledite --debug_visualize_queue_size=True i klijent će iscrtati veličinu reda u runtime-u. Ako više puta dostigne nulu, prekoračili ste budžet: smanjite fps, povećajte actions_per_chunk, ili povećajte chunk_size_threshold kako bi opservacije češće izlazile.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Za šta je daljinsko zaključivanje zapravo dobro

Ako se udaljeno izvršavanje secka na istoj tački u svakoj epizodi, mreža verovatno nije uzrok. Politika koja okleva na istom uglu zgloba svaki put je obično problem sa podacima; pogledajte stranice o režimima kvara, posebno politiku koja radi samo u jednom podešavanju i gubitak opada, ali politika ne radi ništa.

Uraditi sami naspram uraditi na AY-Robots

Koliko košta sesija udaljenog zaključivanja

Dva broja su važna: satnica kartice i koliko dugo je ostavite da radi. Prvi je objavljen; drugi iznenađuje ljude.

Te cene su pročitane sa Runpod-ove stranice za cene 23. avgusta 2026. godine, a spot tržišta se menjaju. AY-Robots umesto toga navodi cenu za celo pokretanje: 3 do 6 sati po ceni od 1.20 do 2.00 USD po satu na A100 ili H100 nivou, oko 4 do 12 USD za pokretanje GR00T ili Pi0.5; 2 do 5 sati po ceni od 0.30 do 0.60 USD po satu na nivou od 24 GB, 1 do 3 USD za SmolVLA ili ACT. Sesija inferencije je isplativija od sesije obuke samo ako je zaustavite, čemu služi idle watchdog. Pogledajte dokumentaciju o naplati i stranicu sa cenama.

Ako više volite da mreža nije u petlji

Daljinsko zaključivanje rešava hardverski problem i stvara problem kašnjenja. Ponekad je bolje rešenje politika koja odgovara hardveru koji imate.

• ACT, približno 80 M parametara i 20 ms po koraku akcije, minimum 50 epizoda, bilo koja kartica od 24 GB. U ponavljajućem podešavanju sa jednim zadatkom često nadmašuje udaljeni model od 3 B, jer nikada ne čeka paket.
• SmolVLA, približno 450 M parametara i 245 ms po koraku akcije, minimum 30 epizoda. Zadržava jezičko uslovljavanje koje ACT nema, a lerobot dokumentacija navodi da je oko 2 GB u vreme zaključivanja u poređenju sa približno 14 GB za PI0.
• ACT vs GR00T N1.7 za polovinu kompromisa koja se tiče tačnosti.

Postoji i srednji put: treniranje u oblaku, lokalna evaluacija. zahteva karticu od 80 GB i ne mari za kašnjenje, tako da daljinski je neosporno. Samo petlja evaluacije ima ograničenje u realnom vremenu; i pokrivaju tu polovinu.

Često postavljana pitanja

Kratka verzija

Udaljena inferencija za 3 B politiku je rešen inženjerski problem sa nerešenim fizičkim problemom. Inženjering su dve komande i SSH tunel. Fizika je da zapažanje od 1.8 MB mora da stigne do GPU-a u drugoj zemlji i da se vrati pre nego što ruka ostane bez akcija. Uradite aritmetiku pre iznajmljivanja bilo čega, izaberite zadatak koji toleriše zastarelo zapažanje i podignite horizont izvršavanja umesto da se nadate da će se veza poboljšati.

Ako još niste snimili skup podataka, snimite svoj prvi skup podataka i SO-100 vodič za podešavanje dolaze prvi, a unos LeRobot formata skupa podataka objašnjava šta snimač beleži. Pozadina je u modelima vida, jezika i akcije i radu na politici usklađivanja toka; unos u arenu povezuje svaki broj benčmarka sa izvorom.