Pokrenite GR00T zaključivanje bez lokalnog GPU-a

Raspberry Pi je dovoljan za pogon preko serijske sabirnice i za preuzimanje okvira s dvije USB kamere. Nije dovoljan za pokretanje modela s tri milijarde parametara, : NVIDIA-in README navodi da GR00T N1.7 inferencija zahtijeva jedan GPU s 16 GB ili više VRAM-a. Da biste vidjeli što vaša fino podešena kontrolna točka radi na ruci bez kupnje kartice, postavite politiku na iznajmljeni GPU u oblaku, zadržite robotsku petlju na stroju s USB priključcima i šaljite opažanja i dijelove akcija preko mreže.

Radi, nije besplatno, a cijena nije ravnomjerno raspoređena po zadacima. U nastavku: NVIDIA-in vlastiti poslužitelj politika, lerobotov asinkroni stog, aritmetika koja unaprijed govori je li vaša uzlazna veza dovoljno brza i ruta platforme. Sve je provjereno u odnosu na glavnu granu Isaac-GR00T (N1.7 GA) i lerobot 0.6.1 na dan 23. kolovoza 2026.

Zašto se politika neće uklopiti na robotski stroj

Dvije od pet politika koje AY-Robots može trenirati rade na radnoj stanici, tri ne. Stupac ispod je po koraku akcije, i to je broj koji se natječe s vašim mrežnim povratnim putovanjem.

Čitajte to kao odluku, a ne kao trivijalnost. s 20 ms po koraku radi na robotskom stroju i više nikada ne razmišljate o tome. s 485 ms je potrošio trećinu sekunde prije nego što paket napusti vašu zgradu. i dodaju stranu točnosti.

Dva postojeća klijent-poslužitelj stoga

Isaac-GR00T isporučuje ZeroMQ poslužitelj za zahtjev-odgovor; lerobot isporučuje gRPC poslužitelj izgrađen oko asinkronog zaključivanja. Oba prihvaćaju GR00T kontrolnu točku. lerobotova podržana lista politika u async_inference/constants.py je act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 i groot; njegova lista robota je so100_follower, so101_follower, bi_so_follower i omx_follower.

Redoslijed serijalizacije je važniji nego što se čini. GR00T-ov MsgSerializer odbija ndarray pakete tipa objekta u oba smjera, jer bi ih msgpack_numpy inače predao pickleu. lerobot umjesto toga koristi pickle: policy_server.py poziva pickle.loads na podacima zahtjeva, robot_client.py serijalizira (pickles) opažanje koje šalje. Obranjivo na pouzdanoj LAN mreži, neodbranjivo kada je port dostupan s interneta.

Ruta A: NVIDIJIN vlastiti GR00T poslužitelj politika

Ovo je putanja koju NVIDIA dokumentira za SO-100 i SO-101 hardver, i ona koju treba koristiti ako je vaša kontrolna točka proizašla iz examples/finetune.sh s --embodiment-tag NEW_EMBODIMENT. Koraci dodaju ono što izvorni README izostavlja: kako dovesti port do robota bez da ga izložite svima ostalima.

1. 1
   Instalirajte GR00T na unajmljenom GPU poslužitelju

   Podmoduli su obavezni, a git-lfs mora postojati prije kloniranja, inače će parquet datoteke u demo_data stići kao pokazivači. flash-attn i TensorRT dolaze s osnovnom instalacijom. Zamka na svježoj slici poda: torchcodec 0.8.0 je jedini podržani video backend i učitava samo FFmpeg 4 do 7. Ubuntu 25.10 i 26.04 isporučuju FFmpeg 8, pa GR00T ne uspijeva s Could not load libtorchcodec. Instalirajte FFmpeg verzije niže od 8 i postavite njegove biblioteke na LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Autentifikacija protiv ograničene okosnice

   Svaka GR00T N1.7 kontrolna točka, uključujući i vašu vlastitu finu prilagodbu, učitava ograničeni nvidia/Cosmos-Reason2-2B pri prvoj upotrebi. Zatražite pristup na stranici modela i prijavite se na pod, inače će učitavanje propasti s GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Pokrenite poslužitelj politika

   Usmjerite --model-path na vaš direktorij kontrolnih točaka; na toj putanji poslužitelj ignorira --modality-config-path, koji se čita samo na putanji ponavljanja. Izostavite --model-path i umjesto toga proslijedite --dataset-path plus --execution-horizon za ReplayPolicy koja ponavlja snimljene akcije, što je najjeftiniji način da se dokaže da ožičenje radi.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tunelirajte port 5555 do robotskog stroja

   Vežite se na loopback, kao gore, i prenesite port preko SSH-a ili WireGuard-style mreže. To osigurava enkripciju i autentifikaciju koju ZeroMQ socket ne pruža, za otprilike milisekundu.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Pokrenite robotskog klijenta pored serva

   Klijent treba vlastito uv okruženje: želi lerobotove robotske drivere, a ne stack za treniranje. eval_so100.py uvozi so100_follower, so101_follower i koch_follower, stoga proslijedite --robot.type koji odgovara vašoj ruci (izvorni README koristi so101_follower). Ključevi kamere moraju odgovarati treningu: adapter čita točno front i wrist, a njihova zamjena prikazuje politici pogrešan pogled.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Ruta B: lerobot asinkrona inferencija

lerobot rješava drugačiji problem. Umjesto blokiranja robota dok model razmišlja, klijent nastavlja prolaziti kroz red čekanja koji već ima dok poslužitelj izračunava sljedeći dio. Ovo je razbijanje akcija na dijelove, razvijeno dalje, asinkroni stog uveden sa SmolVLA. Radi i s GR00T kontrolnom točkom.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Poslužitelj se pokreće prazan: ne zna koju politiku poslužuje dok mu to ne kaže prvi rukovanje klijenta, što je praktično na unajmljenom podu. Dva parametra koja odlučuju hoće li se ruka glatko pomicati su actions_per_chunk i chunk_size_threshold (lerobot dokumentacija drugi naziva g, po SmolVLA radu), a dokumentirane i isporučene vrijednosti se ne podudaraju.

Aritmetika koja odlučuje je li vaša veza dovoljno brza

Ljudi ovo preskaču i onda provedu dan na politici koja se zamrzava usred pokreta. Traje dvije minute i gotovo je uvijek presudno.

Komentirani rječnik opažanja u NVIDIA-inom eval_so100.py govori što ide preko žice: dva niza oblika (480, 640, 3) u uint8, šest zglobnih floatova, jezični niz. To je 921.600 bajtova po kadru, 1.843.200 bajtova za dvije kamere, oko 14.7 Mbit, i nijedan stog to ne komprimira JPEG-om. Dio koji se vraća je nekoliko desetaka koraka od 6 floatova. Vaš upload odlučuje o svemu, a ne vaš download.

Proračun u koji se morate uklopiti

GR00T SO-100 klijent je sinkron: poziva policy.get_action(obs), izvršava prvih action_horizon koraka bloka pri 30 FPS, a zatim ponovno poziva. Veličina bloka i horizont su različiti brojevi: NVIDIA-in vodič za implementaciju preporučuje veličinu bloka akcija od 16, najmanje 32 kada se kombinira s chunkingom u stvarnom vremenu, dok eval_so100.py isporučuje horizont izvršenja od 8. Osam koraka pri 30 FPS je 267 ms kretanja po pozivu, i sve ostalo mora stati unutar toga.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Povećanje horizonta je grubo rješenje i nije besplatno: ruka djeluje na temelju promatranja koje je sada staro. Principijelno rješenje je chunking u stvarnom vremenu, koji izračunava sljedeći blok dok se trenutni izvodi, zamrzava akcije zajamčene za izvršenje i dopunjuje ostatak; RTC rad izvještava da je robustan na kašnjenje inferencije bez ponovnog treniranja. Prvo provjerite gdje to stoji. NVIDIA označava RTC eksperimentalnim, primitivom modela niske razine dostupnim putem action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), nije povezan s Gr00tPolicy ili putanjom poslužitelj-klijent, gdje je options neiskorišten, bez testova i bez primjera. Preko poslužitelja politike dobivate asinkrono izvršavanje, a ne RTC.

Izmjerite prije nego što vjerujete

Svaki broj iznad je predviđanje. Četiri naredbe pretvaraju ga u mjerenje, koje vrijedi pokrenuti prije nego što posvetite pod-sat zadatku koji nikada ne bi uspio.

1. 1
   Dohvatite sirovo povratno putovanje

   Protiv poda, a ne CDN-a. Pratite odstupanje jednako pažljivo kao i prosjek: podrhtavanje uzrokuje zastajkivanje ruke, a ne prosječna latencija.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Izmjerite uzlaznu vezu koju imate, a ne onu koju plaćate

   Uzlazna veza u kućanstvima obično je djelić silazne veze, i to je broj u gornjoj tablici propusnosti.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Pročitajte vlastiti zapisnik latencije klijenta

   LeRobot klijent robota bilježi latenciju poslužitelj-klijent i vrijeme deserializacije za svaki dio. Na ruti B ne trebate nikakve vanjske alate.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Promatrajte pražnjenje reda čekanja akcija

   Proslijedite --debug_visualize_queue_size=True i klijent će iscrtati veličinu reda čekanja tijekom izvođenja. Ako više puta dosegne nulu, prekoračili ste proračun: smanjite fps, povećajte actions_per_chunk ili povećajte chunk_size_threshold kako bi se opažanja češće slala.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Za što je zapravo dobro udaljeno zaključivanje

Ako se udaljeno izvođenje zastajkuje na istoj točki u svakoj epizodi, mreža vjerojatno nije uzrok. Politika koja oklijeva na istom kutu zgloba svaki put obično je problem s podacima; pogledajte stranice s načinima kvara, posebno politiku koja radi samo u jednoj postavci i gubitak pada, ali politika ne radi ništa.

Raditi sami naspram rada na AY-Robots

Koliko košta udaljena sesija zaključivanja

Dvije su brojke važne: satnica kartice i koliko dugo je ostavite da radi. Prva je objavljena; druga iznenađuje ljude.

Te su cijene pročitane sa Runpodove stranice s cijenama 23. kolovoza 2026., a spot tržišta se mijenjaju. AY-Robots umjesto toga navodi cijeli rad: 3 do 6 sati po 1.20 do 2.00 USD po satu na A100 ili H100 sloju, oko 4 do 12 USD za GR00T ili Pi0.5 rad; 2 do 5 sati po 0.30 do 0.60 USD po satu na sloju od 24 GB, 1 do 3 USD za SmolVLA ili ACT. Inferencijska sesija nadmašuje trening po cijeni samo ako je zaustavite, čemu služi idle watchdog. Pogledajte i .

Ako radije ne biste imali mrežu u petlji

Daljinsko zaključivanje rješava hardverski problem i stvara problem latencije. Ponekad je bolje rješenje politika koja odgovara hardveru koji imate.

• ACT, otprilike 80 M parametara i 20 ms po koraku akcije, minimalno 50 epizoda, bilo koja kartica od 24 GB. U ponavljajućem postavu s jednim zadatkom često nadmašuje udaljeni model od 3 B, jer nikada ne čeka paket.
• SmolVLA, otprilike 450 M parametara i 245 ms po koraku akcije, minimalno 30 epizoda. Zadržava jezično uvjetovanje koje ACT-u nedostaje, a lerobot dokumentacija navodi da je potrebno oko 2 GB u vrijeme zaključivanja naspram otprilike 14 GB za PI0.
• ACT vs GR00T N1.7 za točnost, drugu polovicu kompromisa.

Postoji i srednji put: trenirajte u oblaku, evaluirajte lokalno. Fino podešavanje treba karticu od 80 GB i ne mari za latenciju, pa je treniranje GR00T N1.7 na SO-100 daljinski neupitno. Samo petlja evaluacije ima ograničenje u stvarnom vremenu; dokumentacija za treniranje i matrica modela i ruke pokrivaju tu polovicu.

Često postavljana pitanja

Kratka verzija

Udaljena inferencija za 3 B politiku je riješen inženjerski problem s neriješenim fizičkim problemom. Inženjering su dvije naredbe i SSH tunel. Fizika je da opažanje od 1.8 MB mora doći do GPU-a u drugoj zemlji i vratiti se prije nego što ruka ostane bez akcija. Izračunajte prije nego što išta unajmite, odaberite zadatak koji tolerira zastarjelo opažanje i podignite horizont izvršavanja umjesto da se nadate poboljšanju veze.

Ako još niste snimili skup podataka, snimite svoj prvi skup podataka i vodič za postavljanje SO-100 dolaze prvi, a format skupa podataka LeRobot unos objašnjava što snimač piše. Pozadina je u modelima vizije-jezika-akcije i radu na politici usklađivanja toka; unos u arenu povezuje svaki broj mjerila s izvorom.