Pokrenite GR00T zaključivanje bez lokalnog GPU-a

Raspberry Pi je dovoljan za pokretanje preko serijske magistrale i preuzimanje okvira sa dvije USB kamere. Nije dovoljan za pokretanje modela sa tri milijarde parametara, : NVIDIA-in README navodi da GR00T N1.7 inferencija zahtijeva jedan GPU sa 16 GB ili više VRAM-a. Da biste vidjeli šta vaša fino podešena kontrolna tačka radi na ruci bez kupovine kartice, postavite politiku na iznajmljeni cloud GPU, zadržite robotsku petlju na mašini sa USB portovima i šaljite opservacije i dijelove akcija preko mreže.

Radi, nije besplatno, a cijena nije ravnomjerno raspoređena po zadacima. Ispod: NVIDIA-in vlastiti server politika, lerobot-ov asinhroni stack, aritmetika koja unaprijed govori da li je vaš uplink dovoljno brz i ruta platforme. Sve je provjereno u odnosu na glavnu granu Isaac-GR00T (N1.7 GA) i lerobot 0.6.1 na dan 23. augusta 2026.

Zašto politika neće stati na robotsku mašinu

Dvije od pet politika koje AY-Robots može trenirati rade na radnoj stanici, tri ne. Kolona ispod je po koraku akcije, i to je broj koji se takmiči sa vašim mrežnim povratnim putovanjem.

Čitajte to kao odluku, a ne kao trivijalnost. sa 20 ms po koraku radi na mašini robota i nikada više ne razmišljate o tome. sa 485 ms je potrošio trećinu sekunde pre nego što paket napusti vašu zgradu. i dodaju stranu preciznosti.

Dva postojeća klijent-server steka

Isaac-GR00T isporučuje ZeroMQ server za zahtjev-odgovor; lerobot isporučuje gRPC server izgrađen oko asinhronog zaključivanja. Oba prihvataju GR00T kontrolnu tačku. lerobotova lista podržanih politika u async_inference/constants.py je act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 i groot; njegova lista robota je so100_follower, so101_follower, bi_so_follower i omx_follower.

Redoslijed serijalizacije je važniji nego što izgleda. GR00T-ov MsgSerializer odbija ndarray pakete tipa objekta u oba smjera, jer bi ih msgpack_numpy inače predao pickle-u. lerobot umjesto toga koristi pickle: policy_server.py poziva pickle.loads na podacima zahtjeva, robot_client.py serijalizira zapažanje koje šalje. Odbranjivo na pouzdanoj LAN mreži, neodbranjivo kada je port dostupan sa interneta.

Ruta A: NVIDIJIN vlastiti GR00T server politika

Ovo je putanja koju NVIDIA dokumentuje za SO-100 i SO-101 hardver, i ona koju treba koristiti ako je vaša kontrolna tačka proizašla iz examples/finetune.sh sa --embodiment-tag NEW_EMBODIMENT. Koraci dodaju ono što je izostavljeno u izvornom README-u: kako dovesti port do robota bez izlaganja svima ostalima.

1. 1
   Instalirajte GR00T na iznajmljenom GPU računaru

   Potrebni su podmoduli, a git-lfs mora postojati prije kloniranja ili će parquet datoteke u demo_data stići kao pokazivači. flash-attn i TensorRT dolaze sa podrazumijevanom instalacijom. Zamka na svježoj slici pod-a: torchcodec 0.8.0 je jedini podržani video backend i učitava samo FFmpeg 4 do 7. Ubuntu 25.10 i 26.04 isporučuju FFmpeg 8, tako da GR00T ne uspijeva sa Could not load libtorchcodec. Instalirajte FFmpeg ispod verzije 8 i stavite njegove biblioteke na LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Autentifikacija protiv ograničene okosnice

   Svaka GR00T N1.7 kontrolna tačka, uključujući i vašu vlastitu finu prilagodbu, učitava ograničeni nvidia/Cosmos-Reason2-2B pri prvoj upotrebi. Zatražite pristup na stranici modela i prijavite se na pod, inače učitavanje neće uspjeti sa GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Pokrenite server politika

   Usmjerite --model-path na vaš direktorij kontrolnih tačaka; na toj putanji server ignoriše --modality-config-path, koji se čita samo na putanji ponavljanja. Izostavite --model-path i umjesto toga proslijedite --dataset-path plus --execution-horizon za ReplayPolicy koja ponavlja snimljene akcije, što je najjeftiniji način da se dokaže da ožičenje radi.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tunelirajte port 5555 do mašine robota

   Vežite se za loopback, kao gore, i prenesite port preko SSH-a ili mreže u stilu WireGuard-a. To obezbjeđuje enkripciju i autentifikaciju koju ZeroMQ socket ne pruža, za otprilike milisekundu.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Pokrenite klijenta robota pored servo motora

   Klijentu je potrebno vlastito uv okruženje: želi lerobot-ove drajvere za robote, a ne stack za obuku. eval_so100.py uvozi so100_follower, so101_follower i koch_follower, pa proslijedite --robot.type koji odgovara vašoj ruci (izvorni README koristi so101_follower). Ključevi kamere moraju odgovarati obuci: adapter čita tačno front i wrist, a zamjena ih prikazuje pogrešan pogled politici.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Ruta B: lerobot asinhrona inferencija

lerobot rešava drugačiji problem. Umesto da blokira robota dok model razmišlja, klijent nastavlja da prolazi kroz red koji već ima dok server izračunava sledeći deo. Ovo je segmentiranje akcija dalje razvijeno, asinhroni stek uveden sa SmolVLA. Radi i sa GR00T kontrolnom tačkom.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Server se pokreće prazan: ne zna koju politiku opslužuje dok mu to ne kaže prvi handshake klijenta, što je zgodno na iznajmljenom podu. Dva parametra koja odlučuju hoće li se ruka kretati glatko su actions_per_chunk i chunk_size_threshold (lerobot dokumentacija drugi naziva g, po SmolVLA radu), a dokumentovane i isporučene vrednosti se ne podudaraju.

Aritmetika koja odlučuje da li je vaša veza dovoljno brza

Ljudi ovo preskaču i onda provedu dan na . Traje dvije minute i gotovo je uvijek odlučujuće.

Komentirani rječnik opažanja u NVIDIA-inom eval_so100.py kaže što ide preko žice: dva niza oblika (480, 640, 3) u uint8, šest zajedničkih floatova, jezični niz. To je 921,600 bajtova po kadru, 1,843,200 bajtova za dvije kamere, oko 14.7 Mbit, i nijedan stog to ne JPEG-komprimira. Dio koji se vraća je nekoliko desetaka koraka od 6 floatova. Vaš upload odlučuje o svemu, a ne vaš download.

Budžet u koji se morate uklopiti

GR00T SO-100 klijent je sinhron: poziva policy.get_action(obs), izvršava prvih action_horizon koraka bloka pri 30 FPS, a zatim ponovo poziva. Veličina bloka i horizont su različiti brojevi: NVIDIA-in vodič za implementaciju preporučuje veličinu bloka akcija od 16, najmanje 32 kada se kombinuje sa chunkingom u realnom vremenu, dok eval_so100.py isporučuje horizont izvršenja od 8. Osam koraka pri 30 FPS je 267 ms kretanja po pozivu, i sve ostalo mora da stane unutar toga.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Povećanje horizonta je grubo rešenje i nije besplatno: ruka deluje na zapažanje koje je sada staro. Principijelno rešenje je chunking u realnom vremenu, koji izračunava sledeći blok dok se trenutni izvršava, zamrzava akcije garantovane za izvršenje i dopunjava ostatak; RTC rad ga izveštava kao robustan na kašnjenje inferencije bez ponovne obuke. Prvo proverite gde to stoji. NVIDIA označava RTC kao eksperimentalni, primitiv modela niskog nivoa dostupan putem action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), nije povezan sa Gr00tPolicy ili putanjom server-klijent, gde je options neiskorišćen, bez testova i bez primera. Preko servera politike dobijate asinhrono izvršenje, a ne RTC.

Izmjerite prije nego što povjerujete

Svaki broj iznad je predviđanje. Četiri komande ga pretvaraju u mjerenje, koje vrijedi pokrenuti prije nego što se posveti pod-sat zadatku koji nikada ne bi funkcionirao.

1. 1
   Dobijte sirovo povratno putovanje

   Protiv poda, ne CDN-a. Pratite odstupanje jednako pažljivo kao i prosjek: podrhtavanje uzrokuje zastajkivanje ruke, a ne prosječna latencija.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Izmjerite uplink koji imate, a ne onaj koji plaćate

   Kućni upload je obično djelić downloada, i to je broj u gornjoj tablici propusnosti.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Pročitajte vlastiti log latencije klijenta

   LeRobot robot klijent bilježi latenciju server-klijent i vrijeme deserializacije za svaki chunk. Na ruti B vam nije potreban nikakav vanjski alat.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Pratite pražnjenje reda čekanja akcija

   Proslijedite --debug_visualize_queue_size=True i klijent će iscrtati veličinu reda čekanja tokom izvršavanja. Ako više puta dosegne nulu, prekoračili ste budžet: smanjite fps, povećajte actions_per_chunk, ili povećajte chunk_size_threshold kako bi se opservacije češće slale.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Čemu zapravo služi udaljena inferencija

Ako se udaljeno izvršavanje zastajkuje na istoj tački u svakoj epizodi, mreža vjerovatno nije uzrok. Politika koja oklijeva na istom kutu zgloba svaki put obično je problem sa podacima; pogledajte stranice o načinima kvara, posebno politiku koja radi samo u jednom podešavanju i gubitak opada, ali politika ne radi ništa.

Raditi sami naspram rada na AY-Robots

Koliko košta sesija udaljenog zaključivanja

Dvije stvari su važne: satnica kartice i koliko dugo je ostavite da radi. Prva je objavljena; druga iznenađuje ljude.

Te cijene su pročitane sa Runpod-ove stranice za cijene 23. augusta 2026. godine, a spot tržišta se mijenjaju. AY-Robots umjesto toga navodi cijenu za cijelo pokretanje: 3 do 6 sati po 1.20 do 2.00 USD po satu na A100 ili H100 nivou, oko 4 do 12 USD za GR00T ili Pi0.5 pokretanje; 2 do 5 sati po 0.30 do 0.60 USD po satu na 24 GB nivou, 1 do 3 USD za SmolVLA ili ACT. Sesija inferencije je isplativija od sesije treniranja samo ako je zaustavite, čemu služi idle watchdog. Pogledajte dokumentaciju o naplati i stranicu s cijenama.

Ako radije ne biste imali mrežu u petlji

Daljinsko zaključivanje rješava hardverski problem i stvara problem latencije. Ponekad je bolje rješenje politika koja odgovara hardveru koji imate.

• ACT, otprilike 80 M parametara i 20 ms po koraku akcije, minimalno 50 epizoda, bilo koja kartica od 24 GB. U ponavljajućem postavu s jednim zadatkom često nadmašuje udaljeni model od 3 B, jer nikada ne čeka paket.
• SmolVLA, otprilike 450 M parametara i 245 ms po koraku akcije, minimalno 30 epizoda. Zadržava jezičko uslovljavanje koje ACT nema, a lerobot dokumentacija ga procjenjuje na oko 2 GB u vrijeme zaključivanja u odnosu na otprilike 14 GB za PI0.
• ACT vs GR00T N1.7 za polovinu kompromisa koja se tiče preciznosti.

Postoji i srednji put: trenirajte u oblaku, procjenjujte lokalno. Fino podešavanje zahtijeva karticu od 80 GB i ne brine o latenciji, tako da je treniranje GR00T N1.7 na SO-100 daljinski neupitno. Samo petlja evaluacije ima ograničenje u realnom vremenu; dokumentacija za obuku i matrica modela i ruke pokrivaju tu polovinu.

Često postavljana pitanja

Kratka verzija

Udaljena inferencija za 3 B politika je riješen inženjerski problem sa neriješenim fizičkim problemom. Inženjering su dvije komande i SSH tunel. Fizika je da opažanje od 1.8 MB mora stići do GPU-a u drugoj zemlji i vratiti se prije nego što ruka ostane bez akcija. Uradite aritmetiku prije iznajmljivanja bilo čega, odaberite zadatak koji toleriše zastarjelo opažanje i podignite horizont izvršenja umjesto da se nadate poboljšanju veze.

Ako još niste snimili skup podataka, snimite svoj prvi skup podataka i vodič za podešavanje SO-100 dolaze prvi, a LeRobot format skupa podataka unos objašnjava šta snimač piše. Pozadina je u modelima vida, jezika i akcije i radu na politici usklađivanja toka; unos u arenu povezuje svaki broj mjerila sa izvorom.