Ekzekutoni Inferencën GR00T Pa një GPU Lokale

Një Raspberry Pi është i mjaftueshëm për të drejtuar një përmes një baze serike dhe për të marrë korniza nga dy kamera USB. Nuk është e mjaftueshme për të ekzekutuar një model me tre miliardë parametra : README i NVIDIA-s e vendos inferencën e GR00T N1.7 në një GPU me 16 GB ose më shumë VRAM. Për të parë se çfarë bën pika juaj e kontrollit e në krah pa blerë një kartë, vendoseni politikën në një GPU të marrë me qira në cloud, mbajeni ciklin e robotit në makinën me portat USB dhe dërgoni vëzhgimet dhe copëzat e veprimeve përmes rrjetit.

Funksionon, nuk është falas dhe çmimi nuk shpërndahet në mënyrë të barabartë nëpër detyra. Më poshtë: serveri i politikave i NVIDIA-s, staku asinkron i lerobot-it, aritmetika që tregon paraprakisht nëse lidhja juaj ngjitëse është mjaftueshëm e shpejtë dhe rruga e platformës. E gjithë kjo u kontrollua kundrejt degës kryesore të Isaac-GR00T (N1.7 GA) dhe lerobot 0.6.1 më 23 gusht 2026.

Pse politika nuk do të përshtatet në makinën e robotit

Dy nga pesë politikat që AY-Robots mund të trajnojë funksionojnë në një kartë pune, tre jo. Kolona e më poshtë është për hap veprimi, dhe ky është numri që konkurron me udhëtimin e rrjetit tuaj vajtje-ardhje.

Lexojeni këtë si një vendim, jo si gjëra të parëndësishme. me 20 ms për hap funksionon në makinën robotike dhe nuk do të mendoni më kurrë për të. me 485 ms ka kaluar një e treta e sekondës para se një paketë të largohet nga ndërtesa juaj. dhe shtojnë anën e saktësisë.

Dy shtresat klient-server që ekzistojnë tashmë

Isaac-GR00T ofron një server kërkesë-përgjigje ZeroMQ; lerobot ofron një server gRPC të ndërtuar rreth inferencës asinkrone. Të dyja pranojnë një GR00T pikë kontrolli. Lista e politikave të mbështetura nga lerobot në async_inference/constants.py është act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 dhe groot; lista e robotëve të tij është so100_follower, so101_follower, bi_so_follower dhe omx_follower.

Rreshti i serializimit ka më shumë rëndësi sesa duket. MsgSerializer i GR00T refuzon ngarkesat ndarray të tipit object-dtype në të dy drejtimet, sepse msgpack_numpy përndryshe do t'i kalonte ato te pickle. lerobot përdor pickle në vend të kësaj: policy_server.py thërret pickle.loads mbi të dhënat e kërkesës, robot_client.py përdor pickle për vëzhgimin që dërgon. E mbrojtshme në një LAN të besuar, e pambrojtshme sapo porta të jetë e arritshme nga interneti.

Rruga A: Serveri i politikave GR00T i NVIDIA-s

Kjo është rruga që NVIDIA dokumenton për harduerin SO-100 dhe SO-101, dhe ajo që duhet përdorur nëse pika juaj e kontrollit doli nga examples/finetune.sh me --embodiment-tag NEW_EMBODIMENT. Hapat shtojnë atë që README-ja origjinale lë jashtë: marrjen e portës te roboti pa e ekspozuar atë ndaj të gjithëve të tjerëve.

1. 1
   Instaloni GR00T në kutinë GPU të marrë me qira

   Nënmodulet janë të nevojshme, dhe git-lfs duhet të ekzistojë para klonimit ose skedarët parquet në demo_data do të mbërrijnë si tregues. flash-attn dhe TensorRT vijnë me instalimin e paracaktuar. Kurthi në një imazh të ri pod-i: torchcodec 0.8.0 është i vetmi backend video i mbështetur dhe ngarkon vetëm FFmpeg 4 deri në 7. Ubuntu 25.10 dhe 26.04 dërgojnë FFmpeg 8, kështu që GR00T dështon me Could not load libtorchcodec. Instaloni një FFmpeg nën 8 dhe vendosni bibliotekat e tij në LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Autentifikohuni kundër shtyllës kurrizore të mbrojtur

   Çdo pikë kontrolli GR00T N1.7, duke përfshirë edhe fine-tune-in tuaj, ngarkon nvidia/Cosmos-Reason2-2B të mbrojtur në përdorimin e parë. Kërkoni akses në faqen e modelit dhe identifikohuni në pod, ose ngarkimi dështon me një GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Nisni serverin e politikave

   Drejtoni --model-path te direktoriumi juaj i pikës së kontrollit; në atë rrugë serveri injoron --modality-config-path, i cili lexohet vetëm në rrugën e riprodhimit. Lëreni mënjanë --model-path dhe kaloni --dataset-path plus --execution-horizon në vend të kësaj për një ReplayPolicy që riprodhon veprimet e regjistruara, mënyra më e lirë për të provuar se lidhja funksionon.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tuneloni portën 5555 te makina e robotit

   Lidheni me loopback, si më sipër, dhe kaloni portën përmes SSH ose një rrjeti të tipit WireGuard. Kjo siguron enkriptimin dhe autentifikimin që socket-i ZeroMQ nuk e bën, për rreth një milisekondë.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Ekzekutoni klientin e robotit pranë servove

   Klienti ka nevojë për mjedisin e tij uv: ai dëshiron drejtuesit e robotit të lerobot, jo stack-un e trajnimit. eval_so100.py importon so100_follower, so101_follower dhe koch_follower, prandaj kaloni --robot.type që përputhet me krahun tuaj (README-ja origjinale përdor so101_follower). Çelësat e kamerës duhet të përputhen me trajnimin: adaptori lexon saktësisht front dhe wrist, dhe ndërrimi i tyre i tregon politikës pamjen e gabuar.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Rruga B: inferenca asinkrone lerobot

lerobot zgjidh një problem tjetër. Në vend që të bllokojë robotin ndërsa modeli mendon, klienti vazhdon të ecë nëpër radhën që tashmë ka ndërsa serveri llogarit bllokun tjetër. Kjo është copëtimi i veprimeve e çuar më tej, stiva asinkrone e prezantuar me SmolVLA. Funksionon edhe me një pikë kontrolli GR00T.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Serveri fillon bosh: ai nuk e di se cilën politikë shërben derisa shtrëngimi i parë i duarve nga klienti t'ia tregojë, gjë që është e përshtatshme në një pod me qira. Dy parametrat që vendosin nëse krahu lëviz pa probleme janë actions_per_chunk dhe chunk_size_threshold (dokumentacioni i lerobot e quan të dytin g, pas punimit SmolVLA), dhe vlerat e dokumentuara dhe vlerat e dërguara nuk përputhen.

Aritmetika që vendos nëse lidhja juaj është mjaft e shpejtë

Njerëzit e anashkalojnë këtë dhe më pas kalojnë një ditë me . Duhen dy minuta dhe është pothuajse gjithmonë vendimtare.

Fjalori i vëzhgimit me komente në NVIDIA's eval_so100.py thotë se çfarë kalon në rrjet: dy matrica me formë (480, 640, 3) në uint8, gjashtë numra me presje lëvizëse për nyjet, një varg gjuhe. Kjo është 921,600 bajt për kornizë, 1,843,200 bajt për dy kamera, rreth 14.7 Mbit, dhe asnjëra prej tyre nuk e kompreson me JPEG. Blloku që kthehet është disa dhjetëra hapa me 6 numra me presje lëvizëse. Ngarkimi juaj vendos gjithçka, jo shkarkimi juaj.

Buxheti ku duhet të përshtateni

Klienti GR00T SO-100 është sinkron: ai thërret policy.get_action(obs), ekzekuton hapat e parë action_horizon të bllokut me 30 FPS, pastaj thërret përsëri. Madhësia e bllokut dhe horizonti janë numra të ndryshëm: udhëzuesi i vendosjes së NVIDIA-s rekomandon një madhësi blloku veprimi prej 16, të paktën 32 kur kombinohet me chunking në kohë reale, ndërsa eval_so100.py ofron një horizont ekzekutimi prej 8. Tetë hapa me 30 FPS janë 267 ms lëvizje për thirrje, dhe gjithçka tjetër duhet të përshtatet brenda kësaj.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Rritja e horizontit është zgjidhja e drejtpërdrejtë dhe jo falas: krahu vepron mbi një vëzhgim që tani është i vjetër. Zgjidhja parimore është chunking në kohë reale, e cila llogarit bllokun tjetër ndërsa ai aktual po ekzekutohet, ngrin veprimet e garantuara për t'u ekzekutuar dhe pikturon pjesën tjetër; dokumenti i RTC-së e raporton atë si të qëndrueshme ndaj vonesës së inferencës pa ritrajnim. Kontrolloni së pari se ku qëndron kjo. NVIDIA e shënon RTC-në si eksperimentale, një primitiv modeli i nivelit të ulët i arritshëm përmes action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), i pa lidhur me Gr00tPolicy ose rrugën server-klient, ku options është i papërdorur, pa teste dhe pa shembull. Përmes një serveri politikash ju merrni ekzekutim asinkron, jo RTC.

Mateni para se t'i besoni

Çdo numër më lart është një parashikim. Katër komanda e kthejnë atë në një matje, që ia vlen të ekzekutohet para se të angazhohet një orë pod-i për një detyrë që nuk do të funksiononte kurrë.

1. 1
   Merrni udhëtimin e papërpunuar vajtje-ardhje

   Kundër pod-it, jo një CDN. Vëzhgoni devijimin po aq afër sa mesataren: dridhja e bën një krah të ngecë, jo vonesa mesatare.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Matni lidhjen ngarkuese që keni, jo atë për të cilën paguani

   Ngarkimi rezidencial është zakonisht një fraksion i shkarkimit, dhe është numri në tabelën e gjerësisë së brezit më lart.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Lexoni regjistrin e vonesës së vetë klientit

   Klienti i robotit lerobot regjistron vonesën server-klient dhe kohën e deserializimit për çdo bllok. Në rrugën B nuk keni nevojë për mjete të jashtme.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Vëzhgoni zbrazjen e radhës së veprimeve

   Kaloni --debug_visualize_queue_size=True dhe klienti vizaton madhësinë e radhës gjatë ekzekutimit. Nëse vazhdimisht arrin zero, jeni jashtë buxhetit: ulni fps, rrisni actions_per_chunk, ose rrisni chunk_size_threshold në mënyrë që vëzhgimet të dalin më shpesh.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Për çfarë është e mirë në të vërtetë inferenca në distancë

Nëse një ekzekutim në distancë ngec në të njëjtën pikë në çdo episod, rrjeti ndoshta nuk është shkaku. Një politikë që heziton në të njëjtin kënd të kyçit çdo herë është zakonisht një problem i të dhënave; shihni faqet e mënyrave të dështimit, në veçanti një politikë që funksionon vetëm në një konfigurim dhe humbja bie por politika nuk bën asgjë.

Ta bësh vetë kundrejt ta bësh në AY-Robots

Sa kushton një sesion inference në distancë

Dy numra kanë rëndësi: tarifa orare e kartës, dhe sa kohë e lini të funksionojë. E para është e publikuar; e dyta i habit njerëzit.

Këto tarifa u lexuan nga faqja e çmimeve të Runpod më 23 gusht 2026, dhe tregjet spot lëvizin. AY-Robots citon një ekzekutim të plotë në vend: 3 deri në 6 orë me 1.20 deri në 2.00 USD për orë në nivelin A100 ose H100, rreth 4 deri në 12 USD për një ekzekutim GR00T ose Pi0.5; 2 deri në 5 orë me 0.30 deri në 0.60 USD për orë në nivelin 24 GB, 1 deri në 3 USD për SmolVLA ose ACT. Një sesion inferencë e tejkalon një ekzekutim trajnimi në kosto vetëm nëse e ndaloni, për këtë shërben mbikëqyrësi i pasivitetit. Shihni dokumentet e faturimit dhe faqen e çmimeve.

Nëse preferoni të mos keni rrjetin në qark

Inferenca në distancë zgjidh një problem harduerik dhe krijon një problem vonese. Ndonjëherë përgjigja më e mirë është një politikë që i përshtatet harduerit që keni.

• ACT, afërsisht 80 M parametra dhe 20 ms për hap veprimi, minimumi 50 episode, çdo kartë 24 GB. Në një konfigurim të përsëritur me një detyrë, shpesh tejkalon një model 3 B në distancë, sepse nuk pret kurrë për një paketë.
• SmolVLA, afërsisht 450 M parametra dhe 245 ms për hap veprimi, minimumi 30 episode. Ai ruan kushtëzimin gjuhësor që i mungon ACT, dhe dokumentet e lerobot e vendosin atë në rreth 2 GB në kohën e inferencës kundrejt afërsisht 14 GB për PI0.
• ACT vs GR00T N1.7 për gjysmën e saktësisë së shkëmbimit.

Ekziston edhe një rrugë e mesme: stërvituni në cloud, vlerësoni lokalisht. ka nevojë për kartën 80 GB dhe nuk i intereson vonesa, kështu që në distancë është e pakontestueshme. Vetëm cikli i vlerësimit ka një kufizim në kohë reale; dhe mbulojnë atë gjysmë.

Pyetje të shpeshta

Versioni i shkurtër

Inferenca në distancë për një 3 B politikë është një problem inxhinierik i zgjidhur me një problem fizik të pazgjidhur të bashkangjitur. Inxhinieria janë dy komanda dhe një tunel SSH. Fizika është se një vëzhgim prej 1.8 MB duhet të arrijë një GPU në një vend tjetër dhe të kthehet para se krahu të mbarojë veprimet. Bëni llogaritjet para se të merrni me qira diçka, zgjidhni një detyrë që toleron një vëzhgim të vjetër, dhe rrisni horizontin e ekzekutimit në vend që të shpresoni se lidhja do të përmirësohet.

Nëse nuk keni regjistruar ende një grup të dhënash, regjistroni grupin tuaj të parë të të dhënave dhe udhëzuesi i konfigurimit të SO-100 vijnë të parët, dhe hyrja e formatit të grupit të të dhënave LeRobot shpjegon se çfarë shkruan regjistruesi. Sfondi është në modelet vizion-gjuhë-veprim dhe puna e politikës së përputhjes së rrjedhës; hyrja në arenë lidh çdo numër referencë me një burim.