Palaist GR00T secinājumus bez lokālā GPU

Ar Raspberry Pi pietiek, lai vadītu caur seriālo kopni un iegūtu kadrus no divām USB kamerām. Ar to nepietiek, lai palaistu trīs miljardu parametru : NVIDIA README norāda, ka GR00T N1.7 secinājumiem nepieciešams viens GPU ar 16 GB vai vairāk VRAM. Lai redzētu, ko jūsu precizētais kontrolpunkts dara ar robotu bez kartes iegādes, ievietojiet politiku nomātā mākoņa GPU, saglabājiet robota cilpu mašīnā ar USB portiem un sūtiet novērojumus un darbību fragmentus pa tīklu.

Tas darbojas, tas nav bez maksas, un cena nav vienmērīgi sadalīta starp uzdevumiem. Zemāk: NVIDIA pašu politikas serveris, lerobot asinhronā steka, aprēķins, kas iepriekš pasaka, vai jūsu augšupsaites ātrums ir pietiekams, un platformas maršruts. Viss pārbaudīts pret Isaac-GR00T galveno zaru (N1.7 GA) un lerobot 0.6.1 2026. gada 23. augustā.

Kāpēc politika nederēs robota mašīnā

Divas no piecām politikām, ko AY-Robots var apmācīt, darbojas uz darbstacijas kartes, trīs nedarbojas. Zemāk esošā kolonna ir par katru darbības soli, un tas ir skaitlis, kas konkurē ar jūsu tīkla turp-atpakaļ ceļa laiku.

Uztveriet to kā lēmumu, nevis sīkumu. ar 20 ms par soli darbojas uz robota mašīnas, un jums par to vairs nav jādomā. ar 485 ms ir pavadījis trešdaļu sekundes, pirms pakete atstāj jūsu ēku. un pievieno precizitātes pusi.

Divas jau esošās klienta-servera steks

Isaac-GR00T piegādā ZeroMQ pieprasījumu-atbilžu serveri; lerobot piegādā gRPC serveri, kas veidots ap asinhronu secinājumu. Abi pieņem GR00T kontrolpunktu. lerobot atbalstīto politiku saraksts async_inference/constants.py ir act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 un groot; tā robotu saraksts ir so100_follower, so101_follower, bi_so_follower un omx_follower.

Serializācijas rinda ir svarīgāka, nekā šķiet. GR00T MsgSerializer atsakās no objektu-dtype ndarray datu plūsmām abos virzienos, jo msgpack_numpy citādi tās nodotu pickle. lerobot tā vietā izmanto pickle: policy_server.py izsauc pickle.loads uz pieprasījuma datiem, robot_client.py serializē novērojumu, ko tas sūta. Aizstāvami uzticamā LAN tīklā, neaizstāvami, ja ports ir sasniedzams no interneta.

A maršruts: NVIDIA pašu GR00T politikas serveris

Šis ir ceļš, ko NVIDIA dokumentē SO-100 un SO-101 aparatūrai, un tas, ko izmantot, ja jūsu kontrolpunkts tika iegūts no examples/finetune.sh ar --embodiment-tag NEW_EMBODIMENT. Šie soļi papildina to, ko izlaiž sākotnējais README: kā novirzīt portu uz robotu, nepadarot to pieejamu visiem citiem.

1. 1
   Instalējiet GR00T uz nomātās GPU kastes

   Apakšmoduļi ir nepieciešami, un git-lfs ir jābūt pirms klonēšanas, citādi parquet faili demo_data nonāks kā rādītāji. flash-attn un TensorRT nāk ar noklusējuma instalāciju. Svarīga piezīme svaigā pod attēlā: torchcodec 0.8.0 ir vienīgais atbalstītais video aizmugursistēma un ielādē tikai FFmpeg no 4 līdz 7. Ubuntu 25.10 un 26.04 piegādā FFmpeg 8, tāpēc GR00T neizdodas ar Could not load libtorchcodec. Instalējiet FFmpeg versiju, kas ir zemāka par 8, un ievietojiet tās bibliotēkas LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Autentificēties pret aizsargāto pamatsistēmu

   Katrs GR00T N1.7 kontrolpunkts, ieskaitot jūsu pašu precīzo pielāgojumu, pirmajā lietošanas reizē ielādē aizsargāto nvidia/Cosmos-Reason2-2B. Pieprasiet piekļuvi modeļa lapā un piesakieties podā, pretējā gadījumā ielāde neizdosies ar GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Palaidiet politikas serveri

   Norādiet --model-path uz jūsu kontrolpunkta direktoriju; šajā ceļā serveris ignorē --modality-config-path, kas tiek lasīts tikai atkārtošanas ceļā. Izlaidiet --model-path un tā vietā nododiet --dataset-path plus --execution-horizon, lai izmantotu ReplayPolicy, kas atkārto ierakstītās darbības – lētākais veids, kā pierādīt, ka savienojums darbojas.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tunelējiet portu 5555 uz robota mašīnu

   Piesaistiet cilpas interfeisam, kā norādīts iepriekš, un pārsūtiet portu, izmantojot SSH vai WireGuard stila tīklu. Tas nodrošina šifrēšanu un autentifikāciju, ko ZeroMQ ligzda nenodrošina, aptuveni milisekundes laikā.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Palaidiet robota klientu blakus servomotoriem

   Klientam ir nepieciešama sava uv vide: tas vēlas lerobot robota draiverus, nevis apmācības steku. eval_so100.py importē so100_follower, so101_follower un koch_follower, tāpēc nododiet --robot.type, kas atbilst jūsu robotam (sākotnējais README izmanto so101_follower). Kameras atslēgām jāatbilst apmācībai: adapteris nolasa tieši front un wrist, un to apmaiņa parāda politikai nepareizu skatu.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

B maršruts: lerobot asinhronā secināšana

lerobot risina citu problēmu. Tā vietā, lai bloķētu robotu, kamēr modelis domā, klients turpina virzīties cauri jau esošajai rindai, kamēr serveris aprēķina nākamo gabalu. Tas ir darbību sadalīšana gabalos attīstīts tālāk, asinhronā steka ieviešana ar SmolVLA. Tas darbojas arī ar GR00T kontrolpunktu.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Serveris startē tukšs: tas nezina, kādu politiku tas apkalpo, līdz klienta pirmais "handshake" to paziņo, kas ir ērti īrētā podā. Divi regulatori, kas nosaka, vai roka kustas vienmērīgi, ir actions_per_chunk un chunk_size_threshold (lerobot dokumentācija otro sauc par g, atsaucoties uz SmolVLA rakstu), un dokumentētās vērtības un piegādātās vērtības nesakrīt.

Aritmētika, kas nosaka, vai jūsu savienojums ir pietiekami ātrs

Cilvēki to izlaiž un pēc tam pavada dienu pie . Tas aizņem divas minūtes un gandrīz vienmēr ir izšķirošs.

NVIDIA komentētais novērojumu vārdnīca (observation dict) failā eval_so100.py norāda, kas tiek pārraidīts: divi masīvi ar izmēru (480, 640, 3) uint8 formātā, seši savienojumu peldošā punkta skaitļi, valodas virkne. Tas ir 921 600 baiti vienam kadram, 1 843 200 baiti divām kamerām, aptuveni 14,7 Mbit, un neviens no stakiem to nesaspiež ar JPEG. Atpakaļ saņemtais bloks ir daži desmiti soļu ar 6 peldošā punkta skaitļiem. Jūsu augšupielāde izlemj visu, nevis lejupielāde.

Budžets, kurā jums jāiekļaujas

GR00T SO-100 klients ir sinhronisks: tas izsauc policy.get_action(obs), izpilda pirmos action_horizon soļus no bloka ar 30 FPS, tad izsauc atkal. Bloka izmērs un horizonts ir atšķirīgi skaitļi: NVIDIA izvietošanas ceļvedis iesaka darbības bloka izmēru 16, vismaz 32, ja to apvieno ar reāllaika sadalīšanu blokos, savukārt eval_so100.py nodrošina izpildes horizontu 8. Astoņi soļi ar 30 FPS ir 267 ms kustības uz katru izsaukumu, un viss pārējais ir jāiekļauj šajā laikā.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Horizonta palielināšana ir rupjš un ne bezmaksas risinājums: roka darbojas, pamatojoties uz novērojumu, kas tagad ir vecs. Principālais risinājums ir reāllaika sadalīšana blokos (real-time chunking), kas aprēķina nākamo bloku, kamēr pašreizējais darbojas, iesaldē darbības, kuras garantēti tiks izpildītas, un aizpilda pārējo; RTC raksts ziņo, ka tas ir izturīgs pret secinājumu aizkavēšanos bez atkārtotas apmācības. Vispirms pārbaudiet, kāda ir situācija. NVIDIA atzīmē RTC kā eksperimentālu, zema līmeņa modeļa primitīvu, kas sasniedzams caur action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), nav savienots ar Gr00tPolicy vai servera-klienta ceļu, kur options netiek izmantots, bez testiem un bez piemēra. Izmantojot politikas serveri, jūs iegūstat asinhronu izpildi, nevis RTC.

Izmēri pirms uzticies

Katrs iepriekš minētais skaitlis ir prognoze. Četras komandas to pārvērš mērījumā, ko ir vērts veikt pirms pod-stundas veltīšanas uzdevumam, kas nekad nebūtu darbojies.

1. 1
   Iegūstiet neapstrādātu turp-atpakaļ ceļu

   Pret podu, nevis CDN. Vērojiet novirzi tikpat uzmanīgi kā vidējo: trīce liek rokai raustīties, nevis vidējais latentums.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Izmēriet augšupsaiti, kas jums ir, nevis to, par ko maksājat

   Mājas augšupielādes ātrums parasti ir daļa no lejupielādes ātruma, un tas ir skaitlis iepriekš redzamajā joslas platuma tabulā.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Izlasiet klienta paša latentuma žurnālu

   LeRobot robota klients reģistrē servera-klienta latentumu un deserializācijas laiku katram datu blokam. B maršrutā jums nav nepieciešami ārēji rīki.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Vērojiet darbību rindas iztukšošanos

   Nododiet --debug_visualize_queue_size=True, un klients izpildes laikā attēlos rindas lielumu. Ja tas atkārtoti sasniedz nulli, jums ir beidzies budžets: samaziniet fps, palieliniet actions_per_chunk vai palieliniet chunk_size_threshold, lai novērojumi tiktu nosūtīti biežāk.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Kam patiesībā ir noderīga attālā secināšana

Ja attālā izpilde raustās vienā un tajā pašā punktā katrā epizodē, tīkls, iespējams, nav cēlonis. Politika, kas katru reizi vilcinās pie viena un tā paša locītavas leņķa, parasti ir datu problēma; skatiet kļūdu režīmu lapas, jo īpaši politika, kas darbojas tikai vienā iestatījumā un zudums samazinās, bet politika neko nedara.

Darīt to pašam pret darīšanu uz AY-Robots

Cik maksā attālā secinājumu sesija

Svarīgi ir divi skaitļi: kartes stundas likme un tas, cik ilgi jūs to atstājat darboties. Pirmais ir publicēts; otrais pārsteidz cilvēkus.

Šīs cenas tika nolasītas no Runpod cenu lapas 2026. gada 23. augustā, un tūlītējie tirgi mainās. AY-Robots tā vietā piedāvā visu izpildes laiku: 3 līdz 6 stundas par 1.20 līdz 2.00 USD stundā A100 vai H100 līmenī, aptuveni 4 līdz 12 USD par GR00T vai Pi0.5 izpildi; 2 līdz 5 stundas par 0.30 līdz 0.60 USD stundā 24 GB līmenī, 1 līdz 3 USD par SmolVLA vai ACT. Secinājumu sesija pārspēj apmācības izpildi izmaksu ziņā tikai tad, ja to apturat, kam paredzēts dīkstāves sargsuns. Skatiet norēķinu dokumentāciju un cenu lapu.

Ja nevēlaties, lai tīkls būtu iesaistīts

Attālā secināšana atrisina aparatūras problēmu un rada latentuma problēmu. Dažreiz labāka atbilde ir politika, kas atbilst jūsu rīcībā esošajai aparatūrai.

• ACT, aptuveni 80 M parametri un 20 ms uz darbības soli, vismaz 50 epizodes, jebkura 24 GB karte. Atkārtotu viena uzdevuma iestatījumos tas bieži pārspēj attālo 3 B modeli, jo tas nekad negaida paketi.
• SmolVLA, aptuveni 450 M parametri un 245 ms uz darbības soli, vismaz 30 epizodes. Tas saglabā valodu kondicionēšanu, kas trūkst ACT, un lerobot dokumentācija norāda, ka tas patērē aptuveni 2 GB secināšanas laikā, salīdzinot ar aptuveni 14 GB PI0.
• ACT vs GR00T N1.7 attiecībā uz precizitātes pusi no kompromisa.

Ir arī vidusceļš: apmācība mākonī, novērtēšana lokāli. Precizēšana prasa 80 GB karti un neuztraucas par latentumu, tāpēc GR00T N1.7 apmācība uz SO-100 attālināti ir neapstrīdama. Tikai novērtēšanas cilpai ir reāllaika ierobežojums; apmācības dokumentācija un modeļu un roku matrica aptver šo pusi.

Biežāk uzdotie jautājumi

Īsā versija

Attālināta secināšana 3 B politika ir atrisināta inženierijas problēma ar neatrisinātu fizikas problēmu. Inženierija ir divas komandas un SSH tunelis. Fizika ir tāda, ka 1.8 MB novērojumam ir jāsasniedz GPU citā valstī un jāatgriežas, pirms roka izbeidzas darbības. Veiciet aprēķinus pirms kaut ko nomājat, izvēlieties uzdevumu, kas pieļauj novecojušu novērojumu, un palieliniet izpildes horizontu, nevis ceriet, ka saite uzlabosies.

Ja vēl neesat ierakstījis datu kopu, un ir pirmais, un ieraksts izskaidro, ko ierakstītājs raksta. Pamatinformācija ir atrodama un ; saista katru etalona numuru ar avotu.