Mahalliy GPU'siz GR00T Inference'ni ishga tushirish

Raspberry Pi bir ni ketma-ket avtobus orqali boshqarish va ikkita USB kameradan kadrlar olish uchun yetarli. Uch milliard parametrlik ni ishga tushirish uchun yetarli emas: NVIDIA'ning README faylida GR00T N1.7 inferensi 16 GB yoki undan ko'proq VRAMga ega bitta GPUda amalga oshirilishi ko'rsatilgan. Kartani sotib olmasdan, nozik sozlagan nazorat nuqtangiz qo'lda nima qilishini ko'rish uchun, siyosatni ijaraga olingan bulutli GPUga joylashtiring, robot siklini USB portlari bo'lgan mashinada saqlang va kuzatuvlar hamda harakat bo'laklarini tarmoq orqali yuboring.

Bu ishlaydi, bepul emas va narx vazifalar bo'yicha bir tekis taqsimlanmagan. Quyida: NVIDIA'ning o'z siyosat serveri, lerobot'ning asinxron steki, sizning yuqori oqim tezligingiz yetarli ekanligini oldindan aytadigan arifmetika va platforma marshruti. Bularning barchasi Isaac-GR00T asosiy tarmog'i (N1.7 GA) va lerobot 0.6.1 bilan 2026-yil 23-avgustda tekshirilgan.

Nima uchun siyosat robot mashinasiga sig'maydi

AY-Robots o'rgatishi mumkin bo'lgan beshta siyosatdan ikkitasi ish stantsiyasi kartasida ishlaydi, uchtasi ishlamaydi. quyidagi ustun har bir harakat bosqichi uchun, va bu sizning tarmoqning borib-kelish vaqti bilan raqobatlashadigan raqamdir.

Buni mayda-chuydilik emas, balki qaror sifatida qabul qiling. ACT har bir qadam uchun 20 ms tezlikda robot mashinasida ishlaydi va siz bu haqda boshqa o'ylamaysiz. Pi0.5 485 ms tezlikda paket binongizni tark etishidan oldin bir soniyaning uchdan bir qismini sarflagan bo'ladi. siyosatlarni taqqoslash va GR00T N1.7 vs Pi0.5 aniqlik tomonini qo'shadi.

Mavjud bo'lgan ikki mijoz-server steklari

Isaac-GR00T ZeroMQ so'rov-javob serverini yetkazib beradi; lerobot asinxron xulosa chiqarish atrofida qurilgan gRPC serverini yetkazib beradi. Ikkalasi ham GR00T nazorat nuqtasi. lerobot tomonidan qo'llab-quvvatlanadigan siyosatlar ro'yxati async_inference/constants.py da act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 va groot; uning robotlar ro'yxati so100_follower, so101_follower, bi_so_follower va omx_follower.

Seriyalashtirish qatori ko'ringanidan ko'ra muhimroq. GR00T's MsgSerializer ikkala yo'nalishda ham object-dtype ndarray yuklamalarini rad etadi, chunki aks holda msgpack_numpy ularni pickle'ga topshiradi. lerobot buning o'rniga pickle'laydi: policy_server.py so'rov ma'lumotlarida pickle.loads chaqiradi, robot_client.py yuboradigan kuzatuvni pickle'laydi. Ishonchli LANda himoyalangan, port internetdan erishish mumkin bo'lgach himoyalanmagan.

A yo'nalishi: NVIDIA'ning o'z GR00T siyosat serveri

Bu NVIDIA SO-100 va SO-101 apparat vositalari uchun hujjatlashtirgan yo'l va agar sizning nazorat nuqtangiz examples/finetune.sh bilan --embodiment-tag NEW_EMBODIMENT dan chiqqan bo'lsa, foydalaniladigan yo'l. Bosqichlar yuqori oqim README'da qoldirilgan narsani qo'shadi: portni boshqalarga ochmasdan robotga yetkazish.

1. 1
   Ijaraga olingan GPU qutisiga GR00T'ni o'rnating

   Submodullar talab qilinadi va klonlashdan oldin git-lfs mavjud bo'lishi kerak, aks holda demo_data'dagi parquet fayllari ko'rsatkichlar sifatida keladi. flash-attn va TensorRT standart o'rnatish bilan birga keladi. Yangi pod tasviridagi tuzoq: torchcodec 0.8.0 yagona qo'llab-quvvatlanadigan video backend bo'lib, faqat FFmpeg 4 dan 7 gacha yuklaydi. Ubuntu 25.10 va 26.04 FFmpeg 8 bilan birga keladi, shuning uchun GR00T Could not load libtorchcodec xatosi bilan ishlamaydi. FFmpeg'ning 8 dan past versiyasini o'rnating va uning kutubxonalarini LD_LIBRARY_PATH'ga joylashtiring.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Himoyalangan asosga qarshi autentifikatsiya qiling

   Har bir GR00T N1.7 nazorat nuqtasi, shu jumladan sizning o'zingizning nozik sozlamangiz ham, birinchi foydalanishda himoyalangan nvidia/Cosmos-Reason2-2B'ni yuklaydi. Model sahifasida kirishni so'rang va podga kiring, aks holda yuklash GatedRepoError xatosi bilan muvaffaqiyatsiz tugaydi.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Siyosat serverini ishga tushiring

   --model-path'ni nazorat nuqtasi katalogingizga yo'naltiring; bu yo'lda server --modality-config-path'ni e'tiborsiz qoldiradi, u faqat qayta ijro etish yo'lida o'qiladi. --model-path'ni qoldiring va uning o'rniga yozilgan harakatlarni qayta ijro etuvchi ReplayPolicy uchun --dataset-path va --execution-horizon'ni o'tkazing, bu simlarning ishlashini isbotlashning eng arzon usuli.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   5555-portni robot mashinasiga tunnel qiling

   Yuqoridagidek, loopback'ga bog'laning va portni SSH yoki WireGuard uslubidagi tarmoq orqali o'tkazing. Bu ZeroMQ soketi ta'minlamaydigan shifrlash va autentifikatsiyani taxminan bir millisekundga ta'minlaydi.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Robot mijozini servolar yonida ishga tushiring

   Mijozga o'zining uv muhiti kerak: u o'quv stackini emas, balki lerobotning robot drayverlarini xohlaydi. eval_so100.py so100_follower, so101_follower va koch_follower'ni import qiladi, shuning uchun qo'lingizga mos keladigan --robot.type'ni o'tkazing (yuqori oqim README so101_follower'dan foydalanadi). Kamera kalitlari o'qitishga mos kelishi kerak: adapter aynan front va wrist'ni o'qiydi, ularni almashtirish siyosatga noto'g'ri ko'rinishni ko'rsatadi.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

B yo'li: lerobot asinxron inferens

lerobot boshqa muammoni hal qiladi. Model o'ylayotgan paytda robotni bloklash o'rniga, server keyingi bo'lakni hisoblayotgan paytda mijoz o'zida mavjud navbat orqali harakatlanishda davom etadi. Bu harakatni bo'laklarga ajratishni yanada rivojlantirishdir, ya'ni SmolVLA bilan joriy qilingan asinxron stek. U GR00T checkpoint bilan ham ishlaydi.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Server bo'sh holatda ishga tushadi: u mijozning birinchi ulanishi (handshake) unga qaysi siyosatni taqdim etishini aytmaguncha bilmaydi, bu ijaraga olingan podda qulaydir. Qo'lning silliq harakatlanishini belgilaydigan ikkita sozlama actions_per_chunk va chunk_size_threshold (lerobot hujjatlarida ikkinchisi SmolVLA maqolasidan keyin g deb ataladi) bo'lib, hujjatlashtirilgan qiymatlar bilan yetkazib berilgan qiymatlar mos kelmaydi.

Sizning ulanishingiz yetarlicha tez ekanligini aniqlaydigan arifmetika

Odamlar buni o'tkazib yuborishadi va keyin bir kunni harakat o'rtasida muzlab qoladigan siyosatga sarflashadi. Bu ikki daqiqa vaqt oladi va deyarli har doim hal qiluvchi ahamiyatga ega.

NVIDIA'ning eval_so100.py dagi izohlangan kuzatuv lug'ati sim orqali nimalar o'tishini ko'rsatadi: uint8 formatidagi (480, 640, 3) shaklidagi ikkita massiv, oltita bo'g'inli float, til satri. Bu har bir kadr uchun 921,600 bayt, ikkita kamera uchun 1,843,200 bayt, taxminan 14.7 Mbit, va hech qaysi stek uni JPEG-siqmaydi. Qaytib keladigan qism 6 ta floatdan iborat bir necha o'nlab qadamlardir. Sizning yuklashingiz hamma narsani hal qiladi, yuklab olishingiz emas.

Siz sig'dirishingiz kerak bo'lgan byudjet

GR00T SO-100 klienti sinxron ishlaydi: u policy.get_action(obs) ni chaqiradi, 30 FPS tezlikda chunkning dastlabki action_horizon qadamlarini bajaradi, so'ngra qayta chaqiradi. Chunk hajmi va gorizont turli raqamlardir: NVIDIA'ning joylashtirish qo'llanmasi 16 ta harakat chunk hajmini tavsiya qiladi, real-time chunking bilan birlashtirilganda kamida 32 ta, `eval_so100.py` esa 8 ta ijro gorizontini taqdim etadi. 30 FPS tezlikda sakkiz qadam har bir chaqiruv uchun 267 ms harakatni tashkil etadi, va qolgan hamma narsa shu vaqt ichiga sig'ishi kerak.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Gorizontni oshirish — bu qo'pol yechim va bepul emas: qo'l endi eski bo'lgan kuzatuvga asoslanib harakat qiladi. Asosiy yechim real-time chunking bo'lib, u joriy chunk ishlayotgan paytda keyingi chunkni hisoblaydi, bajarilishi kafolatlangan harakatlarni muzlatadi va qolganini to'ldiradi; RTC maqolasida u qayta o'qitishsiz inferensiya kechikishiga chidamli ekanligi qayd etilgan. Avval uning holatini tekshiring. NVIDIA RTC'ni eksperimental deb belgilaydi, action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}) orqali erishish mumkin bo'lgan past darajadagi model primitivi, Gr00tPolicy yoki server-klient yo'liga ulanmagan, bu yerda options ishlatilmaydi, sinovlar va misollar yo'q. Siyosat serveri orqali siz asinxron ijroni olasiz, RTC emas.

Ishonishdan oldin o'lchang

Yuqoridagi har bir raqam bashoratdir. To'rtta buyruq uni o'lchovga aylantiradi, bu hech qachon ishlamaydigan vazifaga pod-soatni sarflashdan oldin bajarishga arziydi.

1. 1
   Xom aylanish vaqtini oling

   Podga qarshi, CDN emas. Og'ishni o'rtacha qiymat kabi diqqat bilan kuzating: tebranish qo'lni qotiradi, o'rtacha kechikish emas.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Sizda mavjud bo'lgan yuklash tezligini o'lchang, siz to'laganini emas

   Turar-joy yuklash tezligi odatda yuklab olish tezligining bir qismidir va bu yuqoridagi tarmoqli kengligi jadvalidagi raqamdir.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Mijozning o'z kechikish jurnalini o'qing

   LeRobot robot mijozi har bir bo'lak uchun serverdan mijozga kechikish va deserializatsiya vaqtini qayd etadi. B yo'nalishida sizga tashqi vositalar kerak emas.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Harakat navbatining bo'shashini kuzating

   --debug_visualize_queue_size=True parametrini o'tkazing va mijoz ish vaqtida navbat hajmini chizadi. Agar u qayta-qayta nolga tushsa, siz byudjetdan tashqaridasiz: kadrlar tezligini pasaytiring, actions_per_chunk ni oshiring yoki chunk_size_threshold ni oshiring, shunda kuzatuvlar tez-tez chiqib turadi.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Masofaviy xulosa chiqarish aslida nima uchun yaxshi

Agar masofaviy ish har bir epizodda bir xil nuqtada uzilib qolsa, ehtimol sabab tarmoq emas. Har safar bir xil bo'g'in burchagida ikkilanadigan siyosat odatda ma'lumotlar muammosidir; qarang nosozlik rejimi sahifalari, xususan faqat bitta sozlamada ishlaydigan siyosat va yo'qotish kamayadi, lekin siyosat hech narsa qilmaydi.

O'zingiz qilish yoki AY-Robots'da qilish

Masofaviy inference sessiyasi qancha turadi

Ikki raqam muhim: kartaning soatlik narxi va uni qancha vaqt ishlatishingiz. Birinchisi e'lon qilingan; ikkinchisi odamlarni hayratda qoldiradi.

Bu narxlar Runpod'ning narxlar sahifasidan 2026-yil 23-avgustda olingan va spot bozorlar o'zgaruvchan. AY-Robots buning o'rniga butun ish uchun narx beradi: A100 yoki H100 darajasida soatiga 1.20 dan 2.00 USD gacha 3 dan 6 soat, GR00T yoki Pi0.5 ishi uchun taxminan 4 dan 12 USD gacha; 24 GB darajasida soatiga 0.30 dan 0.60 USD gacha 2 dan 5 soat, SmolVLA yoki ACT uchun 1 dan 3 USD gacha. Xulosa chiqarish sessiyasi faqat uni to'xtatsangizgina o'quv ishidan arzonroq bo'ladi, buning uchun bo'sh turgan kuzatuvchi (idle watchdog) mavjud. Qarang hisob-kitob hujjatlari va narxlar sahifasi.

Agar siz tarmoqni jarayonga kiritmaslikni afzal ko'rsangiz

Masofaviy inferensiya apparat muammosini hal qiladi va kechikish muammosini keltirib chiqaradi. Ba'zan eng yaxshi yechim sizda mavjud bo'lgan apparaturaga mos keladigan siyosatdir.

• ACT, taxminan 80 M parametr va har bir harakat bosqichi uchun 20 ms, kamida 50 epizod, istalgan 24 GB karta. Takrorlanuvchi bir vazifali sozlamada u ko'pincha masofaviy 3 B modeldan ustun keladi, chunki u hech qachon paketni kutmaydi.
• SmolVLA, taxminan 450 M parametr va har bir harakat bosqichi uchun 245 ms, kamida 30 epizod. U ACTda mavjud bo'lmagan til shartini saqlaydi va lerobot hujjatlarida inferensiya vaqtida taxminan 2 GB, PI0 uchun esa taxminan 14 GB deb ko'rsatilgan.
• ACT va GR00T N1.7 savdoning aniqlik qismi uchun.

O'rtacha yo'l ham bor: bulutda o'qitish, mahalliy baholash. Nozik sozlash 80 GB kartani talab qiladi va kechikishga ahamiyat bermaydi, shuning uchun GR00T N1.7 ni SO-100 da o'qitish masofadan turib bahsli emas. Faqat baholash siklida real vaqt cheklovi mavjud; o'qitish hujjatlari va model va qo'l matritsasi bu qismni qamrab oladi.

Tez-tez beriladigan savollar

Qisqacha versiya

3 B uchun masofaviy xulosa chiqarish siyosat hal qilingan muhandislik muammosi bo'lib, unga hal qilinmagan fizika muammosi biriktirilgan. Muhandislik ikki buyruq va SSH tunnelidan iborat. Fizika shundan iboratki, 1.8 MB kuzatuv boshqa mamlakatdagi GPU ga yetib borishi va qo'l harakatlari tugashidan oldin qaytib kelishi kerak. Biror narsani ijaraga olishdan oldin hisob-kitob qiling, eskirgan kuzatuvga toqat qiladigan vazifani tanlang va ulanish yaxshilanishiga umid qilishdan ko'ra ijro etish gorizontini oshiring.

Agar siz hali ma'lumotlar to'plamini yozib olmagan bo'lsangiz, birinchi ma'lumotlar to'plamingizni yozib oling va SO-100 sozlash qo'llanmasi birinchi o'rinda turadi, va LeRobot ma'lumotlar to'plami formati yozuvi yozuvchi nima yozishini tushuntiradi. Ma'lumot vizual-til-harakat modellari va oqimga mos keluvchi siyosat ishida; arena yozuvi har bir benchmark raqamini manbaga bog'laydi.