Endesha Ufafanuzi wa GR00T Bila GPU ya Ndani

Raspberry Pi inatosha kuendesha kupitia basi la serial na kuchukua fremu kutoka kamera mbili za USB. Haitoshi kuendesha modeli ya vigezo bilioni tatu ya : README ya NVIDIA inaweka GR00T N1.7 inference kwenye GPU moja yenye 16 GB au zaidi ya VRAM. Kuona kile yako iliyorekebishwa inafanya kwenye mkono bila kununua kadi, weka sera kwenye GPU ya wingu iliyokodishwa, weka kitanzi cha roboti kwenye mashine yenye bandari za USB, na tuma uchunguzi na vipande vya vitendo kupitia mtandao.

Inafanya kazi, si bure, na bei haijasambazwa sawasawa katika kazi zote. Chini: Seva ya sera ya NVIDIA yenyewe, stack ya async ya lerobot, hesabu inayoonyesha mapema kama uplink yako ina kasi ya kutosha, na njia ya jukwaa. Yote haya yamechunguzwa dhidi ya tawi kuu la Isaac-GR00T (N1.7 GA) na lerobot 0.6.1 mnamo Agosti 23, 2026.

Kwa nini sera haitatoshea kwenye mashine ya roboti

Sera mbili kati ya tano ambazo AY-Robots inaweza kufundisha huendeshwa kwenye kadi ya kituo cha kazi, tatu haziendeshwi. Safu wima ya iliyo hapa chini ni kwa kila hatua ya kitendo, na hilo ndilo nambari inayoshindana na safari yako ya mtandao ya kwenda na kurudi.

Soma hilo kama uamuzi, si mambo madogo. kwa 20 ms kwa kila hatua huendeshwa kwenye mashine ya roboti na hutaifikiria tena. kwa 485 ms imetumia theluthi ya sekunde kabla ya pakiti kuondoka kwenye jengo lako. na huongeza upande wa usahihi.

Miundo miwili ya mteja-seva ambayo tayari ipo

Isaac-GR00T inasambaza seva ya ZeroMQ ya ombi-jibu; lerobot inasambaza seva ya gRPC iliyojengwa kuzunguka inference isiyo ya synchronous. Zote mbili zinakubali GR00T kituo cha ukaguzi. Orodha ya sera zinazotumika za lerobot katika async_inference/constants.py ni act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 na groot; orodha yake ya roboti ni so100_follower, so101_follower, bi_so_follower na omx_follower.

Mfuatano wa usimbaji data ni muhimu zaidi kuliko unavyoonekana. Ya GR00T MsgSerializer hukataa mizigo ya ndarray ya aina ya kitu (object-dtype) katika pande zote mbili, kwa sababu msgpack_numpy ingewakabidhi kwa pickle. lerobot hutumia pickle badala yake: policy_server.py huita pickle.loads kwenye data ya ombi, robot_client.py husimba kwa pickle uchunguzi unaotuma. Inaweza kutetewa kwenye LAN inayoaminika, haiwezi kutetewa mara tu bandari inapoweza kufikiwa kutoka kwenye intaneti.

Njia A: Seva ya Sera ya GR00T ya NVIDIA

Hii ndiyo njia ambayo NVIDIA inaandika kwa maunzi ya SO-100 na SO-101, na ndiyo ya kutumia ikiwa sehemu yako ya kukagua ilitoka kwenye examples/finetune.sh na --embodiment-tag NEW_EMBODIMENT. Hatua hizi zinaongeza kile ambacho README ya asili inaacha: kupeleka bandari kwenye roboti bila kuiweka wazi kwa wengine wote.

1. 1
   Sakinisha GR00T kwenye sanduku la GPU lililokodishwa

   Submodules zinahitajika, na git-lfs lazima iwepo kabla ya clone au faili za parquet katika demo_data kufika kama viashiria. flash-attn na TensorRT huja na usakinishaji chaguomsingi. Mtego kwenye picha mpya ya pod: torchcodec 0.8.0 ndiyo pekee inayotumika kwa video na hupakia FFmpeg 4 hadi 7 pekee. Ubuntu 25.10 na 26.04 husafirisha FFmpeg 8, kwa hivyo GR00T inashindwa na Could not load libtorchcodec. Sakinisha FFmpeg chini ya 8 na uweke maktaba zake kwenye LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Thibitisha dhidi ya uti wa mgongo uliofungwa

   Kila sehemu ya kukagua ya GR00T N1.7, ikiwemo ile uliyoboresha mwenyewe, hupakia nvidia/Cosmos-Reason2-2B iliyofungwa kwenye matumizi ya kwanza. Omba ufikiaji kwenye ukurasa wa modeli na uingie kwenye pod, au upakiaji utashindwa na GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Anzisha seva ya sera

   Elekeza --model-path kwenye saraka yako ya sehemu ya kukagua; kwenye njia hiyo seva hupuuza --modality-config-path, ambayo husomwa tu kwenye njia ya kurudia. Acha --model-path na upitishe --dataset-path pamoja na --execution-horizon badala yake kwa ReplayPolicy inayorudia vitendo vilivyorekodiwa, njia rahisi zaidi ya kuthibitisha kuwa wiring inafanya kazi.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Peleka bandari 5555 kwenye mashine ya roboti kupitia handaki

   Funga kwenye loopback, kama ilivyo hapo juu, na upeleke bandari kupitia SSH au mtandao wa aina ya WireGuard. Hiyo hutoa usimbaji fiche na uthibitishaji ambao soketi ya ZeroMQ haitoi, kwa takriban milisekunde.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Endesha mteja wa roboti karibu na servomotor

   Mteja anahitaji mazingira yake ya uv: anataka viendeshi vya roboti vya lerobot, si stack ya mafunzo. eval_so100.py huleta so100_follower, so101_follower na koch_follower, kwa hivyo pitisha --robot.type inayolingana na mkono wako (README ya asili hutumia so101_follower). Funguo za kamera lazima zilingane na mafunzo: adapta husoma hasa front na wrist, na kuzibadilisha huonyesha sera mtazamo usio sahihi.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Njia B: lerobot utambuzi usiolingana

lerobot inasuluhisha tatizo tofauti. Badala ya kuzuia roboti wakati modeli inafikiri, mteja anaendelea kupitia foleni aliyonayo tayari wakati seva inakokotoa kipande kinachofuata. Hii ni ukataji wa vitendo iliyochukuliwa mbali zaidi, safu isiyolingana iliyoletwa na SmolVLA. Inafanya kazi na GR00T checkpoint pia.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Seva huanza ikiwa tupu: haijui sera gani inahudumia hadi mawasiliano ya kwanza ya mteja yaiambie, jambo ambalo linafaa kwenye pod iliyokodishwa. Vifungo viwili vinavyoamua kama mkono unasonga vizuri ni actions_per_chunk na chunk_size_threshold (nyaraka za lerobot huita ya pili g, baada ya karatasi ya SmolVLA), na thamani zilizorekodiwa na thamani zilizosafirishwa hazikubaliani.

Hesabu inayoamua kama kiungo chako kina kasi ya kutosha

Watu huruka hatua hii kisha hutumia siku nzima kwenye . Inachukua dakika mbili na karibu kila mara huamua.

Kamusi ya uchunguzi iliyotoa maoni katika eval_so100.py ya NVIDIA inasema kinachopita kwenye waya: safu mbili za umbo (480, 640, 3) katika uint8, namba sita za viungo, mfuatano wa lugha. Hiyo ni baiti 921,600 kwa kila fremu, baiti 1,843,200 kwa kamera mbili, takriban Mbit 14.7, na hakuna stack inayobana kwa JPEG. Kifungu kinachorudi ni hatua chache za namba 6. Upakiaji wako huamua kila kitu, si upakuaji wako.

Bajeti unayopaswa kutoshea ndani

Kifaa cha mteja cha GR00T SO-100 ni cha kusawazisha: huita policy.get_action(obs), hutekeleza hatua action_horizon za kipande kwa 30 FPS, kisha huita tena. Ukubwa wa kipande na upeo ni namba tofauti: mwongozo wa usambazaji wa NVIDIA unapendekeza ukubwa wa kipande cha hatua cha 16, angalau 32 unapotumiwa na ugawaji wa vipande kwa wakati halisi, wakati eval_so100.py inatoa upeo wa utekelezaji wa 8. Hatua nane kwa 30 FPS ni 267 ms za mwendo kwa kila simu, na kila kitu kingine kinapaswa kutoshea ndani ya hapo.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Kuongeza upeo ni suluhisho la moja kwa moja na si la bure: mkono hufanya kazi kwa uchunguzi ambao sasa ni wa zamani. Suluhisho la kimsingi ni ugawaji wa vipande kwa wakati halisi (real-time chunking), ambao huhesabu kipande kinachofuata wakati kile cha sasa kinafanya kazi, hugandisha hatua zilizohakikishwa kutekelezwa na kukamilisha zingine; karatasi ya RTC inaripoti kuwa ni imara dhidi ya ucheleweshaji wa utambuzi bila mafunzo upya. Angalia kwanza hali yake. NVIDIA inaweka alama ya RTC kama ya majaribio, msingi wa kiwango cha chini wa modeli unaoweza kufikiwa kupitia action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), isiyounganishwa kwenye Gr00tPolicy au njia ya seva-mteja, ambapo options haitumiki, bila majaribio na bila mfano. Juu ya seva ya sera unapata utekelezaji usio na usawazishaji, si RTC.

Pima kabla hujaamini

Kila namba hapo juu ni utabiri. Amri nne huigeuza kuwa kipimo, kinachostahili kuendeshwa kabla ya kutumia saa ya pod kwa kazi ambayo haingewahi kufanya kazi.

1. 1
   Pata safari kamili ya kwenda na kurudi

   Dhidi ya pod, si CDN. Angalia mkengeuko kwa karibu kama wastani: mtikisiko husababisha mkono kutetemeka, si ucheleweshaji wa wastani.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Pima kiungo cha kupakia ulicho nacho, si kile unacholipia

   Upakiaji wa nyumbani kwa kawaida ni sehemu ndogo ya upakuaji, na ndiyo namba kwenye jedwali la kipimo data hapo juu.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Soma kumbukumbu ya ucheleweshaji ya mteja mwenyewe

   Mteja wa roboti wa lerobot huweka kumbukumbu ya ucheleweshaji kutoka seva hadi mteja na muda wa kutenganisha kwa kila kipande. Kwenye njia B huhitaji zana zozote za nje.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Angalia foleni ya vitendo ikipungua

   Pitisha --debug_visualize_queue_size=True na mteja huchora ukubwa wa foleni wakati wa utekelezaji. Ikiwa inafikia sifuri mara kwa mara umemaliza bajeti: punguza fps, ongeza actions_per_chunk, au ongeza chunk_size_threshold ili uchunguzi utoke mara nyingi zaidi.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Ufafanuzi wa mbali ni mzuri kwa nini hasa

Ikiwa utekelezaji wa mbali unakwama katika sehemu ile ile katika kila kipindi, mtandao labda sio chanzo. Sera inayokwama kwenye pembe ile ile ya kiungo kila wakati kwa kawaida ni tatizo la data; angalia kurasa za hali ya kushindwa, hasa sera inayofanya kazi katika usanidi mmoja tu na hasara inapungua lakini sera haifanyi chochote.

Kufanya mwenyewe dhidi ya kufanya kwenye AY-Robots

Gharama ya kikao cha inference ya mbali

Namba mbili ni muhimu: kiwango cha saa cha kadi, na muda gani unaiacha ikiendelea. Ya kwanza imechapishwa; ya pili inawashangaza watu.

Viwango hivyo vilisomwa kutoka ukurasa wa bei wa Runpod mnamo Agosti 23, 2026, na masoko ya papo hapo hubadilika. AY-Robots inatoa bei ya mwendokazi mzima badala yake: saa 3 hadi 6 kwa 1.20 hadi 2.00 USD kwa saa kwenye kiwango cha A100 au H100, takriban 4 hadi 12 USD kwa mwendokazi wa GR00T au Pi0.5; saa 2 hadi 5 kwa 0.30 hadi 0.60 USD kwa saa kwenye kiwango cha GB 24, 1 hadi 3 USD kwa SmolVLA au ACT. Kipindi cha utabiri kinashinda mwendokazi wa mafunzo kwa gharama tu ikiwa utakisimamisha, na ndicho kinachofanywa na mlinzi wa kutofanya kazi. Tazama nyaraka za bili na ukurasa wa bei.

Ikiwa ungependa kutokuwa na mtandao katika mzunguko

Utoaji wa hitimisho wa mbali hutatua tatizo la maunzi na kuunda tatizo la kuchelewa. Wakati mwingine jibu bora ni sera inayolingana na maunzi uliyonayo.

• ACT, takriban vigezo 80 M na 20 ms kwa hatua ya kitendo, vipindi 50 kiwango cha chini, kadi yoyote ya 24 GB. Katika usanidi wa kazi moja unaorudiwa, mara nyingi huishinda modeli ya mbali ya 3 B, kwa sababu haisubiri pakiti.
• SmolVLA, takriban vigezo 450 M na 245 ms kwa hatua ya kitendo, vipindi 30 kiwango cha chini. Inahifadhi masharti ya lugha ambayo ACT inakosa, na nyaraka za lerobot zinaweka takriban 2 GB wakati wa utoaji wa hitimisho dhidi ya takriban 14 GB kwa PI0.
• ACT vs GR00T N1.7 kwa nusu ya usahihi wa biashara.

Pia kuna njia ya kati: fanya mafunzo kwenye wingu, tathmini ndani. Urekebishaji mzuri inahitaji kadi ya 80 GB na haijali kuhusu kuchelewa, kwa hivyo kufundisha GR00T N1.7 kwenye SO-100 kwa mbali haina utata. Ni kitanzi cha tathmini tu chenye kikwazo cha muda halisi; nyaraka za mafunzo na matrix ya modeli na mkono inashughulikia nusu hiyo.

Maswali yanayoulizwa mara kwa mara

Toleo fupi

Utambuzi wa mbali kwa 3 B sera ni tatizo la uhandisi lililotatuliwa lenye tatizo la fizikia lisilotatuliwa lililounganishwa. Uhandisi ni amri mbili na handaki la SSH. Fizikia ni kwamba uchunguzi wa 1.8 MB lazima ufike kwenye GPU katika nchi nyingine na kurudi kabla mkono haujaishi vitendo. Fanya hesabu kabla ya kukodisha chochote, chagua kazi inayovumilia uchunguzi uliopitwa na wakati, na ongeza upeo wa utekelezaji badala ya kutumaini kiungo kitaboreshwa.

Kama bado hujarekodi seti ya data, rekodi seti yako ya kwanza ya data na mwongozo wa usanidi wa SO-100 huja kwanza, na kiingilio cha umbizo la seti ya data ya LeRobot kinaeleza kile kinachoandikwa na kirekodi. Asili inapatikana katika mifumo ya kuona-lugha-vitendo na kazi ya sera ya kulinganisha mtiririko; kiingilio cha uwanja huunganisha kila nambari ya kigezo na chanzo.