Käivita GR00T järeldamine ilma kohaliku GPUta

Raspberry Pi on piisav, et juhtida SO-100 üle jadasiini ja tõmmata kaadreid kahest USB-kaamerast. See ei ole piisav kolme miljardi parameetriga nägemis-keele-tegevuse mudeli käitamiseks: NVIDIA README paigutab GR00T N1.7 järelduse ühele GPU-le 16 GB või enama VRAM-iga. Et näha, mida teie peenhäälestatud GR00T N1.7 kontrollpunkt teeb käel ilma kaarti ostmata, pange poliitika renditud pilve-GPU-le, hoidke roboti silmus USB-portidega masinas ja saatke vaatlused ja tegevustükid võrgu kaudu.

See töötab, see ei ole tasuta ja hind ei jaotu ülesannete vahel ühtlaselt. Allpool: NVIDIA enda poliitikaserver, leroboti asünkroonne virn, aritmeetika, mis ütleb ette, kas teie üleslaadimiskiirus on piisav, ja platvormi marsruut. Kõik see on kontrollitud Isaac-GR00T põhiharu (N1.7 GA) ja lerobot 0.6.1 vastu 23. augustil 2026.

Miks poliitika robotimasinasse ei mahu

Kaks viiest AY-Robotsi poolt treenitavast poliitikast töötavad tööjaama kaardil, kolm mitte. veerg allpool on tegevussammu kohta ja see on number, mis konkureerib teie võrgu edasi-tagasi reisi ajaga.

Lugege seda otsusena, mitte tühisena. kiirusega 20 ms sammu kohta töötab robotmasinal ja te ei pea sellele enam kunagi mõtlema. kiirusega 485 ms on kulutanud kolmandiku sekundist enne, kui pakett teie hoonest lahkub. ja lisavad täpsuse poole.

Kaks juba eksisteerivat kliendi-serveri virna

Isaac-GR00T tarnib ZeroMQ päringu-vastuse serveri; lerobot tarnib gRPC serveri, mis on ehitatud asünkroonse järeldamise ümber. Mõlemad aktsepteerivad GR00T kontrollpunkt. lerobot'i toetatud poliitikate loend asukohas async_inference/constants.py on act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 ja groot; selle robotite loend on so100_follower, so101_follower, bi_so_follower ja omx_follower.

Serialiseerimisrida on olulisem, kui esmapilgul paistab. GR00T-i MsgSerializer keeldub objekt-tüüpi ndarray andmekogumitest mõlemas suunas, sest msgpack_numpy annaks need muidu pickle'ile. lerobot kasutab selle asemel pickle'it: policy_server.py kutsub pickle.loads päringuandmetel, robot_client.py pakib saadetud vaatluse pickle'isse. Kaitstav usaldusväärses LAN-is, kaitsetu, kui port on internetist ligipääsetav.

Tee A: NVIDIA enda GR00T poliitikaserver

See on tee, mida NVIDIA dokumenteerib SO-100 ja SO-101 riistvara jaoks, ja see, mida kasutada, kui teie kontrollpunkt pärineb examples/finetune.sh koos --embodiment-tag NEW_EMBODIMENT. Need sammud lisavad selle, mida ülesvoolu README välja jätab: pordi viimine robotini ilma seda kõigile teistele paljastamata.

1. 1
   Installige GR00T renditud GPU-arvutisse

   Alamoodulid on vajalikud ja git-lfs peab eksisteerima enne kloonimist, vastasel juhul saabuvad parquet-failid kaustas demo_data viitadena. flash-attn ja TensorRT tulevad vaikimisi installiga. Värske podi kujutise puhul on probleemiks: torchcodec 0.8.0 on ainus toetatud videotaustsüsteem ja laadib ainult FFmpeg 4 kuni 7. Ubuntu 25.10 ja 26.04 tarnivad FFmpeg 8, seega GR00T ebaõnnestub veaga Could not load libtorchcodec. Installige FFmpeg, mis on vanem kui 8, ja lisage selle teegid LD_LIBRARY_PATH-i.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Autentimine piiratud taustsüsteemi vastu

   Iga GR00T N1.7 kontrollpunkt, sealhulgas teie enda peenhäälestus, laadib esmakordsel kasutamisel piiratud nvidia/Cosmos-Reason2-2B. Taotlege juurdepääsu mudeli lehel ja logige sisse podi, vastasel juhul ebaõnnestub laadimine veaga GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Käivitage poliitikaserver

   Suunake --model-path oma kontrollpunkti kataloogile; sellel teel ignoreerib server --modality-config-path-i, mida loetakse ainult taasesituse teel. Jätke --model-path välja ja edastage selle asemel --dataset-path pluss --execution-horizon ReplayPolicy jaoks, mis taasesitab salvestatud toiminguid – see on odavaim viis tõestada, et ühendus töötab.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tunneldage port 5555 robotmasinasse

   Siduge tagasisideaadressiga, nagu ülal, ja edastage port üle SSH või WireGuard-stiilis võrgu. See pakub krüpteerimist ja autentimist, mida ZeroMQ pesa ei paku, umbes millisekundi jooksul.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Käivitage robotiklient servode kõrval

   Klient vajab oma uv-keskkonda: see soovib lerobot'i robotidraivereid, mitte treeningvirna. eval_so100.py impordib so100_follower, so101_follower ja koch_follower, seega edastage oma käele vastav --robot.type (ülesvoolu README kasutab so101_follower). Kaamera võtmed peavad vastama treeningule: adapter loeb täpselt front ja wrist, ja nende vahetamine näitab poliitikale vale vaadet.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Tee B: lerobot asünkroonne järeldamine

lerobot lahendab teistsuguse probleemi. Selle asemel, et robotit blokeerida, kuni mudel mõtleb, jätkab klient juba olemasoleva järjekorra läbimist, samal ajal kui server arvutab järgmise tüki. See on tegevuste tükeldamine, edasi arendatud, asünkroonne virn, mis võeti kasutusele koos SmolVLA-ga. See töötab ka GR00T kontrollpunktiga.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Server käivitub tühjana: see ei tea, millist poliitikat see teenindab, enne kui kliendi esimene käepigistus seda talle ütleb, mis on renditud podi puhul mugav. Kaks nuppu, mis otsustavad, kas käsi liigub sujuvalt, on actions_per_chunk ja chunk_size_threshold (leroboti dokumendid nimetavad teist g-ks, SmolVLA paberi järgi), ja dokumenteeritud väärtused ning tarnitud väärtused ei ühti.

Aritmeetika, mis otsustab, kas teie ühendus on piisavalt kiire

Inimesed jätavad selle vahele ja kulutavad siis päeva . See võtab kaks minutit ja on peaaegu alati otsustav.

NVIDIA eval_so100.py kommenteeritud vaatlusandmete sõnastik ütleb, mis traadile läheb: kaks massiivi kujuga (480, 640, 3) uint8-s, kuus liigese ujukomaarvu, keele string. See on 921 600 baiti kaadri kohta, 1 843 200 baiti kahe kaamera kohta, umbes 14,7 Mbit, ja kumbki pinu seda JPEG-vormingus ei tihenda. Tagasi tulev andmeplokk on paarkümmend sammu 6 ujukomaarvuga. Teie üleslaadimine otsustab kõik, mitte teie allalaadimine.

Eelarve, millesse peate mahtuma

GR00T SO-100 klient on sünkroonne: see kutsub välja policy.get_action(obs), täidab esimesed action_horizon sammu tükist 30 FPS juures, seejärel kutsub uuesti. Tüki suurus ja horisont on erinevad numbrid: NVIDIA juurutusjuhend soovitab tegevustüki suuruseks 16, vähemalt 32, kui seda kombineerida reaalajas tükeldamisega, samas kui eval_so100.py pakub täitmishorisonti 8. Kaheksa sammu 30 FPS juures on 267 ms liikumist ühe kutse kohta ja kõik muu peab sellesse mahtuma.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Horisondi tõstmine on jäme lahendus ja mitte tasuta: käsi tegutseb vaatluse põhjal, mis on nüüd vana. Põhimõtteline lahendus on reaalajas tükeldamine (real-time chunking), mis arvutab järgmise tüki, samal ajal kui praegune töötab, külmutab garanteeritult täidetavad tegevused ja täiendab ülejäänud; RTC artikkel teatab, et see on vastupidav järeldusviivitusele ilma ümberõppeta. Kontrollige esmalt, kuidas sellega lood on. NVIDIA märgib RTC eksperimentaalseks, madala taseme mudeli primitiiviks, mis on ligipääsetav läbi action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), mis ei ole ühendatud Gr00tPolicy'sse ega serveri-kliendi teekonda, kus options on kasutamata, ilma testide ja näideteta. Poliitikaserveri kaudu saate asünkroonse täitmise, mitte RTC.

Mõõda enne, kui usaldad

Iga ülaltoodud number on ennustus. Neli käsku muudavad selle mõõtmiseks, mida tasub käivitada enne, kui pühendada pod-tund ülesandele, mis poleks kunagi toiminud.

1. 1
   Hangi toor-edasi-tagasi aeg

   Podi vastu, mitte CDN-i vastu. Jälgi hälvet sama tähelepanelikult kui keskmist: värin paneb käe kokutama, mitte keskmine latentsus.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Mõõda üleslaadimiskiirust, mis sul on, mitte seda, mille eest maksad

   Elamuühenduse üleslaadimiskiirus on tavaliselt murdosa allalaadimiskiirusest ja see on ülaltoodud ribalaiuse tabelis olev number.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Loe kliendi enda latentsuse logi

   LeRobot roboti klient logib iga tüki serveri-kliendi latentsuse ja deserialiseerimise aja. Marsruudil B ei vaja sa välist tööriista.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Jälgi tegevuste järjekorra tühjenemist

   Edasta --debug_visualize_queue_size=True ja klient joonistab järjekorra suuruse käitusajal. Kui see korduvalt nulli jõuab, oled eelarvest väljas: alanda kaadrisagedust, suurenda actions_per_chunk või suurenda chunk_size_threshold, et vaatlused sagedamini välja saadetaks.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Milleks kaugjäreldamine tegelikult hea on

Kui kaugkäivitus hakkib igas episoodis samas punktis, ei ole võrk tõenäoliselt põhjus. Poliitika, mis iga kord samas liigese nurgas kõhkleb, on tavaliselt andmeprobleem; vaadake vearežiimide lehti, eriti poliitika, mis töötab ainult ühes seadistuses ja kaotus langeb, kuid poliitika ei tee midagi.

Ise tegemine vs AY-Robotsis tegemine

Mida kaugjärelduste sessioon maksab

Olulised on kaks numbrit: kaardi tunnitasu ja see, kui kaua te seda töös hoiate. Esimene on avaldatud; teine üllatab inimesi.

Need hinnad loeti Runpodi hinnalehelt 23. augustil 2026 ja hetketurud liiguvad. AY-Robots pakub terve käivituse asemel: 3 kuni 6 tundi hinnaga 1,20 kuni 2,00 USD tunnis A100 või H100 tasemel, umbes 4 kuni 12 USD GR00T või Pi0.5 käivituse eest; 2 kuni 5 tundi hinnaga 0,30 kuni 0,60 USD tunnis 24 GB tasemel, 1 kuni 3 USD SmolVLA või ACT jaoks. Järeldamise sessioon on treeningkäivitusest odavam ainult siis, kui selle peatate, milleks ongi tühikäigu valvekoer. Vaata arvelduse dokumente ja hinnalehte.

Kui eelistate, et võrk ei oleks ahelas

Kaugjäreldamine lahendab riistvaraprobleemi ja tekitab latentsusprobleemi. Mõnikord on parem vastus poliitika, mis sobib teie olemasoleva riistvaraga.

• ACT, ligikaudu 80 M parameetrit ja 20 ms tegevussammu kohta, minimaalselt 50 episoodi, mis tahes 24 GB kaart. Korduva ühe ülesande seadistuse korral edestab see sageli kaugjuhtimisega 3 B mudelit, sest see ei oota kunagi paketti.
• SmolVLA, ligikaudu 450 M parameetrit ja 245 ms tegevussammu kohta, minimaalselt 30 episoodi. See säilitab keelelise tingimise, mis ACT-l puudub, ja lerobot docs hindab selle järeldamise ajal umbes 2 GB-le, võrreldes PI0 ligikaudu 14 GB-ga.
• ACT vs GR00T N1.7 tehingu täpsuse poole jaoks.

On ka kesktee: treenida pilves, hinnata lokaalselt. Peenhäälestus vajab 80 GB kaarti ja ei hooli latentsusest, seega GR00T N1.7 treenimine SO-100-l eemalt on vaieldamatu. Ainult hindamistsüklil on reaalajas piirang; treeningu dokumendid ja mudeli- ja käe maatriks katavad selle poole.

Korduma kippuvad küsimused

Lühiversioon

Kaugjäreldus 3 B poliitika on lahendatud inseneriprobleem, millele on lisatud lahendamata füüsikaprobleem. Inseneritöö on kaks käsku ja SSH tunnel. Füüsika on see, et 1.8 MB vaatlus peab jõudma teises riigis asuvasse GPU-sse ja tagasi tulema enne, kui käel tegevused otsa saavad. Tehke arvutused enne midagi rentimist, valige ülesanne, mis talub aegunud vaatlust, ja tõstke täitmise horisonti, selle asemel et loota lingi paranemisele.

Kui te pole veel andmestikku salvestanud, salvestage oma esimene andmestik ja SO-100 seadistusjuhend on esikohal ning LeRoboti andmestiku formaadi kirje selgitab, mida salvestaja kirjutab. Taust on nägemis-keele-tegevuse mudelites ja voolu sobitamise poliitika töös; arena kirje lingib iga võrdlusnumbri allikaga.