Aja GR00T-päättelyä ilman paikallista GPU:ta

Raspberry Pi riittää ohjaamaan -robottia sarjaväylän kautta ja noutamaan kuvia kahdesta USB-kamerasta. Se ei riitä pyörittämään kolmen miljardin parametrin : NVIDIAn README:n mukaan GR00T N1.7 -päätelmän suorittamiseen tarvitaan yksi GPU, jossa on vähintään 16 Gt VRAM-muistia. Nähdäksesi, mitä hienosäädetty -tarkistuspisteesi tekee robotin käsivarrella ostamatta korttia, aseta toimintaperiaate vuokratulle pilvi-GPU:lle, pidä robottisilmukka koneessa USB-porttien kanssa ja lähetä havainnot ja toimintapalat verkon yli.

Se toimii, se ei ole ilmaista, eikä hinta jakaudu tasaisesti eri tehtäviin. Alla: NVIDIAn oma toimintaperiaatepalvelin, lerobotin asynkroninen pino, laskutoimitus, joka kertoo etukäteen, onko ylävirran yhteys riittävän nopea, ja alustareitti. Kaikki tarkistettu Isaac-GR00T:n päähaaraa (N1.7 GA) ja lerobot 0.6.1:tä vastaan 23. elokuuta 2026.

Miksi toimintaperiaate ei mahdu robottikoneeseen

Kaksi viidestä AY-Robotsin kouluttamasta toimintamallista toimii työaseman kortilla, kolme ei. Alla oleva -sarake on toimintavaihetta kohti, ja se on luku, joka kilpailee verkon edestakaisen matkan kanssa.

Lue tämä päätöksenä, ei nippelitietona. 20 ms per vaihe toimii robottikoneella, eikä sinun tarvitse enää miettiä sitä. 485 ms:ssa on kulunut kolmasosa sekunnista ennen kuin paketti lähtee rakennuksestasi. ja lisäävät tarkkuuspuolen.

Kaksi jo olemassa olevaa asiakas-palvelin-pinoa

Isaac-GR00T toimittaa ZeroMQ-pyyntö-vastaus-palvelimen; lerobot toimittaa gRPC-palvelimen, joka on rakennettu asynkronisen päättelyn ympärille. Molemmat hyväksyvät GR00T-tarkistuspisteen. lerobotin tuettujen käytäntöjen luettelo tiedostossa async_inference/constants.py on act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 ja groot; sen robottiluettelo on so100_follower, so101_follower, bi_so_follower ja omx_follower.

Serialisointirivillä on enemmän merkitystä kuin miltä se näyttää. GR00T:n MsgSerializer kieltäytyy object-dtype ndarray-hyötykuormista molempiin suuntiin, koska msgpack_numpy antaisi ne muuten picklelle. lerobot sen sijaan serialisoi picklellä: policy_server.py kutsuu pickle.loads pyyntötietoihin, robot_client.py serialisoi lähettämänsä havainnon. Puolustettavissa luotetussa lähiverkossa, puolustamaton kun portti on saavutettavissa internetistä.

Reitti A: NVIDIAn oma GR00T-käytäntöpalvelin

Tämä on polku, jonka NVIDIA dokumentoi SO-100- ja SO-101-laitteistoille, ja se, jota käytetään, jos tarkistuspisteesi tuli ulos examples/finetune.sh kanssa --embodiment-tag NEW_EMBODIMENT. Vaiheet lisäävät sen, mitä ylävirran README jättää pois: portin saaminen robotille altistamatta sitä kaikille muille.

1. 1
   Asenna GR00T vuokrattuun GPU-laatikkoon

   Alimoduulit ovat pakollisia, ja git-lfs:n on oltava olemassa ennen kloonausta, tai parquet-tiedostot kansiossa demo_data saapuvat osoittimina. flash-attn ja TensorRT tulevat oletusasennuksen mukana. Ansa tuoreessa pod-kuvassa: torchcodec 0.8.0 on ainoa tuettu videotaustajärjestelmä ja lataa vain FFmpeg 4–7. Ubuntu 25.10 ja 26.04 toimittavat FFmpeg 8:n, joten GR00T epäonnistuu virheellä Could not load libtorchcodec. Asenna FFmpeg alle 8 ja aseta sen kirjastot polkuun LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Todennus suljettua taustajärjestelmää vastaan

   Jokainen GR00T N1.7 -tarkistuspiste, mukaan lukien oma hienosäätösi, lataa suljetun nvidia/Cosmos-Reason2-2B ensimmäisellä käyttökerralla. Pyydä pääsy mallisivulta ja kirjaudu sisään podiin, tai lataus epäonnistuu virheellä GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Käynnistä käytäntöpalvelin

   Osoita --model-path tarkistuspistekansioosi; tällä polulla palvelin jättää huomiotta --modality-config-path, joka luetaan vain toistopolulla. Jätä pois --model-path ja välitä --dataset-path sekä --execution-horizon sen sijaan ReplayPolicy-käytännölle, joka toistaa tallennettuja toimintoja, mikä on halvin tapa todistaa johdotuksen toimivuus.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tunneloi portti 5555 robottikoneeseen

   Sido takaisinkytkentään, kuten yllä, ja siirrä portti SSH:n tai WireGuard-tyyppisen verkon yli. Tämä tarjoaa salauksen ja todennuksen, joita ZeroMQ-pistoke ei tarjoa, noin millisekunnin ajan.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Suorita robottiasiakas servojen vieressä

   Asiakas tarvitsee oman uv-ympäristönsä: se haluaa lerobotin robottiohjaimet, ei koulutuspinon. eval_so100.py tuo so100_follower, so101_follower ja koch_follower, joten välitä --robot.type joka vastaa kättäsi (ylävirran README käyttää so101_follower). Kameran avainten on vastattava koulutusta: sovitin lukee tarkalleen front ja wrist, ja niiden vaihtaminen näyttää käytännölle väärän näkymän.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Reitti B: lerobot asynkroninen päättely

lerobot ratkaisee toisenlaisen ongelman. Sen sijaan, että robotti estettäisiin mallin miettiessä, asiakas jatkaa jo olemassa olevan jonon läpikäyntiä samalla kun palvelin laskee seuraavan osan. Tämä on toimintojen paloittelu viety pidemmälle, SmolVLA:n kanssa esitelty asynkroninen pino. Se toimii myös GR00T-tarkistuspisteen kanssa.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Palvelin käynnistyy tyhjänä: se ei tiedä, mitä käytäntöä se palvelee, ennen kuin asiakkaan ensimmäinen kättely kertoo sen, mikä on kätevää vuokratussa podissa. Kaksi säädintä, jotka päättävät, liikkuuko varsi tasaisesti, ovat actions_per_chunk ja chunk_size_threshold (lerobot-dokumentaatio kutsuu jälkimmäistä g:ksi SmolVLA-paperin mukaan), ja dokumentoidut arvot ja toimitetut arvot eivät vastaa toisiaan.

Laskutoimitus, joka päättää, onko linkkisi riittävän nopea

Ihmiset ohittavat tämän ja käyttävät sitten päivän . Se vie kaksi minuuttia ja on lähes aina ratkaiseva.

NVIDIAn kommentoitu havaintosanakirja tiedostossa eval_so100.py kertoo, mitä verkossa kulkee: kaksi (480, 640, 3) muotoista uint8-taulukkoa, kuusi nivel-liukulukua, kielimerkkijono. Tämä on 921 600 tavua per kehys, 1 843 200 tavua kahdelle kameralle, noin 14,7 Mbit, eikä kumpikaan pino pakkaa sitä JPEG-muotoon. Takaisin tuleva palanen on muutaman kymmenen askeleen mittainen 6 liukuluvun sarja. Lähetysnopeutesi ratkaisee kaiken, ei latausnopeutesi.

Budjetti, johon sinun on mahduttava

GR00T SO-100 -asiakasohjelma on synkroninen: se kutsuu policy.get_action(obs), suorittaa ensimmäiset action_horizon askelta palasta 30 FPS:llä, ja kutsuu sitten uudelleen. Palakoko ja horisontti ovat eri lukuja: NVIDIAn käyttöönotto-opas suosittelee toimintapalan kooksi 16, vähintään 32 yhdistettynä reaaliaikaiseen palasteluun, kun taas eval_so100.py toimittaa suoritushorisontin 8. Kahdeksan askelta 30 FPS:llä on 267 ms liikettä per kutsu, ja kaiken muun on mahduttava siihen.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Horisontin nostaminen on karkea korjaus eikä ilmainen: robottikäsi toimii nyt vanhentuneen havainnon perusteella. Periaatteellinen korjaus on reaaliaikainen palastelu (real-time chunking), joka laskee seuraavan palan samalla kun nykyinen suoritetaan, jäädyttää taatusti suoritettavat toiminnot ja täydentää loput; RTC-paperi raportoi sen olevan vankka päättelyviiveen suhteen ilman uudelleenkoulutusta. Tarkista ensin, missä vaiheessa tämä on. NVIDIA merkitsee RTC:n kokeelliseksi, matalan tason malliprimitiiviksi, johon pääsee käsiksi action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), jota ei ole kytketty Gr00tPolicyyn tai palvelin-asiakas-polkuun, missä options on käyttämätön, ilman testejä ja esimerkkejä. Politiikkapalvelimen kautta saat asynkronisen suorituksen, et RTC:tä.

Mittaa se ennen kuin luotat siihen

Jokainen yllä oleva luku on ennuste. Neljä komentoa muuttaa sen mittaukseksi, joka kannattaa suorittaa ennen kuin sitouttaa pod-tunnin tehtävään, joka ei olisi koskaan toiminut.

1. 1
   Hae raaka edestakainen viive

   Podia vastaan, ei CDN:ää. Tarkkaile poikkeamaa yhtä tarkasti kuin keskiarvoa: värinä saa käden nykimään, ei keskimääräinen viive.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Mittaa todellinen lähetysnopeus, älä sitä mistä maksat

   Kotitalouksien lähetysnopeus on yleensä murto-osa latausnopeudesta, ja se on yllä olevan kaistanleveys-taulukon luku.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Lue asiakkaan oma viiveloki

   LeRobot-robottiasiakas kirjaa palvelimelta asiakkaalle -viiveen ja deserialisointiajan jokaiselle palalle. Reitillä B et tarvitse ulkoisia työkaluja.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Tarkkaile toimintojonon tyhjentymistä

   Anna --debug_visualize_queue_size=True, niin asiakas piirtää jonon koon ajon aikana. Jos se toistuvasti osuu nollaan, budjettisi on loppu: alenna fps:ää, nosta actions_per_chunk-arvoa tai nosta chunk_size_threshold-arvoa, jotta havainnot lähetetään useammin.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Mihin etäpäättely todella soveltuu

Jos etäajo nykii samassa kohdassa jokaisessa episodissa, verkko ei todennäköisesti ole syy. Politiikka, joka epäröi aina samassa nivelkulmassa, on yleensä dataongelma; katso vianmäärityssivut, erityisesti politiikka, joka toimii vain yhdessä asetelmassa ja häviö laskee, mutta politiikka ei tee mitään.

Tee se itse vs. tee se AY-Robotsilla

Mitä etäpäätelysessio maksaa

Kaksi lukua on tärkeitä: kortin tuntihinta ja kuinka kauan annat sen käydä. Ensimmäinen on julkaistu; toinen yllättää ihmiset.

Nämä hinnat luettiin Runpodin hinnoittelusivulta 23. elokuuta 2026, ja spot-markkinat liikkuvat. AY-Robots ilmoittaa sen sijaan koko ajon hinnan: 3–6 tuntia hintaan 1.20–2.00 USD tunnissa A100- tai H100-tasolla, noin 4–12 USD GR00T- tai Pi0.5-ajolle; 2–5 tuntia hintaan 0.30–0.60 USD tunnissa 24 GB:n tasolla, 1–3 USD SmolVLA:lle tai ACT:lle. Päättelysessio voittaa koulutusajon kustannuksissa vain, jos sen pysäyttää, mihin joutokäynnin valvonta on tarkoitettu. Katso laskutusdokumentaatio ja hinnoittelusivu.

Jos et halua verkkoa mukaan

Etäpäättely ratkaisee laitteisto-ongelman ja luo viiveongelman. Joskus parempi vastaus on käytettävissä olevaan laitteistoon sopiva toimintamalli.

• ACT, noin 80 miljoonaa parametria ja 20 ms per toimintavaihe, vähintään 50 episodia, mikä tahansa 24 GB kortti. Toistuvassa yksitehtäväisessä asetelmassa se usein voittaa etäkäytössä olevan 3 B -mallin, koska se ei koskaan odota pakettia.
• SmolVLA, noin 450 miljoonaa parametria ja 245 ms per toimintavaihe, vähintään 30 episodia. Se säilyttää kielikonditionoinnin, joka ACT:ltä puuttuu, ja lerobot-dokumentaation mukaan se vie noin 2 GB päättelyvaiheessa verrattuna noin 14 GB:hen PI0:lle.
• ACT vs GR00T N1.7 kaupan tarkkuuspuolelle.

On myös keskitie: kouluta pilvessä, arvioi paikallisesti. Hienosäätö tarvitsee 80 GB kortin eikä välitä viiveestä, joten GR00T N1.7:n kouluttaminen SO-100:lla etänä on kiistatonta. Vain arviointilooppilla on reaaliaikavaatimus; koulutusdokumentaatio ja malli- ja varsimatriisi kattavat sen puolen.

Usein kysytyt kysymykset

Lyhyt versio

Etäpäättely 3 B policylle on ratkaistu insinööritieteellinen ongelma, johon liittyy ratkaisematon fysiikan ongelma. Insinööritieteellinen osuus on kaksi komentoa ja SSH-tunneli. Fysiikka on se, että 1.8 MB:n havainnon on saavuttava toisessa maassa olevaan GPU:hun ja palattava takaisin ennen kuin robotin kädestä loppuvat toiminnot. Tee laskelmat ennen kuin vuokraat mitään, valitse tehtävä, joka sietää vanhentuneen havainnon, ja nosta suoritushorisonttia sen sijaan, että toivoisit yhteyden paranevan.

Jos et ole vielä tallentanut datajoukkoa, tallenna ensimmäinen datajoukkosi ja SO-100 asennusopas tulevat ensin, ja LeRobot-datajoukon muoto selittää, mitä tallennin kirjoittaa. Taustaa on näkö-kieli-toimintamalleissa ja virtaussovituspolitiikan työssä; areenan merkintä linkittää jokaisen vertailuarvon lähteeseen.