Jalankan Inferens GR00T Tanpa GPU Tempatan

Raspberry Pi cukup untuk menggerakkan melalui bas bersiri dan menarik bingkai daripada dua kamera USB. Ia tidak cukup untuk menjalankan model tiga bilion parameter : README NVIDIA meletakkan inferens GR00T N1.7 pada satu GPU dengan 16 GB atau lebih VRAM. Untuk melihat apa yang dilakukan oleh checkpoint anda yang telah ditala halus pada lengan tanpa membeli kad, letakkan polisi pada GPU awan yang disewa, kekalkan gelung robot pada mesin dengan port USB, dan hantar pemerhatian serta cebisan tindakan melalui rangkaian.

Ia berfungsi, ia tidak percuma, dan harganya tidak tersebar secara sekata merentasi tugas. Di bawah: pelayan polisi NVIDIA sendiri, tindanan async lerobot, aritmetik yang menyatakan terlebih dahulu sama ada pautan atas anda cukup pantas, dan laluan platform. Kesemuanya telah disemak terhadap cawangan utama Isaac-GR00T (N1.7 GA) dan lerobot 0.6.1 pada 23 Ogos 2026.

Mengapa polisi tidak akan muat pada mesin robot

Dua daripada lima polisi yang boleh dilatih oleh AY-Robots berjalan pada kad stesen kerja, tiga tidak. Kolum di bawah adalah bagi setiap langkah tindakan, dan itulah nombor yang bersaing dengan perjalanan pergi balik rangkaian anda.

Baca ini sebagai keputusan, bukan maklumat remeh. pada 20 ms setiap langkah berjalan pada mesin robot dan anda tidak perlu memikirkannya lagi. pada 485 ms telah menghabiskan sepertiga saat sebelum paket meninggalkan bangunan anda. dan menambah sisi ketepatan.

Dua tindanan klien-pelayan yang sedia ada

Isaac-GR00T menghantar pelayan permintaan-balas ZeroMQ; lerobot menghantar pelayan gRPC yang dibina berdasarkan inferens tak segerak. Kedua-duanya menerima GR00T pusat pemeriksaan. Senarai polisi yang disokong lerobot dalam async_inference/constants.py ialah act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 dan groot; senarai robotnya ialah so100_follower, so101_follower, bi_so_follower dan omx_follower.

Baris siri (serialization) lebih penting daripada yang kelihatan. GR00T's MsgSerializer menolak muatan ndarray object-dtype dalam kedua-dua arah, kerana msgpack_numpy akan menyerahkannya kepada pickle. lerobot menggunakan pickle sebaliknya: policy_server.py memanggil pickle.loads pada data permintaan, robot_client.py menggunakan pickle untuk pemerhatian yang dihantarnya. Boleh dipertahankan pada LAN yang dipercayai, tidak boleh dipertahankan apabila port boleh dicapai dari internet.

Laluan A: Pelayan polisi GR00T milik NVIDIA

Ini adalah laluan yang didokumenkan oleh NVIDIA untuk perkakasan SO-100 dan SO-101, dan yang perlu digunakan jika titik semak anda datang daripada examples/finetune.sh dengan --embodiment-tag NEW_EMBODIMENT. Langkah-langkah ini menambah apa yang ditinggalkan oleh README hulu: mendapatkan port ke robot tanpa mendedahkannya kepada orang lain.

1. 1
   Pasang GR00T pada kotak GPU sewa

   Submodul diperlukan, dan git-lfs mesti wujud sebelum klon atau fail parquet dalam demo_data tiba sebagai penunjuk. flash-attn dan TensorRT disertakan dengan pemasangan lalai. Perangkap pada imej pod baharu: torchcodec 0.8.0 adalah satu-satunya backend video yang disokong dan hanya memuatkan FFmpeg 4 hingga 7. Ubuntu 25.10 dan 26.04 menghantar FFmpeg 8, jadi GR00T gagal dengan Could not load libtorchcodec. Pasang FFmpeg di bawah versi 8 dan letakkan pustakanya pada LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Sahkan terhadap tulang belakang berpagar

   Setiap titik semak GR00T N1.7, termasuk penalaan halus anda sendiri, memuatkan nvidia/Cosmos-Reason2-2B yang berpagar pada penggunaan pertama. Minta akses pada halaman model dan log masuk pada pod, atau pemuatan akan gagal dengan GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Mulakan pelayan polisi

   Tujukan --model-path ke direktori titik semak anda; pada laluan itu pelayan mengabaikan --modality-config-path, yang hanya dibaca pada laluan ulang tayang. Abaikan --model-path dan hantar --dataset-path serta --execution-horizon sebaliknya untuk ReplayPolicy yang memainkan semula tindakan yang direkodkan, cara termurah untuk membuktikan pendawaian berfungsi.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Terowong port 5555 ke mesin robot

   Ikat ke gelung balik (loopback), seperti di atas, dan bawa port melalui SSH atau jaringan gaya WireGuard. Itu menyediakan penyulitan dan pengesahan yang tidak dimiliki oleh soket ZeroMQ, untuk kira-kira satu milisaat.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Jalankan klien robot di sebelah servo

   Klien memerlukan persekitaran uv sendiri: ia mahukan pemacu robot lerobot, bukan timbunan latihan. eval_so100.py mengimport so100_follower, so101_follower dan koch_follower, jadi hantar --robot.type yang sepadan dengan lengan anda (README hulu menggunakan so101_follower). Kunci kamera mesti sepadan dengan latihan: penyesuai membaca dengan tepat front dan wrist, dan menukarnya menunjukkan polisi pandangan yang salah.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Laluan B: inferens async lerobot

lerobot menyelesaikan masalah yang berbeza. Daripada menyekat robot semasa model berfikir, klien terus melangkah melalui barisan yang sedia ada sementara pelayan mengira segmen seterusnya. Ini adalah pengecilan tindakan yang diperluaskan lagi, tindanan tak segerak yang diperkenalkan dengan SmolVLA. Ia juga berfungsi dengan titik semak GR00T.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Pelayan bermula kosong: ia tidak tahu dasar mana yang disediakannya sehingga jabat tangan pertama klien memberitahunya, yang mudah pada pod sewaan. Dua tetapan yang menentukan sama ada lengan bergerak dengan lancar ialah actions_per_chunk dan chunk_size_threshold (dokumen lerobot memanggil yang kedua g, sempena kertas SmolVLA), dan nilai yang didokumenkan serta nilai yang dihantar tidak sepadan.

Aritmetik yang menentukan sama ada pautan anda cukup pantas

Orang ramai melangkau ini dan kemudian menghabiskan sehari untuk . Ia mengambil masa dua minit dan ia hampir selalu menentukan.

Dict pemerhatian yang dikomen dalam NVIDIA's eval_so100.py menyatakan apa yang dihantar melalui wayar: dua tatasusunan berbentuk (480, 640, 3) dalam uint8, enam float sendi, satu rentetan bahasa. Itu adalah 921,600 bait setiap bingkai, 1,843,200 bait untuk dua kamera, kira-kira 14.7 Mbit, dan tiada satu pun timbunan memampatkannya dengan JPEG. Bahagian yang kembali adalah beberapa dozen langkah 6 float. Muat naik anda menentukan segalanya, bukan muat turun anda.

Bajet yang perlu anda penuhi

Klien GR00T SO-100 adalah segerak: ia memanggil policy.get_action(obs), melaksanakan action_horizon langkah pertama daripada ketulan pada 30 FPS, kemudian memanggil semula. Saiz ketulan dan horizon adalah nombor yang berbeza: panduan penggunaan NVIDIA mengesyorkan saiz ketulan tindakan 16, sekurang-kurangnya 32 apabila digabungkan dengan chunking masa nyata, manakala eval_so100.py menyediakan horizon pelaksanaan 8. Lapan langkah pada 30 FPS adalah 267 ms pergerakan setiap panggilan, dan segala-galanya perlu muat di dalamnya.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Meningkatkan horizon adalah penyelesaian kasar dan bukan percuma: lengan bertindak berdasarkan pemerhatian yang kini sudah lama. Penyelesaian berprinsip adalah chunking masa nyata, yang mengira ketulan seterusnya semasa yang semasa berjalan, membekukan tindakan yang dijamin akan dilaksanakan dan melengkapkan selebihnya; kertas RTC melaporkannya sebagai teguh terhadap kelewatan inferens tanpa latihan semula. Semak kedudukannya terlebih dahulu. NVIDIA menandakan RTC sebagai eksperimen, primitif model peringkat rendah yang boleh dicapai melalui action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), tidak disambungkan ke Gr00tPolicy atau laluan pelayan-klien, di mana options tidak digunakan, tanpa ujian dan tanpa contoh. Melalui pelayan polisi anda mendapat pelaksanaan tak segerak, bukan RTC.

Ukur sebelum anda percaya

Setiap nombor di atas adalah ramalan. Empat arahan mengubahnya menjadi ukuran, yang patut dijalankan sebelum memperuntukkan jam pod untuk tugas yang tidak akan berjaya.

1. 1
   Dapatkan perjalanan pergi balik mentah

   Terhadap pod, bukan CDN. Perhatikan sisihan sama rapat dengan purata: jitter menyebabkan lengan tersentak, bukan latensi purata.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Ukur pautan atas yang anda miliki, bukan yang anda bayar

   Muat naik kediaman biasanya sebahagian kecil daripada muat turun, dan ia adalah nombor dalam jadual lebar jalur di atas.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Baca log latensi klien sendiri

   Klien robot lerobot mencatat latensi pelayan-ke-klien dan masa penyahserialan untuk setiap cebisan. Pada laluan B anda tidak memerlukan alat luaran.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Perhatikan barisan tindakan mengalir keluar

   Luluskan --debug_visualize_queue_size=True dan klien akan memplot saiz barisan pada masa jalan. Jika ia berulang kali mencapai sifar, anda kehabisan bajet: kurangkan fps, tingkatkan actions_per_chunk, atau tingkatkan chunk_size_threshold supaya pemerhatian dihantar lebih kerap.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Untuk apa sebenarnya inferens jauh berguna

Jika larian jauh tersangkut pada titik yang sama dalam setiap episod, rangkaian mungkin bukan puncanya. Polisi yang teragak-agak pada sudut sendi yang sama setiap kali biasanya adalah masalah data; lihat halaman mod kegagalan, khususnya polisi yang hanya berfungsi dalam satu persediaan dan kerugian jatuh tetapi polisi tidak melakukan apa-apa.

Melakukannya sendiri berbanding melakukannya di AY-Robots

Berapa kos sesi inferens jauh

Dua nombor penting: kadar jam kad, dan berapa lama anda membiarkannya berjalan. Yang pertama diterbitkan; yang kedua mengejutkan orang.

Kadar tersebut dibaca dari halaman harga Runpod pada 23 Ogos 2026, dan pasaran spot sentiasa berubah. AY-Robots pula menawarkan keseluruhan larian: 3 hingga 6 jam pada 1.20 hingga 2.00 USD sejam pada tahap A100 atau H100, kira-kira 4 hingga 12 USD untuk larian GR00T atau Pi0.5; 2 hingga 5 jam pada 0.30 hingga 0.60 USD sejam pada tahap 24 GB, 1 hingga 3 USD untuk SmolVLA atau ACT. Sesi inferens mengalahkan larian latihan dari segi kos hanya jika anda menghentikannya, itulah tujuan pengawas terbiar (idle watchdog). Lihat dokumen pengebilan dan halaman harga.

Jika anda lebih suka tidak melibatkan rangkaian

Inferens jarak jauh menyelesaikan masalah perkakasan dan mewujudkan masalah kependaman. Kadangkala jawapan yang lebih baik adalah polisi yang sesuai dengan perkakasan yang anda miliki.

• ACT, kira-kira 80 J parameter dan 20 ms setiap langkah tindakan, minimum 50 episod, mana-mana kad 24 GB. Dalam persediaan tugas tunggal yang berulang, ia sering mengatasi model 3 B jarak jauh, kerana ia tidak pernah menunggu paket.
• SmolVLA, kira-kira 450 J parameter dan 245 ms setiap langkah tindakan, minimum 30 episod. Ia mengekalkan pengkondisian bahasa yang tiada pada ACT, dan dokumen lerobot meletakkannya pada kira-kira 2 GB pada masa inferens berbanding kira-kira 14 GB untuk PI0.
• ACT vs GR00T N1.7 untuk separuh ketepatan dalam pertukaran.

Terdapat juga jalan tengah: latih di awan, nilai secara tempatan. Penalaan halus memerlukan kad 80 GB dan tidak kisah tentang kependaman, jadi melatih GR00T N1.7 pada SO-100 dari jauh adalah tidak kontroversi. Hanya gelung penilaian yang mempunyai kekangan masa nyata; dokumen latihan dan matriks model-dan-lengan meliputi separuh itu.

Soalan lazim

Versi ringkas

Inferens jauh untuk polisi 3 B adalah masalah kejuruteraan yang telah diselesaikan dengan masalah fizik yang belum diselesaikan. Kejuruteraan melibatkan dua arahan dan terowong SSH. Fizik pula ialah pemerhatian 1.8 MB perlu sampai ke GPU di negara lain dan kembali sebelum lengan kehabisan tindakan. Lakukan pengiraan sebelum menyewa apa-apa, pilih tugas yang boleh menerima pemerhatian lapuk, dan tingkatkan ufuk pelaksanaan daripada mengharapkan pautan bertambah baik.

Jika anda belum merekodkan set data, rekodkan set data pertama anda dan panduan persediaan SO-100 didahulukan, dan entri format set data LeRobot menerangkan apa yang direkodkan oleh perakam. Latar belakang adalah dalam model tindakan bahasa-penglihatan dan kerja polisi padanan aliran; entri arena memautkan setiap nombor penanda aras kepada sumber.