Yerel GPU Olmadan GR00T Çıkarımı Çalıştırma

Bir Raspberry Pi, bir seri veri yolu üzerinden sürmek ve iki USB kameradan kareler çekmek için yeterlidir. Üç milyar parametreli bir çalıştırmak için yeterli değildir: NVIDIA'nın README'si, GR00T N1.7 çıkarımını 16 GB veya daha fazla VRAM'e sahip tek bir GPU'da gösterir. İnce ayarlı kontrol noktanızın kol üzerinde bir kart satın almadan ne yaptığını görmek için, politikayı kiralanmış bir bulut GPU'ya yerleştirin, robot döngüsünü USB bağlantı noktalarına sahip makinede tutun ve gözlemleri ve eylem parçalarını ağ üzerinden gönderin.

Çalışıyor, ücretsiz değil ve fiyat görevler arasında eşit dağılmıyor. Aşağıda: NVIDIA'nın kendi politika sunucusu, lerobot'un eşzamansız yığını, uplink'inizin yeterince hızlı olup olmadığını önceden söyleyen aritmetik ve platform rotası. Tüm bunlar 23 Ağustos 2026 tarihinde Isaac-GR00T ana dalı (N1.7 GA) ve lerobot 0.6.1'e göre kontrol edildi.

Politika neden robot makinesine sığmaz

AY-Robots'un eğitebildiği beş politikadan ikisi iş istasyonu kartında çalışır, üçü çalışmaz. Aşağıdaki sütunu eylem adımı başına olup, ağınızın gidiş-dönüş süresiyle rekabet eden sayıdır.

Bunu bir karar olarak okuyun, önemsiz bir bilgi olarak değil. ACT adım başına 20 ms ile robot makinesinde çalışır ve bir daha asla düşünmenize gerek kalmaz. Pi0.5 485 ms'de, bir paket binanızdan ayrılmadan önce saniyenin üçte birini harcamış olur. politika karşılaştırması ve GR00T N1.7 vs Pi0.5 doğruluk tarafını ekler.

Mevcut iki istemci-sunucu yığını

Isaac-GR00T bir ZeroMQ istek-yanıt sunucusu gönderir; lerobot, eşzamansız çıkarım etrafında inşa edilmiş bir gRPC sunucusu gönderir. Her ikisi de bir GR00T kontrol noktası. lerobot'un desteklenen politika listesi async_inference/constants.py şunlardır: act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 ve groot; robot listesi ise so100_follower, so101_follower, bi_so_follower ve omx_follower'dır.

Serileştirme satırı göründüğünden daha önemlidir. GR00T'nin MsgSerializer nesne-dtype ndarray yüklerini her iki yönde de reddeder, çünkü msgpack_numpy aksi takdirde bunları pickle'a devrederdi. lerobot bunun yerine pickle kullanır: policy_server.py istek verileri üzerinde pickle.loads çağırır, robot_client.py gönderdiği gözlemi pickle'lar. Güvenilir bir LAN'da savunulabilir, ancak bağlantı noktası internetten erişilebilir olduğunda savunulamaz.

Yol A: NVIDIA'nın kendi GR00T politika sunucusu

Bu, NVIDIA'nın SO-100 ve SO-101 donanımı için belgelediği yoldur ve kontrol noktanız examples/finetune.sh dosyasından --embodiment-tag NEW_EMBODIMENT ile çıktıysa kullanılacak yoldur. Adımlar, yukarı akış README'sinin eksik bıraktığı şeyi ekler: bağlantı noktasını başkalarına açmadan robota ulaştırmak.

1. 1
   Kiralanan GPU kutusuna GR00T'yi kurun

   Alt modüller gereklidir ve git-lfs'nin klonlamadan önce mevcut olması gerekir, aksi takdirde demo_data içindeki parquet dosyaları işaretçi olarak gelir. flash-attn ve TensorRT varsayılan kurulumla birlikte gelir. Yeni bir pod görüntüsündeki tuzak: torchcodec 0.8.0, desteklenen tek video arka ucudur ve yalnızca FFmpeg 4 ila 7'yi yükler. Ubuntu 25.10 ve 26.04, FFmpeg 8 ile birlikte gelir, bu nedenle GR00T, Could not load libtorchcodec hatasıyla başarısız olur. FFmpeg 8'in altında bir sürüm yükleyin ve kütüphanelerini LD_LIBRARY_PATH üzerine koyun.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Kilitli omurgaya karşı kimlik doğrulama

   Kendi ince ayarınız da dahil olmak üzere her GR00T N1.7 kontrol noktası, ilk kullanımda kilitli nvidia/Cosmos-Reason2-2B modelini yükler. Model sayfasından erişim isteyin ve pod'a giriş yapın, aksi takdirde yükleme bir GatedRepoError hatasıyla başarısız olur.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Politika sunucusunu başlatın

   --model-path'i kontrol noktası dizininize yönlendirin; bu yolda sunucu, yalnızca tekrar oynatma yolunda okunan --modality-config-path'i yok sayar. Kablolamanın çalıştığını kanıtlamanın en ucuz yolu olan kaydedilmiş eylemleri tekrar oynatan bir ReplayPolicy için --model-path'i atlayın ve bunun yerine --dataset-path artı --execution-horizon'ı geçirin.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   5555 numaralı bağlantı noktasını robot makinesine tünelleyin

   Yukarıdaki gibi loopback'e bağlayın ve bağlantı noktasını SSH veya WireGuard tarzı bir ağ üzerinden taşıyın. Bu, ZeroMQ soketinin sağlamadığı şifreleme ve kimlik doğrulamayı yaklaşık bir milisaniye içinde sağlar.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Robot istemcisini servoların yanında çalıştırın

   İstemcinin kendi uv ortamına ihtiyacı vardır: eğitim yığını değil, lerobot'un robot sürücülerini ister. eval_so100.py, so100_follower, so101_follower ve koch_follower'ı içe aktarır, bu nedenle kolunuza uygun --robot.type'ı geçirin (yukarı akış README'si so101_follower kullanır). Kamera anahtarları eğitimle eşleşmelidir: adaptör tam olarak front ve wrist'i okur ve bunları değiştirmek politikaya yanlış görünümü gösterir.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

B Rotası: lerobot eşzamansız çıkarım

lerobot farklı bir sorunu çözer. Model düşünürken robotu engellemek yerine, sunucu bir sonraki parçayı hesaplarken istemci zaten sahip olduğu kuyrukta ilerlemeye devam eder. Bu, SmolVLA ile tanıtılan eşzamansız yığının daha da ileri götürülmüş bir eylem parçalama yöntemidir. Bir GR00T kontrol noktasıyla da çalışır.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Sunucu boş başlar: kiralanmış bir pod üzerinde kullanışlı olan, istemcinin ilk el sıkışması ona söyleyene kadar hangi politikayı sunduğunu bilmez. Kolun sorunsuz hareket edip etmeyeceğine karar veren iki ayar actions_per_chunk ve chunk_size_threshold (lerobot belgeleri ikincisine SmolVLA makalesinden sonra g der), ve belgelenmiş değerler ile gönderilen değerler uyuşmuyor.

Bağlantınızın yeterince hızlı olup olmadığına karar veren aritmetik

İnsanlar bunu atlar ve sonra bir gününü hareket ortasında donan bir politika. Bu iki dakika sürer ve neredeyse her zaman belirleyicidir.

NVIDIA'nın eval_so100.py dosyasındaki yorumlanmış gözlem sözlüğü, kablo üzerinden neyin gittiğini belirtir: uint8 formatında (480, 640, 3) şeklinde iki dizi, altı eklem kayan nokta değeri, bir dil dizisi. Bu, kare başına 921.600 bayt, iki kamera için 1.843.200 bayt, yaklaşık 14.7 Mbit demektir ve hiçbir yığın bunu JPEG sıkıştırmaz. Geri gelen veri bloğu, birkaç düzine adımlık 6 kayan nokta değeridir. Her şeyi yüklemeniz belirler, indirmeniz değil.

Uymanız gereken bütçe

GR00T SO-100 istemcisi senkronizedir: policy.get_action(obs) çağrısı yapar, yığının ilk action_horizon adımını 30 FPS'de yürütür, ardından tekrar çağrı yapar. Yığın boyutu ve ufuk farklı sayılardır: NVIDIA'nın dağıtım kılavuzu, gerçek zamanlı yığınlama ile birleştirildiğinde en az 32 olmak üzere 16'lık bir eylem yığın boyutu önerirken, eval_so100.py 8'lik bir yürütme ufku sunar. 30 FPS'de sekiz adım, çağrı başına 267 ms hareket demektir ve diğer her şey bunun içine sığmak zorundadır.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Ufku yükseltmek kaba bir çözümdür ve bedelsiz değildir: kol, artık eski olan bir gözlem üzerinde hareket eder. Prensipsel çözüm, mevcut yığın çalışırken bir sonraki yığını hesaplayan, yürütülmesi garanti edilen eylemleri donduran ve geri kalanını tamamlayan gerçek zamanlı yığınlamadır; RTC makalesi, yeniden eğitim gerektirmeden çıkarım gecikmesine karşı sağlam olduğunu bildirmektedir. Önce bunun nerede durduğunu kontrol edin. NVIDIA, RTC'yi deneysel olarak işaretler, bu, action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}) aracılığıyla erişilebilen düşük seviyeli bir model ilkelidir, Gr00tPolicy'ye veya sunucu-istemci yoluna bağlı değildir, burada options kullanılmaz, testleri ve örneği yoktur. Bir politika sunucusu üzerinden RTC değil, eşzamansız yürütme elde edersiniz.

Güvenmeden önce ölçün

Yukarıdaki her sayı bir tahmindir. Dört komut, onu bir ölçüme dönüştürür; asla çalışmayacak bir göreve bir pod-saat ayırmadan önce çalıştırmaya değerdir.

1. 1
   Ham gidiş-dönüş süresini alın

   Pod'a karşı, bir CDN'e değil. Ortalamayı olduğu kadar sapmayı da yakından izleyin: kolun takılmasına ortalama gecikme değil, jitter neden olur.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Sahip olduğunuz yükleme hızını ölçün, ödediğinizi değil

   Ev interneti yükleme hızı genellikle indirme hızının bir kısmıdır ve yukarıdaki bant genişliği tablosundaki sayıdır.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   İstemcinin kendi gecikme günlüğünü okuyun

   LeRobot robot istemcisi, her bir veri bloğu için sunucudan istemciye gecikmeyi ve seri durumdan çıkarma süresini kaydeder. B rotasında harici bir araca ihtiyacınız yoktur.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Eylem kuyruğunun boşalmasını izleyin

   --debug_visualize_queue_size=True parametresini geçin ve istemci çalışma zamanında kuyruk boyutunu çizer. Eğer tekrar tekrar sıfıra düşerse, bütçeniz tükenmiş demektir: fps'yi düşürün, actions_per_chunk'ı artırın veya gözlemlerin daha sık gönderilmesi için chunk_size_threshold'u yükseltin.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Uzaktan çıkarım aslında ne işe yarar?

Eğer uzaktan bir çalıştırma her bölümde aynı noktada takılıyorsa, muhtemelen ağ nedeni değildir. Her seferinde aynı eklem açısında tereddüt eden bir politika genellikle bir veri sorunudur; bkz. hata modu sayfaları, özellikle de yalnızca tek bir kurulumda çalışan bir politika ve kayıp düşüyor ama politika hiçbir şey yapmıyor.

Kendiniz yapmak mı yoksa AY-Robots üzerinde yapmak mı?

Uzak çıkarım oturumunun maliyeti

İki sayı önemlidir: kartın saatlik ücreti ve ne kadar süreyle çalışır durumda bıraktığınız. Birincisi yayınlanmıştır; ikincisi insanları şaşırtır.

Bu oranlar 23 Ağustos 2026 tarihinde Runpod'un fiyatlandırma sayfasından alınmıştır ve spot piyasalar hareketlidir. AY-Robots bunun yerine tüm bir çalıştırma için fiyat verir: A100 veya H100 katmanında saat başına 1.20 ila 2.00 USD'den 3 ila 6 saat, bir GR00T veya Pi0.5 çalıştırması için yaklaşık 4 ila 12 USD; 24 GB katmanında saat başına 0.30 ila 0.60 USD'den 2 ila 5 saat, SmolVLA veya ACT için 1 ila 3 USD. Bir çıkarım oturumu, maliyet açısından bir eğitim çalıştırmasını ancak durdurursanız yener, boşta kalma izleyicisi de bunun içindir. Bkz. faturalandırma belgeleri ve fiyatlandırma sayfası.

Ağı döngüde bulundurmak istemiyorsanız

Uzaktan çıkarım, bir donanım sorununu çözer ve bir gecikme sorunu yaratır. Bazen daha iyi yanıt, sahip olduğunuz donanıma uyan bir politikadır.

• ACT, yaklaşık 80 M parametre ve eylem adımı başına 20 ms, minimum 50 epizot, herhangi bir 24 GB kart. Tekrarlayan tek görevli bir kurulumda, bir paketi asla beklemediği için uzaktaki 3 B'lik bir modeli sık sık geride bırakır.
• SmolVLA, yaklaşık 450 M parametre ve eylem adımı başına 245 ms, minimum 30 epizot. ACT'nin eksik olduğu dil koşullandırmasını korur ve lerobot belgeleri, çıkarım zamanında yaklaşık 2 GB olarak belirtirken, PI0 için yaklaşık 14 GB'tır.
• ACT vs GR00T N1.7, takasın doğruluk yarısı için.

Orta bir yol da var: bulutta eğit, yerel olarak değerlendir. İnce ayar 80 GB karta ihtiyaç duyar ve gecikmeyi umursamaz, bu yüzden bir SO-100 üzerinde GR00T N1.7 eğitimi uzaktan tartışmasızdır. Yalnızca değerlendirme döngüsünün gerçek zamanlı bir kısıtlaması vardır; eğitim belgeleri ve model ve kol matrisi bu yarısını kapsar.

Sıkça sorulan sorular

Kısa versiyon

3 B politika için uzaktan çıkarım, çözülmüş bir mühendislik problemi olup, çözülmemiş bir fizik problemiyle birlikte gelir. Mühendislik kısmı iki komut ve bir SSH tünelidir. Fizik kısmı ise 1.8 MB'lık bir gözlemin, kolun eylemleri bitmeden önce başka bir ülkedeki bir GPU'ya ulaşıp geri dönmesi gerektiğidir. Herhangi bir şey kiralamadan önce hesaplamaları yapın, eski bir gözleme tolerans gösteren bir görev seçin ve bağlantının iyileşmesini ummak yerine yürütme ufkunu yükseltin.

Henüz bir veri kümesi kaydetmediyseniz, ve önce gelir ve girişi kaydedicinin ne yazdığını açıklar. Arka plan ve üzerinedir; her kıyaslama numarasını bir kaynağa bağlar.