اجرای استنتاج GR00T بدون GPU محلی

یک رزبری پای برای راه‌اندازی یک از طریق یک گذرگاه سریال و دریافت فریم‌ها از دو دوربین USB کافی است. اما برای اجرای یک با سه میلیارد پارامتر کافی نیست: فایل README انویدیا، استنتاج GR00T N1.7 را با یک GPU با 16 گیگابایت یا بیشتر VRAM تخمین می‌زند. برای مشاهده عملکرد چک‌پوینت تنظیم‌شده شما روی بازوی ربات بدون خرید کارت، سیاست را روی یک GPU ابری اجاره‌ای قرار دهید، حلقه ربات را روی دستگاه با پورت‌های USB نگه دارید و مشاهدات و قطعات عمل را از طریق شبکه ارسال کنید.

این روش کار می‌کند، رایگان نیست و هزینه آن به طور یکنواخت بین وظایف توزیع نشده است. در ادامه: سرور سیاست اختصاصی NVIDIA، پشته ناهمزمان lerobot، محاسباتی که از قبل نشان می‌دهد آیا آپلینک شما به اندازه کافی سریع است یا خیر، و مسیر پلتفرم. همه اینها در برابر شاخه اصلی Isaac-GR00T (N1.7 GA) و lerobot 0.6.1 در 23 آگوست 2026 بررسی شده است.

چرا سیاست روی دستگاه ربات جای نمی‌گیرد

دو مورد از پنج سیاست AY-Robots که قابل آموزش هستند، روی کارت ورک‌استیشن اجرا می‌شوند، سه مورد دیگر خیر. ستون در ادامه برای هر گام عملیاتی است، و این عددی است که با زمان رفت و برگشت شبکه شما رقابت می‌کند.

این را به عنوان یک تصمیم بخوانید، نه اطلاعات بی‌اهمیت. با ۲۰ میلی‌ثانیه در هر گام، روی ماشین ربات اجرا می‌شود و دیگر هرگز به آن فکر نمی‌کنید. با ۴۸۵ میلی‌ثانیه، یک سوم ثانیه را قبل از خروج یک بسته از ساختمان شما صرف کرده است. و جنبه دقت را اضافه می‌کنند.

دو پشته کلاینت-سرور موجود

Isaac-GR00T یک سرور درخواست-پاسخ ZeroMQ ارائه می‌دهد؛ lerobot یک سرور gRPC ساخته شده بر اساس استنتاج ناهمزمان ارائه می‌دهد. هر دو یک GR00T چک‌پوینت. لیست سیاست‌های پشتیبانی شده lerobot در async_inference/constants.py عبارتند از act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 و groot؛ لیست ربات‌های آن عبارتند از so100_follower, so101_follower, bi_so_follower و omx_follower.

ردیف سریال‌سازی بیش از آنچه به نظر می‌رسد اهمیت دارد. GR00T's MsgSerializer از پذیرش محموله‌های ndarray با نوع داده شیء (object-dtype) در هر دو جهت خودداری می‌کند، زیرا در غیر این صورت msgpack_numpy آن‌ها را به pickle می‌دهد. lerobot در عوض از pickle استفاده می‌کند: policy_server.py روی داده‌های درخواست، pickle.loads را فراخوانی می‌کند، robot_client.py مشاهداتی را که ارسال می‌کند، pickle می‌کند. در یک شبکه محلی قابل اعتماد قابل دفاع است، اما زمانی که پورت از طریق اینترنت قابل دسترسی باشد، غیرقابل دفاع است.

مسیر A: سرور سیاست GR00T متعلق به NVIDIA

این مسیری است که NVIDIA برای سخت‌افزار SO-100 و SO-101 مستند کرده است، و مسیری است که باید استفاده کنید اگر نقطه بازرسی شما از examples/finetune.sh با --embodiment-tag NEW_EMBODIMENT خارج شده باشد. این مراحل آنچه را که README اصلی از قلم انداخته است اضافه می‌کنند: رساندن پورت به ربات بدون اینکه آن را در معرض دید دیگران قرار دهید.

1. 1
   نصب GR00T روی سرور GPU اجاره‌ای

   زیرماژول‌ها ضروری هستند، و git-lfs باید قبل از کلون کردن وجود داشته باشد وگرنه فایل‌های parquet در demo_data به صورت اشاره‌گر (pointers) می‌رسند. flash-attn و TensorRT با نصب پیش‌فرض همراه هستند. مشکل در یک ایمیج پاد تازه: torchcodec 0.8.0 تنها بک‌اند ویدیویی پشتیبانی شده است و فقط FFmpeg 4 تا 7 را بارگذاری می‌کند. اوبونتو 25.10 و 26.04 با FFmpeg 8 عرضه می‌شوند، بنابراین GR00T با خطای Could not load libtorchcodec مواجه می‌شود. یک FFmpeg پایین‌تر از 8 نصب کنید و کتابخانه‌های آن را در LD_LIBRARY_PATH قرار دهید.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   احراز هویت در برابر بک‌بون محدود شده

   هر نقطه بازرسی GR00T N1.7، از جمله تنظیمات دقیق (fine-tune) خودتان، در اولین استفاده، مدل محدود شده nvidia/Cosmos-Reason2-2B را بارگذاری می‌کند. در صفحه مدل درخواست دسترسی دهید و در پاد وارد شوید، در غیر این صورت بارگذاری با خطای GatedRepoError مواجه می‌شود.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   راه‌اندازی سرور سیاست

   --model-path را به دایرکتوری نقطه بازرسی خود اشاره دهید؛ در این مسیر سرور --modality-config-path را نادیده می‌گیرد، که فقط در مسیر بازپخش (replay path) خوانده می‌شود. --model-path را حذف کنید و به جای آن --dataset-path به همراه --execution-horizon را برای یک ReplayPolicy که اقدامات ضبط شده را بازپخش می‌کند، ارسال کنید؛ این ارزان‌ترین راه برای اثبات کارکرد سیم‌کشی است.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   تونل کردن پورت 5555 به دستگاه ربات

   به لوپ‌بک متصل شوید، همانطور که در بالا ذکر شد، و پورت را از طریق SSH یا یک شبکه مشبک (mesh) به سبک WireGuard منتقل کنید. این کار رمزگذاری و احراز هویتی را فراهم می‌کند که سوکت ZeroMQ فاقد آن است، و حدود یک میلی‌ثانیه طول می‌کشد.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   اجرای کلاینت ربات در کنار سرووها

   کلاینت به محیط uv مخصوص خود نیاز دارد: این کلاینت درایورهای ربات lerobot را می‌خواهد، نه پشته آموزشی را. eval_so100.py ماژول‌های so100_follower، so101_follower و koch_follower را ایمپورت می‌کند، بنابراین --robot.type را مطابق با بازوی خود ارسال کنید (README اصلی از so101_follower استفاده می‌کند). کلیدهای دوربین باید با آموزش مطابقت داشته باشند: آداپتور دقیقاً front و wrist را می‌خواند، و جابجایی آن‌ها دید اشتباهی را به سیاست نشان می‌دهد.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

مسیر B: استنتاج ناهمزمان lerobot

lerobot یک مشکل متفاوت را حل می‌کند. به جای مسدود کردن ربات در حالی که مدل فکر می‌کند، کلاینت به گام برداشتن در صف موجود خود ادامه می‌دهد در حالی که سرور تکه بعدی را محاسبه می‌کند. این تقسیم‌بندی عمل گسترش یافته‌تر، پشته ناهمزمان معرفی شده با SmolVLA است. این با یک نقطه بازرسی GR00T نیز کار می‌کند.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

سرور خالی شروع به کار می‌کند: تا زمانی که اولین دست‌تکان دادن کلاینت به آن نگوید که چه سیاستی را ارائه می‌دهد، نمی‌داند، که در یک پاد اجاره‌ای راحت است. دو پارامتری که تعیین می‌کنند آیا بازو به نرمی حرکت می‌کند عبارتند از actions_per_chunk و chunk_size_threshold (مستندات lerobot دومی را g می‌نامند، به دنبال مقاله SmolVLA)، و مقادیر مستند شده و مقادیر ارسال شده با هم مطابقت ندارند.

محاسباتی که تعیین می‌کند آیا لینک شما به اندازه کافی سریع است یا خیر

مردم این را نادیده می‌گیرند و سپس یک روز را صرف . این دو دقیقه طول می‌کشد و تقریباً همیشه تعیین‌کننده است.

دیکشنری مشاهده کامنت‌گذاری شده در eval_so100.py NVIDIA's می‌گوید چه چیزی از طریق سیم منتقل می‌شود: دو آرایه با ابعاد (480, 640, 3) از نوع uint8، شش فلوت مفصلی، یک رشته زبان. این معادل 921,600 بایت در هر فریم، 1,843,200 بایت برای دو دوربین، حدود 14.7 مگابیت است، و هیچ یک از پشته‌ها آن را با JPEG فشرده نمی‌کنند. قطعه‌ای که برمی‌گردد چند ده گام از 6 فلوت است. آپلود شما همه چیز را تعیین می‌کند، نه دانلود شما.

بودجه‌ای که باید در آن جای بگیرید

کلاینت GR00T SO-100 همزمان است: آن فراخوانی می‌کند policy.get_action(obs)، سپس اولین action_horizon گام از قطعه را با سرعت 30 فریم بر ثانیه (FPS) اجرا کرده و دوباره فراخوانی می‌کند. اندازه قطعه و افق اعداد متفاوتی هستند: راهنمای استقرار NVIDIA اندازه قطعه عمل را 16 توصیه می‌کند، و حداقل 32 در ترکیب با قطعه‌بندی بلادرنگ، در حالی که eval_so100.py یک افق اجرایی 8 را ارائه می‌دهد. هشت گام با سرعت 30 فریم بر ثانیه معادل 267 میلی‌ثانیه حرکت در هر فراخوانی است، و هر چیز دیگری باید در این زمان جای بگیرد.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

افزایش افق یک راه‌حل سرراست و البته بدون هزینه نیست: بازو بر اساس مشاهده‌ای عمل می‌کند که اکنون قدیمی شده است. راه‌حل اصولی، قطعه‌بندی بلادرنگ (real-time chunking) است که قطعه بعدی را در حین اجرای قطعه فعلی محاسبه می‌کند، اقدامات تضمین‌شده برای اجرا را ثابت نگه می‌دارد و بقیه را تکمیل می‌کند؛ مقاله RTC آن را در برابر تأخیر استنتاج بدون نیاز به بازآموزی مقاوم گزارش می‌کند. ابتدا بررسی کنید که این موضوع در چه وضعیتی قرار دارد. NVIDIA، RTC را آزمایشی می‌داند، یک اولیه مدل سطح پایین که از طریق action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}) قابل دسترسی است، اما به Gr00tPolicy یا مسیر سرور-کلاینت متصل نیست، جایی که options استفاده نشده است، و هیچ تست یا مثالی ندارد. از طریق یک سرور سیاست، شما اجرای ناهمزمان دریافت می‌کنید، نه RTC.

قبل از اعتماد، آن را اندازه‌گیری کنید

هر عددی که در بالا ذکر شد، یک پیش‌بینی است. چهار دستور آن را به یک اندازه‌گیری تبدیل می‌کنند که ارزش اجرا کردن را دارد، قبل از اینکه یک ساعت پاد را به کاری اختصاص دهید که هرگز قرار نبود کار کند.

1. 1
   سفر رفت و برگشت خام را دریافت کنید

   در برابر پاد، نه یک CDN. انحراف را به همان اندازه میانگین با دقت مشاهده کنید: لرزش (jitter) باعث لکنت بازو می‌شود، نه تأخیر متوسط.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   آپلینکی را که دارید اندازه‌گیری کنید، نه آنی را که برایش پول می‌دهید

   آپلود خانگی معمولاً کسری از دانلود است، و این همان عددی است که در جدول پهنای باند بالا ذکر شده است.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   لاگ تأخیر خود کلاینت را بخوانید

   کلاینت ربات lerobot تأخیر سرور به کلاینت و زمان دی‌سریال‌سازی را برای هر تکه ثبت می‌کند. در مسیر B به هیچ ابزار خارجی نیاز ندارید.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   تخلیه صف عمل را مشاهده کنید

   --debug_visualize_queue_size=True را ارسال کنید و کلاینت اندازه صف را در زمان اجرا رسم می‌کند. اگر به طور مکرر به صفر برسد، شما از بودجه خارج شده‌اید: نرخ فریم (fps) را کاهش دهید، actions_per_chunk را افزایش دهید، یا chunk_size_threshold را افزایش دهید تا مشاهدات بیشتر ارسال شوند.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

استنتاج از راه دور واقعاً برای چه کاری خوب است

اگر یک اجرای از راه دور در هر اپیزود در یک نقطه خاص دچار لکنت می‌شود، شبکه احتمالاً علت آن نیست. سیاستی که هر بار در یک زاویه مفصلی خاص تردید می‌کند، معمولاً یک مشکل داده‌ای است؛ به صفحات حالت‌های خرابی، به ویژه سیاستی که فقط در یک تنظیمات کار می‌کند و کاهش ضرر اما سیاست هیچ کاری نمی‌کند.

انجام آن توسط خودتان در مقابل انجام آن روی AY-Robots

هزینه یک جلسه استنتاج از راه دور چقدر است

دو عدد مهم هستند: نرخ ساعتی کارت، و مدت زمانی که آن را روشن می‌گذارید. اولی منتشر شده است؛ دومی مردم را غافلگیر می‌کند.

این نرخ‌ها از صفحه قیمت‌گذاری Runpod در 23 آگوست 2026 خوانده شده‌اند و بازارهای لحظه‌ای در نوسان هستند. AY-Robots در عوض یک اجرای کامل را نقل می‌کند: 3 تا 6 ساعت با 1.20 تا 2.00 دلار آمریکا در ساعت در رده A100 یا H100، حدود 4 تا 12 دلار آمریکا برای اجرای GR00T یا Pi0.5؛ 2 تا 5 ساعت با 0.30 تا 0.60 دلار آمریکا در ساعت در رده 24 گیگابایتی، 1 تا 3 دلار آمریکا برای SmolVLA یا ACT. یک جلسه استنتاج تنها در صورتی از نظر هزینه بر یک اجرای آموزشی برتری دارد که آن را متوقف کنید، که این همان کاری است که نگهبان بیکار برای آن است. به مستندات صورت‌حساب و صفحه قیمت‌گذاری.

اگر ترجیح می‌دهید شبکه در حلقه نباشد

استنتاج از راه دور یک مشکل سخت‌افزاری را حل می‌کند و یک مشکل تأخیر ایجاد می‌کند. گاهی اوقات پاسخ بهتر، یک سیاست (policy) است که با سخت‌افزار موجود شما سازگار باشد.

• ACT، تقریباً 80 میلیون پارامتر و 20 میلی‌ثانیه در هر گام عملیاتی، حداقل 50 اپیزود، هر کارت 24 گیگابایتی. در یک تنظیمات تکراری تک‌وظیفه‌ای، اغلب یک مدل 3 B از راه دور را شکست می‌دهد، زیرا هرگز منتظر یک بسته (packet) نمی‌ماند.
• SmolVLA، تقریباً 450 میلیون پارامتر و 245 میلی‌ثانیه در هر گام عملیاتی، حداقل 30 اپیزود. این مدل شرطی‌سازی زبانی را که ACT فاقد آن است، حفظ می‌کند و مستندات lerobot حجم آن را در زمان استنتاج حدود 2 گیگابایت در مقابل تقریباً 14 گیگابایت برای PI0 تخمین می‌زنند.
• ACT در مقابل GR00T N1.7 برای نیمه دقت این مبادله.

یک مسیر میانی نیز وجود دارد: آموزش در فضای ابری، ارزیابی محلی. تنظیم دقیق به کارت 80 گیگابایتی نیاز دارد و به تأخیر اهمیت نمی‌دهد، بنابراین آموزش GR00T N1.7 بر روی یک SO-100 از راه دور بحث‌برانگیز نیست. فقط حلقه ارزیابی دارای محدودیت زمان واقعی است؛ مستندات آموزش و ماتریس مدل و بازو آن نیمه را پوشش می‌دهند.

سوالات متداول

نسخه کوتاه

استنتاج از راه دور برای یک 3 B سیاست یک مشکل مهندسی حل شده با یک مشکل فیزیک حل نشده همراه است. مهندسی شامل دو دستور و یک تونل SSH است. فیزیک این است که یک مشاهده 1.8 مگابایتی باید به یک GPU در کشوری دیگر برسد و قبل از اینکه بازو از اقدامات خود خارج شود، بازگردد. قبل از اجاره هر چیزی، محاسبات را انجام دهید، کاری را انتخاب کنید که یک مشاهده قدیمی را تحمل کند، و افق اجرا را افزایش دهید به جای اینکه امیدوار باشید لینک بهبود یابد.

اگر هنوز مجموعه داده‌ای را ضبط نکرده‌اید، اولین مجموعه داده خود را ضبط کنید و راهنمای راه‌اندازی SO-100 در اولویت هستند، و ورودی فرمت مجموعه داده LeRobot توضیح می‌دهد که ضبط‌کننده چه چیزی را می‌نویسد. پیش‌زمینه در مدل‌های بینایی-زبان-عمل و کار سیاست تطبیق جریان است؛ ورودی آرنا هر عدد بنچمارک را به یک منبع پیوند می‌دهد.