لوکل GPU کے بغیر GR00T انفرنس چلائیں

ایک Raspberry Pi ایک کو سیریل بس کے ذریعے چلانے اور دو USB کیمروں سے فریم حاصل کرنے کے لیے کافی ہے۔ یہ تین ارب پیرامیٹر والے کو چلانے کے لیے کافی نہیں ہے: NVIDIA کی README کے مطابق GR00T N1.7 انفرنس کے لیے 16 GB یا اس سے زیادہ VRAM والے ایک GPU کی ضرورت ہوتی ہے۔ یہ دیکھنے کے لیے کہ آپ کا فائن ٹیونڈ چیک پوائنٹ بازو پر کیا کرتا ہے بغیر کارڈ خریدے، پالیسی کو کرائے کے کلاؤڈ GPU پر رکھیں، روبوٹ لوپ کو USB پورٹس والی مشین پر رکھیں، اور مشاہدات اور ایکشن چنکس کو نیٹ ورک پر بھیجیں۔

یہ کام کرتا ہے، یہ مفت نہیں ہے، اور قیمت تمام کاموں پر یکساں طور پر تقسیم نہیں ہوتی۔ ذیل میں: NVIDIA کا اپنا پالیسی سرور، lerobot کا async اسٹیک، وہ حساب جو پہلے سے بتاتا ہے کہ آیا آپ کا اپلنک کافی تیز ہے، اور پلیٹ فارم کا راستہ۔ یہ سب Isaac-GR00T مین برانچ (N1.7 GA) اور lerobot 0.6.1 کے خلاف 23 اگست 2026 کو چیک کیا گیا۔

پالیسی روبوٹ مشین پر کیوں فٹ نہیں ہوگی

AY-Robots کی تربیت یافتہ پانچ پالیسیوں میں سے دو ورک سٹیشن کارڈ پر چلتی ہیں، تین نہیں۔ انفرنس لیٹنسی نیچے دیا گیا کالم فی ایکشن سٹیپ ہے، اور یہ وہ تعداد ہے جو آپ کے نیٹ ورک راؤنڈ ٹرپ سے مقابلہ کرتی ہے۔

اسے ایک فیصلہ سمجھیں، نہ کہ معمولی بات۔ACT جو 20 ms فی قدم پر روبوٹ مشین پر چلتا ہے اور آپ کو اس کے بارے میں دوبارہ سوچنے کی ضرورت نہیں پڑتی۔Pi0.5 جو 485 ms پر ایک پیکٹ آپ کی عمارت سے نکلنے سے پہلے ایک سیکنڈ کا ایک تہائی حصہ صرف کر چکا ہوتا ہے۔پالیسی کا موازنہ اور GR00T N1.7 vs Pi0.5 درستگی کے پہلو کو شامل کرتے ہیں۔

موجودہ دو کلائنٹ-سرور اسٹیکس

Isaac-GR00T ایک ZeroMQ ریکویسٹ-ریپلائی سرور فراہم کرتا ہے؛ lerobot ایک gRPC سرور فراہم کرتا ہے جو غیر ہم وقت ساز انفرنس کے گرد بنایا گیا ہے۔ دونوں ایک GR00T قبول کرتے ہیں چیک پوائنٹ۔ lerobot کی معاون پالیسیوں کی فہرست async_inference/constants.py میں act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 اور groot ہیں؛ اس کی روبوٹ فہرست so100_follower, so101_follower, bi_so_follower اور omx_follower ہے۔

سیریلائزیشن کی قطار جتنی نظر آتی ہے اس سے کہیں زیادہ اہمیت رکھتی ہے۔ GR00T کا MsgSerializer دونوں سمتوں میں آبجیکٹ-ڈی ٹائپ این ڈی ارے پے لوڈز کو مسترد کرتا ہے، کیونکہ msgpack_numpy بصورت دیگر انہیں پکل کو دے دیتا۔ lerobot اس کے بجائے پکل کرتا ہے: policy_server.py درخواست کے ڈیٹا پر pickle.loads کو کال کرتا ہے، robot_client.py بھیجی گئی آبزرویشن کو پکل کرتا ہے۔ ایک قابل اعتماد LAN پر قابل دفاع، لیکن ایک بار جب پورٹ انٹرنیٹ سے قابل رسائی ہو جائے تو ناقابل دفاع۔

راستہ A: NVIDIA کا اپنا GR00T پالیسی سرور

یہ وہ راستہ ہے جسے NVIDIA SO-100 اور SO-101 ہارڈویئر کے لیے دستاویز کرتا ہے، اور اگر آپ کا چیک پوائنٹ examples/finetune.sh سے --embodiment-tag NEW_EMBODIMENT کے ساتھ آیا ہے تو اسے استعمال کرنا ہے۔ یہ اقدامات وہ چیز شامل کرتے ہیں جو اپ اسٹریم README میں نہیں ہے: پورٹ کو روبوٹ تک پہنچانا بغیر اسے دوسروں کے سامنے ظاہر کیے۔

1. 1
   کرائے کے GPU باکس پر GR00T انسٹال کریں

   سب ماڈیولز درکار ہیں، اور کلون کرنے سے پہلے git-lfs کا موجود ہونا ضروری ہے ورنہ demo_data میں پارکیٹ فائلیں پوائنٹرز کے طور پر پہنچیں گی۔ فلیش-اٹین اور ٹینسر آر ٹی ڈیفالٹ انسٹالیشن کے ساتھ آتے ہیں۔ ایک تازہ پوڈ امیج پر پھنسنے کی جگہ: torchcodec 0.8.0 واحد معاون ویڈیو بیک اینڈ ہے اور صرف FFmpeg 4 سے 7 کو لوڈ کرتا ہے۔ اوبنٹو 25.10 اور 26.04 FFmpeg 8 کے ساتھ آتے ہیں، لہذا GR00T Could not load libtorchcodec کے ساتھ ناکام ہو جاتا ہے۔ FFmpeg 8 سے کم ورژن انسٹال کریں اور اس کی لائبریریوں کو LD_LIBRARY_PATH پر رکھیں۔

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   گیٹڈ بیک بون کے خلاف تصدیق کریں

   ہر GR00T N1.7 چیک پوائنٹ، بشمول آپ کا اپنا فائن ٹیون، پہلے استعمال پر گیٹڈ nvidia/Cosmos-Reason2-2B کو لوڈ کرتا ہے۔ ماڈل پیج پر رسائی کی درخواست کریں اور پوڈ پر لاگ ان کریں، ورنہ لوڈنگ GatedRepoError کے ساتھ ناکام ہو جائے گی۔

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   پالیسی سرور شروع کریں

   --model-path کو اپنی چیک پوائنٹ ڈائریکٹری کی طرف اشارہ کریں؛ اس راستے پر سرور --modality-config-path کو نظر انداز کرتا ہے، جسے صرف ری پلے پاتھ پر پڑھا جاتا ہے۔ --model-path کو چھوڑ دیں اور اس کے بجائے --dataset-path اور --execution-horizon پاس کریں ایک ReplayPolicy کے لیے جو ریکارڈ شدہ کارروائیوں کو ری پلے کرتی ہے، یہ وائرنگ کے کام کرنے کو ثابت کرنے کا سب سے سستا طریقہ ہے۔

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   پورٹ 5555 کو روبوٹ مشین تک ٹنل کریں

   لوپ بیک سے بائنڈ کریں، جیسا کہ اوپر ہے، اور پورٹ کو SSH یا وائر گارڈ طرز کے میش پر لے جائیں۔ یہ انکرپشن اور تصدیق فراہم کرتا ہے جو ZeroMQ ساکٹ نہیں کرتا، تقریباً ایک ملی سیکنڈ کے لیے۔

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   سرووز کے ساتھ روبوٹ کلائنٹ چلائیں

   کلائنٹ کو اپنے یو وی ماحول کی ضرورت ہے: اسے lerobot کے روبوٹ ڈرائیورز درکار ہیں، نہ کہ ٹریننگ اسٹیک۔ eval_so100.py so100_follower، so101_follower اور koch_follower کو امپورٹ کرتا ہے، لہذا اپنی بازو سے مماثل --robot.type پاس کریں (اپ اسٹریم README so101_follower استعمال کرتا ہے)۔ کیمرہ کیز کو ٹریننگ سے مماثل ہونا چاہیے: اڈاپٹر بالکل front اور wrist کو پڑھتا ہے، اور انہیں تبدیل کرنے سے پالیسی کو غلط منظر دکھایا جاتا ہے۔

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

روٹ B: لیرو بوٹ غیر ہم وقت ساز انفرنس

لیرو بوٹ ایک مختلف مسئلہ حل کرتا ہے۔ ماڈل کے سوچنے کے دوران روبوٹ کو بلاک کرنے کے بجائے، کلائنٹ اپنی موجودہ قطار میں قدم بڑھاتا رہتا ہے جبکہ سرور اگلے چنک کا حساب لگاتا ہے۔ یہ ایکشن چنکنگ کو مزید آگے بڑھایا گیا ہے، جو SmolVLA کے ساتھ متعارف کرایا گیا غیر ہم وقت ساز اسٹیک ہے۔ یہ GR00T چیک پوائنٹ کے ساتھ بھی کام کرتا ہے۔

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

سرور خالی شروع ہوتا ہے: اسے نہیں معلوم کہ وہ کون سی پالیسی فراہم کر رہا ہے جب تک کہ کلائنٹ کا پہلا ہینڈ شیک اسے نہ بتا دے، جو کرائے کے پوڈ پر آسان ہے۔ بازو کی ہموار حرکت کا فیصلہ کرنے والے دو کنٹرولز actions_per_chunk اور chunk_size_threshold (lerobot کی دستاویزات دوسرے کو g کہتی ہیں، SmolVLA پیپر کے بعد)، اور دستاویزی اقدار اور فراہم کردہ اقدار میں مطابقت نہیں ہے۔

وہ حسابی عمل جو فیصلہ کرتا ہے کہ آیا آپ کا لنک کافی تیز ہے

لوگ اسے چھوڑ دیتے ہیں اور پھر ایک دن اس پر صرف کرتے ہیں۔ اس میں دو منٹ لگتے ہیں اور یہ تقریباً ہمیشہ فیصلہ کن ہوتا ہے۔

NVIDIA کے eval_so100.py میں تبصرہ شدہ آبزرویشن ڈکٹ بتاتا ہے کہ وائر پر کیا جاتا ہے: uint8 میں (480, 640, 3) شکل کے دو اری، چھ جوائنٹ فلوٹس، ایک لینگویج سٹرنگ۔ یہ فی فریم 921,600 بائٹس، دو کیمروں کے لیے 1,843,200 بائٹس، تقریباً 14.7 Mbit ہے، اور کوئی بھی اسٹیک اسے JPEG کمپریس نہیں کرتا۔ واپس آنے والا چنک 6 فلوٹس کے چند درجن مراحل پر مشتمل ہوتا ہے۔ آپ کی اپ لوڈ ہر چیز کا فیصلہ کرتی ہے، آپ کی ڈاؤن لوڈ نہیں۔

وہ بجٹ جس میں آپ کو فٹ ہونا ہے

GR00T SO-100 کلائنٹ ہم وقت ساز ہے: یہ policy.get_action(obs) کو کال کرتا ہے، چنک کے پہلے action_horizon مراحل کو 30 FPS پر چلاتا ہے، پھر دوبارہ کال کرتا ہے۔ چنک کا سائز اور افق مختلف اعداد ہیں: NVIDIA کی تعیناتی گائیڈ 16 کے ایک ایکشن چنک سائز کی سفارش کرتی ہے، ریئل ٹائم چنکنگ کے ساتھ مل کر کم از کم 32، جبکہ eval_so100.py 8 کا ایک ایگزیکیوشن افق فراہم کرتا ہے۔ 30 FPS پر آٹھ مراحل فی کال 267 ms کی حرکت ہے، اور باقی سب کچھ اس کے اندر فٹ ہونا چاہیے۔

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

افق کو بڑھانا ایک سیدھا حل ہے اور یہ مفت نہیں ہے: بازو ایک ایسے مشاہدے پر عمل کرتا ہے جو اب پرانا ہو چکا ہے۔ اصولی حل ریئل ٹائم چنکنگ ہے، جو موجودہ چنک کے چلنے کے دوران اگلے چنک کا حساب لگاتی ہے، ان کارروائیوں کو منجمد کرتی ہے جن کی ضمانت ہے کہ وہ چلیں گی اور باقی کو ان پینٹ کرتی ہے؛ RTC پیپر اسے بغیر کسی دوبارہ تربیت کے انفرنس تاخیر کے لیے مضبوط قرار دیتا ہے۔ پہلے یہ دیکھیں کہ یہ کہاں کھڑا ہے۔ NVIDIA RTC کو تجرباتی قرار دیتا ہے، ایک نچلی سطح کا ماڈل پریمیٹو جو action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}) کے ذریعے قابل رسائی ہے، جو Gr00tPolicy یا سرور-کلائنٹ پاتھ میں وائرڈ نہیں ہے، جہاں options غیر استعمال شدہ ہے، بغیر کسی ٹیسٹ اور مثال کے۔ ایک پالیسی سرور پر آپ کو غیر ہم وقت ساز ایگزیکیوشن ملتی ہے، RTC نہیں۔

بھروسہ کرنے سے پہلے اسے ناپیں

اوپر دیا گیا ہر نمبر ایک پیش گوئی ہے۔ چار کمانڈز اسے ایک پیمائش میں بدل دیتی ہیں، جسے کسی ایسے کام کے لیے پوڈ-آور مختص کرنے سے پہلے چلانا ضروری ہے جو کبھی کام نہیں آنے والا تھا۔

1. 1
   خام راؤنڈ ٹرپ حاصل کریں

   پوڈ کے خلاف، CDN کے خلاف نہیں۔ انحراف کو اوسط کے قریب سے دیکھیں۔ جھٹکا بازو کو ہکلاتا ہے، اوسط لیٹنسی نہیں۔

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   اپنے پاس موجود اپ لنک کی پیمائش کریں، نہ کہ جس کے لیے آپ ادائیگی کرتے ہیں

   رہائشی اپ لوڈ عام طور پر ڈاؤن لوڈ کا ایک حصہ ہوتا ہے، اور یہ اوپر دی گئی بینڈوتھ ٹیبل میں موجود نمبر ہے۔

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   کلائنٹ کا اپنا لیٹنسی لاگ پڑھیں

   LeRobot روبوٹ کلائنٹ ہر چنک کے لیے سرور سے کلائنٹ کی لیٹنسی اور ڈی سیریلائزیشن کا وقت لاگ کرتا ہے۔ روٹ B پر آپ کو کسی بیرونی ٹولنگ کی ضرورت نہیں ہے۔

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   ایکشن کی قطار کو خالی ہوتے دیکھیں

   --debug_visualize_queue_size=True پاس کریں اور کلائنٹ رن ٹائم پر قطار کا سائز پلاٹ کرتا ہے۔ اگر یہ بار بار صفر پر پہنچ جاتا ہے تو آپ بجٹ سے باہر ہیں: fps کم کریں، actions_per_chunk بڑھائیں، یا chunk_size_threshold بڑھائیں تاکہ مشاہدات زیادہ کثرت سے باہر جائیں۔

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

ریموٹ انفرنس دراصل کس کام آتی ہے

اگر ایک ریموٹ رن ہر ایپی سوڈ میں ایک ہی مقام پر رکاوٹ پیدا کرتا ہے، تو نیٹ ورک شاید وجہ نہیں ہے۔ ایک پالیسی جو ہر بار ایک ہی جوائنٹ اینگل پر ہچکچاتی ہے وہ عام طور پر ڈیٹا کا مسئلہ ہوتا ہے؛ دیکھیں ناکامی کے موڈ کے صفحات، خاص طور پر ایک پالیسی جو صرف ایک سیٹ اپ میں کام کرتی ہے اور نقصان کم ہوتا ہے لیکن پالیسی کچھ نہیں کرتی.

خود کرنا بمقابلہ AY-Robots پر کرنا

ریموٹ انفرنس سیشن کی لاگت کیا ہے

دو اعداد اہم ہیں: کارڈ کی فی گھنٹہ کی شرح، اور آپ اسے کتنی دیر تک چلنے دیتے ہیں۔ پہلا شائع شدہ ہے؛ دوسرا لوگوں کو حیران کرتا ہے۔

یہ شرحیں 23 اگست 2026 کو رن پاڈ کے پرائسنگ پیج سے پڑھی گئی تھیں، اور اسپاٹ مارکیٹس میں تبدیلی آتی رہتی ہے۔ AY-Robots اس کے بجائے ایک مکمل رن کی قیمت بتاتا ہے: A100 یا H100 ٹیر پر 1.20 سے 2.00 USD فی گھنٹہ کے حساب سے 3 سے 6 گھنٹے، GR00T یا Pi0.5 رن کے لیے تقریباً 4 سے 12 USD؛ 24 GB ٹیر پر 0.30 سے 0.60 USD فی گھنٹہ کے حساب سے 2 سے 5 گھنٹے، SmolVLA یا ACT کے لیے 1 سے 3 USD۔ ایک انفرنس سیشن ٹریننگ رن کو لاگت میں تب ہی ہرا سکتا ہے جب آپ اسے روک دیں، جس کے لیے آئیڈل واچ ڈاگ ہوتا ہے۔ دیکھیں بلنگ دستاویزات اور پرائسنگ پیج.

اگر آپ نیٹ ورک کو لوپ میں نہیں رکھنا چاہتے

ریموٹ انفرنس ہارڈویئر کے مسئلے کو حل کرتا ہے اور لیٹنسی کا مسئلہ پیدا کرتا ہے۔ بعض اوقات بہتر جواب ایک ایسی پالیسی ہوتی ہے جو آپ کے پاس موجود ہارڈویئر کے مطابق ہو۔

• ACT، تقریباً 80 M پیرامیٹرز اور 20 ms فی ایکشن سٹیپ، کم از کم 50 ایپیسوڈز، کوئی بھی 24 GB کارڈ۔ ایک بار بار دہرائے جانے والے سنگل ٹاسک سیٹ اپ پر یہ اکثر ایک ریموٹ 3 B ماڈل کو ہرا دیتا ہے، کیونکہ یہ کبھی پیکٹ کا انتظار نہیں کرتا۔
• SmolVLA، تقریباً 450 M پیرامیٹرز اور 245 ms فی ایکشن سٹیپ، کم از کم 30 ایپیسوڈز۔ یہ وہ لینگویج کنڈیشنگ برقرار رکھتا ہے جس کی ACT میں کمی ہے، اور lerobot دستاویزات کے مطابق انفرنس کے وقت یہ تقریباً 2 GB لیتا ہے جبکہ PI0 کے لیے تقریباً 14 GB درکار ہوتا ہے۔
• تجارت کے درستگی والے نصف کے لیے ACT بمقابلہ GR00T N1.7۔

ایک درمیانی راستہ بھی ہے: کلاؤڈ میں تربیت دیں، مقامی طور پر جانچ کریں۔ فائن ٹیوننگ کو 80 GB کارڈ کی ضرورت ہوتی ہے اور اسے لیٹنسی کی پرواہ نہیں ہوتی، لہذا SO-100 پر GR00T N1.7 کی تربیت کو ریموٹلی تربیت دینا غیر متنازعہ ہے۔ صرف ایویلیویشن لوپ میں ریئل ٹائم کی رکاوٹ ہوتی ہے؛ تربیتی دستاویزات اور ماڈل اور آرم میٹرکس اس نصف کو پورا کرتے ہیں۔

اکثر پوچھے گئے سوالات

مختصر ورژن

ایک 3 B کے لیے ریموٹ انفرنس پالیسی ایک حل شدہ انجینئرنگ مسئلہ ہے جس کے ساتھ ایک حل نہ ہونے والا فزکس کا مسئلہ منسلک ہے۔ انجینئرنگ دو کمانڈز اور ایک SSH ٹنل ہے۔ فزکس یہ ہے کہ ایک 1.8 MB مشاہدے کو دوسرے ملک میں ایک GPU تک پہنچنا ہے اور بازو کے اعمال ختم ہونے سے پہلے واپس آنا ہے۔ کچھ بھی کرایہ پر لینے سے پہلے حساب لگائیں، ایک ایسا کام منتخب کریں جو پرانے مشاہدے کو برداشت کر سکے، اور لنک کے بہتر ہونے کی امید کرنے کے بجائے عمل درآمد کے افق کو بڑھائیں۔

اگر آپ نے ابھی تک کوئی ڈیٹا سیٹ ریکارڈ نہیں کیا ہے، اپنا پہلا ڈیٹا سیٹ ریکارڈ کریں اور SO-100 سیٹ اپ گائیڈ پہلے آتے ہیں، اور LeRobot ڈیٹا سیٹ فارمیٹ اندراج بتاتا ہے کہ ریکارڈر کیا لکھتا ہے۔ پس منظر میں ہے ویژن-لینگویج-ایکشن ماڈلز اور فلو-میچنگ پالیسی کا کام؛ ارینا اندراج ہر بینچ مارک نمبر کو ایک ماخذ سے جوڑتا ہے۔