Chạy suy luận GR00T mà không cần GPU cục bộ

Một Raspberry Pi đủ để điều khiển một qua bus nối tiếp và lấy khung hình từ hai camera USB. Nó không đủ để chạy một mô hình ba tỷ tham số: README của NVIDIA cho biết suy luận GR00T N1.7 yêu cầu một GPU với 16 GB VRAM trở lên. Để xem điểm kiểm tra đã tinh chỉnh của bạn hoạt động như thế nào trên cánh tay robot mà không cần mua card, hãy đặt chính sách lên một GPU đám mây thuê, giữ vòng lặp robot trên máy có cổng USB và gửi các quan sát cùng các khối hành động qua mạng.

Nó hoạt động, không miễn phí và giá không được phân bổ đều cho các tác vụ. Dưới đây: máy chủ chính sách riêng của NVIDIA, ngăn xếp bất đồng bộ của lerobot, phép tính cho biết trước liệu đường lên của bạn có đủ nhanh hay không và lộ trình nền tảng. Tất cả đã được kiểm tra với nhánh chính Isaac-GR00T (N1.7 GA) và lerobot 0.6.1 vào ngày 23 tháng 8 năm 2026.

Tại sao chính sách sẽ không phù hợp với máy robot

Hai trong số năm chính sách mà AY-Robots có thể huấn luyện chạy trên card máy trạm, ba chính sách thì không. Cột dưới đây là cho mỗi bước hành động, và đó là con số cạnh tranh với thời gian khứ hồi mạng của bạn.

Hãy xem đây là một quyết định, không phải thông tin vụn vặt. với 20 ms mỗi bước chạy trên máy robot và bạn sẽ không bao giờ phải nghĩ về nó nữa. với 485 ms đã tiêu tốn một phần ba giây trước khi một gói tin rời khỏi tòa nhà của bạn. Phần và bổ sung khía cạnh độ chính xác.

Hai ngăn xếp máy khách-máy chủ đã tồn tại

Isaac-GR00T cung cấp một máy chủ yêu cầu-phản hồi ZeroMQ; lerobot cung cấp một máy chủ gRPC được xây dựng xung quanh suy luận không đồng bộ. Cả hai đều chấp nhận một GR00T điểm kiểm tra. Danh sách chính sách được hỗ trợ của lerobot trong async_inference/constants.py là act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 và groot; danh sách robot của nó là so100_follower, so101_follower, bi_so_follower và omx_follower.

Hàng tuần tự hóa quan trọng hơn vẻ ngoài của nó. MsgSerializer của GR00T MsgSerializer từ chối các payload ndarray kiểu dữ liệu đối tượng ở cả hai chiều, vì nếu không msgpack_numpy sẽ chuyển chúng cho pickle. lerobot thay vào đó sử dụng pickle: policy_server.py gọi pickle.loads trên dữ liệu yêu cầu, robot_client.py sử dụng pickle để tuần tự hóa dữ liệu quan sát mà nó gửi đi. Có thể chấp nhận được trên mạng LAN đáng tin cậy, không thể chấp nhận được khi cổng có thể truy cập được từ internet.

Lộ trình A: Máy chủ chính sách GR00T của NVIDIA

Đây là đường dẫn NVIDIA tài liệu cho phần cứng SO-100 và SO-101, và là đường dẫn để sử dụng nếu checkpoint của bạn xuất phát từ examples/finetune.sh với --embodiment-tag NEW_EMBODIMENT. Các bước này bổ sung những gì README gốc bỏ qua: đưa cổng đến robot mà không để lộ nó cho những người khác.

1. 1
   Cài đặt GR00T trên máy GPU thuê

   Các submodule là bắt buộc, và git-lfs phải tồn tại trước khi clone hoặc các tệp parquet trong demo_data sẽ đến dưới dạng con trỏ. flash-attn và TensorRT đi kèm với cài đặt mặc định. Cái bẫy trên một image pod mới: torchcodec 0.8.0 là backend video duy nhất được hỗ trợ và chỉ tải FFmpeg 4 đến 7. Ubuntu 25.10 và 26.04 đi kèm với FFmpeg 8, vì vậy GR00T sẽ thất bại với Could not load libtorchcodec. Cài đặt một FFmpeg dưới 8 và đặt các thư viện của nó vào LD_LIBRARY_PATH.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Xác thực với backbone được bảo vệ

   Mọi checkpoint GR00T N1.7, bao gồm cả fine-tune của riêng bạn, đều tải nvidia/Cosmos-Reason2-2B được bảo vệ khi sử dụng lần đầu. Yêu cầu quyền truy cập trên trang mô hình và đăng nhập vào pod, nếu không việc tải sẽ thất bại với GatedRepoError.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Khởi động máy chủ chính sách

   Trỏ --model-path đến thư mục checkpoint của bạn; trên đường dẫn đó, máy chủ bỏ qua --modality-config-path, vốn chỉ được đọc trên đường dẫn replay. Bỏ qua --model-path và thay vào đó truyền --dataset-path cùng với --execution-horizon để sử dụng ReplayPolicy phát lại các hành động đã ghi, đây là cách rẻ nhất để chứng minh hệ thống dây điện hoạt động.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   Tạo đường hầm cổng 5555 đến máy robot

   Liên kết với loopback, như trên, và chuyển cổng qua SSH hoặc một mạng lưới kiểu WireGuard. Điều đó cung cấp mã hóa và xác thực mà socket ZeroMQ không có, trong khoảng một mili giây.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Chạy client robot bên cạnh các servo

   Client cần môi trường uv riêng: nó muốn các driver robot của lerobot, chứ không phải stack huấn luyện. eval_so100.py import so100_follower, so101_follower và koch_follower, vì vậy hãy truyền --robot.type phù hợp với cánh tay của bạn (README gốc sử dụng so101_follower). Các khóa camera phải khớp với quá trình huấn luyện: bộ điều hợp đọc chính xác front và wrist, và việc hoán đổi chúng sẽ hiển thị cho chính sách một góc nhìn sai.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

Lộ trình B: Suy luận không đồng bộ của lerobot

lerobot giải quyết một vấn đề khác. Thay vì chặn robot trong khi mô hình xử lý, client tiếp tục thực hiện các bước trong hàng đợi mà nó đã có trong khi máy chủ tính toán phần tiếp theo. Đây là phân đoạn hành động được phát triển thêm, là ngăn xếp không đồng bộ được giới thiệu cùng với SmolVLA. Nó cũng hoạt động với một checkpoint GR00T.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Máy chủ khởi động trống rỗng: nó không biết mình phục vụ chính sách nào cho đến khi lần bắt tay đầu tiên của máy khách cho nó biết, điều này tiện lợi trên một pod thuê. Hai yếu tố quyết định liệu cánh tay có di chuyển mượt mà hay không là actions_per_chunk và chunk_size_threshold (tài liệu lerobot gọi cái thứ hai là g, theo bài báo SmolVLA), và các giá trị được ghi trong tài liệu và các giá trị được xuất xưởng không khớp nhau.

Phép tính quyết định liệu liên kết của bạn có đủ nhanh hay không

Mọi người thường bỏ qua điều này và sau đó mất cả ngày để xử lý . Việc này chỉ mất hai phút và hầu như luôn mang tính quyết định.

Từ điển quan sát được chú thích trong tệp eval_so100.py của NVIDIA cho biết những gì được truyền qua mạng: hai mảng có hình dạng (480, 640, 3) ở định dạng uint8, sáu số float khớp, một chuỗi ngôn ngữ. Đó là 921.600 byte mỗi khung hình, 1.843.200 byte cho hai camera, khoảng 14.7 Mbit, và không có ngăn xếp nào nén JPEG nó. Khối dữ liệu trả về là vài chục bước gồm 6 số float. Tốc độ tải lên của bạn quyết định mọi thứ, không phải tốc độ tải xuống.

Ngân sách bạn phải tuân thủ

Client GR00T SO-100 hoạt động đồng bộ: nó gọi policy.get_action(obs), thực hiện action_horizon bước đầu tiên của khối ở tốc độ 30 FPS, sau đó gọi lại. Kích thước khối và tầm nhìn là những con số khác nhau: hướng dẫn triển khai của NVIDIA khuyến nghị kích thước khối hành động là 16, ít nhất 32 khi kết hợp với phân đoạn thời gian thực, trong khi eval_so100.py cung cấp tầm nhìn thực thi là 8. Tám bước ở 30 FPS tương đương 267 ms chuyển động mỗi lần gọi, và mọi thứ khác phải nằm trong khoảng thời gian đó.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Tăng tầm nhìn là một giải pháp thô sơ và không miễn phí: cánh tay robot hoạt động dựa trên một quan sát đã cũ. Giải pháp có nguyên tắc là phân đoạn thời gian thực (real-time chunking), tính toán khối tiếp theo trong khi khối hiện tại đang chạy, đóng băng các hành động được đảm bảo thực thi và điền vào phần còn lại; bài báo về RTC báo cáo rằng nó mạnh mẽ đối với độ trễ suy luận mà không cần huấn luyện lại. Hãy kiểm tra xem điều đó đang ở đâu trước. NVIDIA đánh dấu RTC là thử nghiệm, một nguyên thủy mô hình cấp thấp có thể truy cập thông qua action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), không được kết nối vào Gr00tPolicy hoặc đường dẫn máy chủ-máy khách, nơi options không được sử dụng, không có thử nghiệm và không có ví dụ. Thông qua một máy chủ chính sách, bạn sẽ có được thực thi không đồng bộ, chứ không phải RTC.

Đo lường trước khi tin tưởng

Mọi con số trên đây đều là dự đoán. Bốn lệnh sau sẽ biến chúng thành phép đo, đáng để chạy trước khi dành một giờ pod cho một tác vụ không bao giờ có thể hoạt động.

1. 1
   Lấy thời gian khứ hồi thô

   Chống lại pod, không phải CDN. Theo dõi độ lệch chặt chẽ như giá trị trung bình: độ rung (jitter) khiến cánh tay bị giật, chứ không phải độ trễ trung bình.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Đo băng thông tải lên bạn có, không phải băng thông bạn trả tiền

   Tốc độ tải lên dân dụng thường chỉ bằng một phần nhỏ so với tốc độ tải xuống, và đó là con số trong bảng băng thông ở trên.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Đọc nhật ký độ trễ của chính client

   Client robot lerobot ghi lại độ trễ từ máy chủ đến client và thời gian giải tuần tự hóa cho mỗi chunk. Trên tuyến B, bạn không cần công cụ bên ngoài nào.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Theo dõi hàng đợi hành động cạn kiệt

   Truyền --debug_visualize_queue_size=True và client sẽ vẽ biểu đồ kích thước hàng đợi trong thời gian chạy. Nếu nó liên tục về 0, bạn đã hết ngân sách: hãy giảm fps, tăng actions_per_chunk, hoặc tăng chunk_size_threshold để các quan sát được gửi đi thường xuyên hơn.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Suy luận từ xa thực sự tốt cho điều gì

Nếu một lần chạy từ xa bị giật tại cùng một điểm trong mỗi tập, thì mạng có lẽ không phải là nguyên nhân. Một chính sách do dự ở cùng một góc khớp mỗi lần thường là vấn đề dữ liệu; xem các trang về chế độ lỗi, đặc biệt là một chính sách chỉ hoạt động trong một thiết lập và mất mát giảm nhưng chính sách không làm gì.

Tự làm so với làm trên AY-Robots

Chi phí của một phiên suy luận từ xa

Hai con số quan trọng: giá theo giờ của card, và bạn để nó chạy trong bao lâu. Con số đầu tiên được công bố; con số thứ hai gây bất ngờ cho mọi người.

Những mức giá đó được đọc từ trang giá của Runpod vào ngày 23 tháng 8 năm 2026, và thị trường giao ngay luôn biến động. AY-Robots thay vào đó báo giá cho toàn bộ một lần chạy: 3 đến 6 giờ với giá 1.20 đến 2.00 USD mỗi giờ trên cấp A100 hoặc H100, khoảng 4 đến 12 USD cho một lần chạy GR00T hoặc Pi0.5; 2 đến 5 giờ với giá 0.30 đến 0.60 USD mỗi giờ trên cấp 24 GB, 1 đến 3 USD cho SmolVLA hoặc ACT. Một phiên suy luận chỉ vượt trội hơn một lần chạy huấn luyện về chi phí nếu bạn dừng nó, đó là lý do tại sao có bộ giám sát không hoạt động. Xem tài liệu thanh toán và trang giá.

Nếu bạn không muốn có mạng trong vòng lặp

Suy luận từ xa giải quyết vấn đề phần cứng và tạo ra vấn đề độ trễ. Đôi khi, giải pháp tốt hơn là một chính sách phù hợp với phần cứng bạn đang có.

• ACT, khoảng 80 triệu tham số và 20 ms mỗi bước hành động, tối thiểu 50 tập, bất kỳ card 24 GB nào. Trong một thiết lập tác vụ đơn lặp đi lặp lại, nó thường vượt trội hơn một mô hình 3 tỷ tham số từ xa, vì nó không bao giờ phải chờ gói tin.
• SmolVLA, khoảng 450 triệu tham số và 245 ms mỗi bước hành động, tối thiểu 30 tập. Nó giữ lại khả năng điều kiện hóa ngôn ngữ mà ACT thiếu, và tài liệu của lerobot cho biết nó chiếm khoảng 2 GB tại thời điểm suy luận so với khoảng 14 GB cho PI0.
• ACT vs GR00T N1.7 cho nửa phần chính xác của sự đánh đổi.

Cũng có một con đường trung gian: huấn luyện trên đám mây, đánh giá cục bộ. Tinh chỉnh cần card 80 GB và không quan tâm đến độ trễ, vì vậy huấn luyện GR00T N1.7 trên SO-100 từ xa là không gây tranh cãi. Chỉ vòng lặp đánh giá mới có ràng buộc thời gian thực; tài liệu huấn luyện và ma trận mô hình và cánh tay robot bao gồm nửa phần đó.

Các câu hỏi thường gặp

Phiên bản tóm tắt

Suy luận từ xa cho một 3 B chính sách là một vấn đề kỹ thuật đã được giải quyết nhưng kèm theo một vấn đề vật lý chưa được giải quyết. Kỹ thuật bao gồm hai lệnh và một đường hầm SSH. Vấn đề vật lý là một quan sát 1.8 MB phải đến được GPU ở một quốc gia khác và quay trở lại trước khi cánh tay hết hành động. Hãy tính toán trước khi thuê bất cứ thứ gì, chọn một tác vụ có thể chấp nhận quan sát cũ, và nâng cao tầm nhìn thực thi thay vì hy vọng liên kết sẽ cải thiện.

Nếu bạn chưa ghi lại tập dữ liệu nào, ghi lại tập dữ liệu đầu tiên của bạn và hướng dẫn cài đặt SO-100 được ưu tiên trước, và mục định dạng tập dữ liệu LeRobot giải thích những gì trình ghi ghi lại. Nền tảng nằm trong các mô hình hành động ngôn ngữ thị giác và công trình chính sách khớp dòng chảy; mục mục đấu trường liên kết mọi số liệu benchmark với một nguồn.