在没有本地GPU的情况下运行GR00T推理

树莓派足以通过串口总线驱动一个 SO-100，并从两个 USB 摄像头中获取帧。它不足以运行一个三十亿参数的视觉-语言-动作模型：NVIDIA 的 README 指出 GR00T N1.7 推理需要一块拥有 16 GB 或更多显存的 GPU。要想在不购买显卡的情况下查看你微调的 GR00T N1.7 检查点在机械臂上的表现，可以将策略部署在租用的云 GPU 上，将机器人循环保留在带有 USB 端口的机器上，并通过网络发送观测数据和动作块。

它有效，但并非免费，且成本在不同任务之间分布不均。下面是：NVIDIA 自己的策略服务器、lerobot 的异步堆栈、提前判断你的上行链路是否足够快的算术方法，以及平台路由。所有这些都已根据 Isaac-GR00T 主分支 (N1.7 GA) 和 lerobot 0.6.1 在 2026 年 8 月 23 日进行了检查。

为什么策略无法在机器人机器上运行

AY-Robots 可以训练的五种策略中，有两种可以在工作站显卡上运行，三种则不能。下方的列是每个动作步骤的延迟，这个数字会与您的网络往返时间竞争。

将其视为一个决策，而非琐事。以每步 20 ms 的速度在机器人机器上运行，您无需再考虑它。以 485 ms 的速度运行，在数据包离开您的建筑物之前就已经花费了三分之一秒。和补充了准确性方面。

已存在的两种客户端-服务器堆栈

Isaac-GR00T 附带一个 ZeroMQ 请求-回复服务器；lerobot 附带一个围绕异步推理构建的 gRPC 服务器。两者都接受一个 GR00T 检查点。lerobot 在 async_inference/constants.py 中支持的策略列表是 act、smolvla、diffusion、tdmpc、vqbet、pi0、pi05 和 groot；其机器人列表是 so100_follower、so101_follower、bi_so_follower 和 omx_follower。

序列化行比看起来更重要。GR00T 的 MsgSerializer 拒绝双向的 object-dtype ndarray 有效载荷，因为 msgpack_numpy 否则会将其交给 pickle 处理。lerobot 则使用 pickle：policy_server.py 对请求数据调用 pickle.loads，robot_client.py 对发送的观测数据进行 pickle 序列化。在受信任的局域网中尚可接受，但一旦端口可从互联网访问，则无法接受。

路线 A：NVIDIA 自有的 GR00T 策略服务器

这是 NVIDIA 为 SO-100 和 SO-101 硬件提供的文档路径，如果您的检查点来自 examples/finetune.sh 并带有 --embodiment-tag NEW_EMBODIMENT。这些步骤补充了上游 README 中遗漏的部分：如何在不将端口暴露给其他人的情况下将其连接到机器人。

1. 1
   在租用的 GPU 机器上安装 GR00T

   子模块是必需的，并且在克隆之前必须存在 git-lfs，否则 demo_data 中的 parquet 文件将以指针形式存在。flash-attn 和 TensorRT 随默认安装一起提供。新 pod 镜像上的陷阱：torchcodec 0.8.0 是唯一支持的视频后端，并且只加载 FFmpeg 4 到 7。Ubuntu 25.10 和 26.04 附带 FFmpeg 8，因此 GR00T 会因 Could not load libtorchcodec 而失败。安装一个低于 8 的 FFmpeg，并将其库文件放到 LD_LIBRARY_PATH 中。

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   对受限骨干模型进行身份验证

   每个 GR00T N1.7 检查点，包括您自己的微调，在首次使用时都会加载受限的 nvidia/Cosmos-Reason2-2B。在模型页面请求访问权限并在 pod 上登录，否则加载将因 GatedRepoError 而失败。

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   启动策略服务器

   将 --model-path 指向您的检查点目录；在该路径下，服务器会忽略 --modality-config-path，该参数仅在回放路径上读取。省略 --model-path，改为传递 --dataset-path 和 --execution-horizon，以使用 ReplayPolicy 回放录制的动作，这是验证连接是否正常工作的最经济方式。

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   将端口 5555 隧道连接到机器人机器

   如上所述，绑定到回环地址，并通过 SSH 或 WireGuard 风格的网格传输端口。这提供了 ZeroMQ 套接字所不具备的加密和身份验证，大约只需一毫秒。

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   在伺服电机旁运行机器人客户端

   客户端需要自己的 uv 环境：它需要 lerobot 的机器人驱动程序，而不是训练堆栈。eval_so100.py 导入 so100_follower、so101_follower 和 koch_follower，因此请传递与您的机械臂匹配的 --robot.type（上游 README 使用 so101_follower）。摄像头键必须与训练匹配：适配器精确读取 front 和 wrist，交换它们会导致策略看到错误的视图。

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

路线 B：lerobot 异步推理

lerobot 解决了一个不同的问题。它不是在模型思考时阻塞机器人，而是客户端在服务器计算下一个数据块时，继续处理其已有的队列。这是动作分块的进一步发展，是 SmolVLA 引入的异步堆栈。它也适用于 GR00T 检查点。

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

服务器启动时是空的：它不知道要提供哪个策略，直到客户端的第一次握手告知它，这在租用的pod上很方便。决定机械臂是否平稳运动的两个关键参数是 actions_per_chunk 和 chunk_size_threshold （lerobot 文档将第二个称为 g，源自 SmolVLA 论文），并且文档中的值与实际发布的值不一致。

决定您的链路是否足够快的算术

人们跳过这一步，然后花一天时间解决导致运动中途冻结的策略。这只需要两分钟，而且几乎总是决定性的。

NVIDIA 的注释观察字典中eval_so100.py 说明了传输的内容：两个形状为 (480, 640, 3) 的 uint8 数组，六个关节浮点数，一个语言字符串。这意味着每帧 921,600 字节，两台摄像机共 1,843,200 字节，大约 14.7 Mbit，并且两个堆栈都没有对其进行 JPEG 压缩。返回的数据块是几十步的 6 个浮点数。你的上传速度决定一切，而不是你的下载速度。

你必须适应的预算

GR00T SO-100 客户端是同步的：它调用 policy.get_action(obs)，以 30 FPS 执行块中的前 action_horizon 步，然后再次调用。块大小和执行范围是不同的数字：NVIDIA 的部署指南建议动作块大小为 16，与实时分块结合时至少为 32，而 eval_so100.py 附带的执行范围为 8。以 30 FPS 执行八步，每次调用产生 267 ms 的运动，所有其他操作都必须在此时间内完成。

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

提高执行范围是一种直接但并非没有代价的解决方案：机械臂会根据现在已过时的观测结果进行操作。原则性的解决方案是实时分块（real-time chunking, RTC），它在当前块运行时计算下一个块，冻结保证执行的动作并填充其余部分；RTC 论文报告称，它对推理延迟具有鲁棒性，无需重新训练。首先检查其现状。NVIDIA 将 RTC 标记为实验性功能，它是一个低级模型原语，可通过 action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}) 访问，但未集成到 Gr00tPolicy 或服务器-客户端路径中，其中 options 未被使用，也没有测试和示例。通过策略服务器，您获得的是异步执行，而不是 RTC。

先测量，再信任

上面的每个数字都是预测。通过四个命令可以将其转化为测量结果，在投入宝贵的计算资源去执行一个注定失败的任务之前，这些测量是值得进行的。

1. 1
   获取原始往返时间

   针对Pod进行测试，而不是CDN。密切关注偏差，就像关注平均值一样：抖动会导致机械臂卡顿，而不是平均延迟。

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   测量你实际拥有的上行带宽，而不是你付费购买的

   住宅宽带的上行速度通常是下行速度的一小部分，它就是上面带宽表中的那个数字。

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   读取客户端自身的延迟日志

   LeRobot 机器人客户端会记录每个数据块的服务器到客户端延迟和反序列化时间。在路由B上，你不需要任何外部工具。

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   观察动作队列的清空情况

   传入 --debug_visualize_queue_size=True 后，客户端会在运行时绘制队列大小。如果队列反复触及零，则表示你已超出预算：请降低帧率（fps），提高 actions_per_chunk，或提高 chunk_size_threshold 以便更频繁地发送观测数据。

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

远程推理的实际用途

如果远程运行在每个回合的同一点出现卡顿，网络可能不是原因。策略每次都在相同的关节角度犹豫，通常是数据问题；请参阅故障模式页面，特别是仅在一种设置下工作的策略和损失下降但策略无效。

自行操作与在AY-Robots上操作

远程推理会话的成本

两个数字很重要：显卡的每小时费率，以及您让它运行多长时间。第一个是公开的；第二个则常常令人惊讶。

这些费率是根据 Runpod 定价页面于 2026 年 8 月 23 日读取的，现货市场价格会波动。AY-Robots 则提供整个运行的报价：在 A100 或 H100 层级上，运行 3 到 6 小时，每小时 1.20 到 2.00 USD，GR00T 或 Pi0.5 运行大约 4 到 12 USD；在 24 GB 层级上，运行 2 到 5 小时，每小时 0.30 到 0.60 USD，SmolVLA 或 ACT 运行 1 到 3 USD。推理会话只有在你停止它时才能在成本上胜过训练运行，这就是空闲看门狗的作用。请参阅计费文档 和 定价页面.

如果您不想让网络参与循环

远程推理解决了硬件问题，但也带来了延迟问题。有时，更好的解决方案是采用适合您现有硬件的策略。

• ACT，大约80 M参数，每个动作步20毫秒，最少50个episode，任意24 GB显卡。在重复的单任务设置中，它经常胜过远程3 B模型，因为它从不等待数据包。
• SmolVLA，大约450 M参数，每个动作步245毫秒，最少30个episode。它保留了ACT所缺乏的语言条件，lerobot文档指出其推理时约为2 GB，而PI0约为14 GB。
• ACT vs GR00T N1.7，用于权衡中的精度部分。

还有一条中间道路：在云端训练，在本地评估。 微调 需要80 GB显卡，并且不关心延迟，因此远程在SO-100上训练GR00T N1.7 是没有争议的。只有评估循环具有实时约束；训练文档 和 模型与机械臂矩阵 涵盖了这部分内容。

常见问题

简而言之

对于3 B的策略的远程推理是一个已解决的工程问题，但附带一个未解决的物理问题。工程方面是两条命令和一个SSH隧道。物理方面是1.8 MB的观测数据必须在机械臂动作耗尽之前到达另一个国家的GPU并返回。在租用任何东西之前先做算术，选择一个能容忍陈旧观测的任务，并提高执行范围，而不是指望链接会改善。

如果您尚未录制数据集，，是首要步骤，条目解释了录制器写入的内容。背景知识可在和中找到；将每个基准数字链接到其来源。