微软研究院：把物理 AI 推理卸载到边缘或云端可提升机器人表现

AI 导读

微软研究院对移动操作机器人工作负载做了首次系统性测量，发现把物理 AI 推理从机器人本体 GPU 卸载到边缘或云端 GPU，能提升任务成功率、支持更大模型并延长续航。

摘要与补充说明

微软研究院首次系统测量机器人本体推理与卸载推理的差距，给出任务成功率、电池续航和工具链的具体数据。

Two images showing the robot performing the same task of handing over a tape from one robot arm to another. The videos show that while the task succeeds when the inference latency is low, the handover fails with high inference latency as is the case with onboard robot GPUs.

概览

对机器人 AI 的一项核心假设提出挑战：我们的研究表明，将物理 AI 推理完全运行在机载 GPU 上会限制机器人性能、电池续航和可扩展性，而将推理卸载到边缘或云端 GPU 则可带来显著优势。
展示了推理卸载的可量化收益：在具有代表性的移动操作工作负载中，卸载推理提升了任务成功率，使更大的 AI 模型得以运行，并帮助机器人在动态的真实环境中更有效地响应。
延长机器人运行时间：用轻量级机载硬件和远程推理替代高功耗的机载 AI 计算，可大幅改善电池续航，使机器人在两次充电之间运行更久。
在 Physical AI Toolchain 中引入新能力：开发者现在可以使用基于 Kubernetes 的工具，在机器人、边缘基础设施和云端对机器人 AI 工作负载进行容器化、部署和编排，实现分布式推理。

随时可用的物理 AI——机器人可在制造、家庭和仓库场景中为用户提供协助——在广泛任务中提升安全性、生产力和辅助能力方面具有巨大潜力。在许多方面，面向物理世界的 AI 代表着 AI 的一大前沿。物理 AI 必须在开放且不可预测的环境中运行，与其他机器人和人交互，并适配多种具身形态。实现这一愿景需要在三个维度上取得进展：机器人硬件、具身 AI 模型，以及用于训练和推理的系统基础设施。尽管近年来机器人硬件和 AI 模型发展迅速，我们将关注点转向一个相对较少被涉及的方面：物理 AI 的推理基础设施。要让机器人在物理世界中有效且安全地运行，需要复杂的系统来处理大量分布式推理计算。

如今，物理 AI 的主流做法是在机器人机载配置一块 GPU，例如将 GPU 连接到机器人上。在这种模式下，机器人的推理将被限制在机载 GPU 上，由其为机器人提供执行任务所需的动作块和动作序列。虽然更高层的规划可能在云端执行，但任务执行通常仍与机器人本身绑定。我们挑战这一假设。随着物理 AI 模型规模和复杂度的增长，机载计算的限制日益明显。GPU 消耗大量电力，缩短电池续航，增加成本和重量，并可能限制运行最新一代 AI 模型的能力。

为了更好地理解物理 AI 的系统影响，我们对机器人工作负载进行了首个系统性研究。我们聚焦于移动机器人操作，典型任务如“检查厨房里是否有垃圾并将其放入垃圾桶”。此类任务涉及规划前往厨房的路径、感知环境以找到垃圾、导航到垃圾处、拿起垃圾，再导航回垃圾桶进行处置。我们评估了三个核心能力上的代表性模型：语义建图与规划、导航和操作，如图 2 所示。

Mobile robotic manipulation involves the components of semantic mapping & planning, manipulation, and safe navigation. The table above lists the state-of-the-art models used for each of these components in our measurement study. — 图 2：用于移动操作不同组件的模型详情。

将物理 AI 推理从机器人上卸载出去，改善了其响应时间和准确率，同时提升了电池续航和成本表现。我们在多种板载、边缘和云端计算配置下评估了这些推理模型。具体测试硬件的细节见我们的技术报告。

Diagram showing that offloading Physical AI inference from robots improves performance, battery efficiency, and cost.

任务性能方面的收益：我们的评估表明，卸载推理可以显著提升机器人在建图、规划、导航和操作等工作负载下的性能。一些较小的 GPU 无法承载移动操作栈。在内存充足的 GPU 上，建图和规划相比 A100 最多变慢 383%，从而限制了机器人在动态空间中的能力。在较轻量的 GPU 上，导航对障碍物的及时检测下降了 30%。虽然 VLA 模型在较小 GPU 上并未大幅变慢，但这一变慢仍足以使其准确率下降 50%。换言之，板载 GPU 限制了机器人的性能，而将推理卸载到本地或云端 GPU 则能提升其运行表现，如下方视频所示，并在图表中量化呈现。随着物理 AI 模型的规模和复杂度持续增长，卸载带来的收益很可能会更加明显。

图 3a：视频展示了使用板载 GPU 时的交接任务。

图 3b：视频展示了推理被卸载时的交接任务。

Robots can support GPUs such as Jetson Nano and Orin AGX onboard. The graphs above show that the success rate of object handover and navigation are low with onboard GPUs, but increase substantially with beefier GPUs when offloaded such as Jetson Thor and A100. — 图 4：在不同 GPU（部分为板载，部分为卸载）上执行推理时，机械臂相互交接物体的成功率。卸载提升了成功率。

电池续航方面的收益：除性能之外，板载 GPU 还会显著消耗机器人的电池续航。我们通过用 Raspberry Pi-5 板替换板载 GPU 并将所有数据发送到卸载的 GPU，比较了电池续航的提升。较大的板载 GPU（如 Jetson Thor）即使对较大的机器人，也会使电池续航最多消耗 160%（即数小时）。

Battery lifetime of the Stretch-3 robot can improve by over 100% when their GPU inference is offloaded out of the robot. — 图 5：卸载 GPU 推理对机器人电池续航的影响；以上数据针对 Stretch-3 机器人。

上述结果表明，将 GPU 推理从机器人上卸载出去，对于在开放世界中运行大模型并保持长电池续航至关重要。尽管如此，将推理从机器人上卸载涉及性能、网络延迟与带宽以及可用 GPU 资源之间的复杂权衡。我们相信，我们的测量研究将为物理 AI 推理系统的设计提供参考。

自动卸载工具集

我们构建了一个工具集，可轻松将推理从机器人上卸载出去，并在边缘 GPU 与云端之间分配推理。Kubernetes 是一个天然的平台，可提供统一的抽象，将机器人 AI 分布在机器人的计算、边缘 GPU 之间，并溢出到云端。该工具集支持使用声明式规范自动容器化并卸载机器人工作负载，使用 Kubernetes 以智能策略分发物理 AI 容器，并与机器人模拟器、LeRobot 和 ROS2 集成以便于开发。下面的步骤序列展示了如何向该工具集提示要卸载什么，以及它如何为 GPU 推理创建单独的容器并将其卸载。

Toolset to make offloading of physical AI inference easy by automatically generating a container for GPU inference and deploying it using Kubernetes to the machine with GPU. — 图 6：卸载工具集中容器化与部署的步骤。

Microsoft 最近发布了 Physical AI Toolchain（在新标签页中打开），用于大规模实现物理智能的运营化。Physical AI Toolchain 是一个开源、可用于生产的框架，它将 Microsoft Azure（在新标签页中打开）云服务与 NVIDIA（在新标签页中打开）的物理 AI 技术栈集成在一起，加速机器人和物理 AI 开发者在感知、移动、模仿学习和强化学习流水线中实现数据整理、增强和评估的自动化与规模化。我们宣布在 Physical AI Toolchain 中新增一项业界首创的能力，即为机器人提供卸载式物理 AI 推理。本次发布包含用于卸载 SO-101 和 UR10e 推理的示例项目。下面的视频展示了将面向双臂机器人的 Microsoft Rho 模型的推理卸载到 Jetson Thor GPU，由该 GPU 控制 Mobile Aloha 机器人（在新标签页中打开）的动作。

图 7a：卸载 Microsoft Rho 模型的 GPU 推理，控制 Mobile Aloha 机器人与 BusyBox 交互以按下蓝色按钮。

图 7b：卸载 Microsoft Rho 模型的 GPU 推理，控制 Mobile Aloha 机器人与 BusyBox 交互以将旋钮转到位置 4。

查看推理卸载功能，浏览源代码，并告诉我们你的反馈。我们已经在许多真实用例中进行了测试，并期待听到你的部署体验。

在新标签页中打开

文章面向真实世界物理 AI 机器人的卸载式推理首次出现在 Microsoft Research。