使用 NVIDIA Omniverse 库将物理 AI 能力集成到现有应用中

物理 AI——能够在具有物理基础的模拟环境中感知、推理并行动的 AI 系统——正在改变团队设计和验证机器人及工业系统的方式，早在任何产品进入工厂车间之前就已发挥作用。在 GTC 2026 上，NVIDIA 将物理 AI 强调为机器人技术和数字孪生的关键方向，其中策略会在具有物理基础的环境中进行训练和验证。

为使 NVIDIA Omniverse 更易于集成到现有应用中，NVIDIA 正在现有平台之外增加一种基于库的模块化架构。Omniverse 的核心组件——RTX 渲染、基于 PhysX 的仿真以及数据存储流水线——正以独立、优先支持无头模式的 C API 形式开放，并提供 C++ 和 Python 绑定：ovrtx、ovphysx 和 ovstorage。对于已有成熟技术栈的开发者而言，这些库减少了进行重大架构重写的需求，并让你无需采用完整的 Omniverse 容器栈即可集成 Omniverse 功能。

通过模块化仿真实现价值

在大型机器人和工业部署中，单体运行时可能会使仿真扩展、无头部署或与现有 CI/CD 系统集成变得困难。库优先架构通过将渲染、物理和存储直接嵌入到现有服务中，而不是把所有内容都运行在单一的 Omniverse 运行时内，来解决这些限制。团队现在无需采用完整的应用程序框架，而是可以直接从自己的进程和服务中调用 Omniverse 渲染、物理和存储 API。

核心产品阵容

这些库旨在解决工业软件开发中特定的集成痛点：

这些库可接入现有的 Omniverse 组件，用于场景描述（OpenUSD）、仿真就绪资产（SimReady）和应用开发（Omniverse Kit Framework）。

库的可用性与生产路径

目前，ovrtx、ovphysx 和 ovstorage 已在 GitHub 和 NGC 上提供早期访问版本。早期访问版本的 API 可能会在不同发布版本之间发生变化；NVIDIA 会发布迁移说明，并通过 GitHub 和 Omniverse Discord 征求反馈。在早期访问期间，我们正专注于扩大覆盖范围（物理特性、传感器模型）并优化 GPU 利用率。我们计划在今年晚些时候发布具备 API 稳定性和长期支持的生产版本。

NVIDIA 正在内部使用这些库，为其下一代物理 AI 蓝图和框架提供支持：

• NVIDIA Isaac Lab：目前正从 Omniverse Kit 框架过渡到由 ovphysx 和 ovrtx 驱动的模块化架构。这将支持显式执行控制、确定性仿真，以及在无 UI 依赖的情况下运行高密度、无头物理仿真的能力。
• NVIDIA Omniverse DSX Blueprint：DSX 参考设计的数字孪生呈现，向开发者展示如何使用 Omniverse 库，在 AI 工厂设施及其软硬件生态系统中进行设计、仿真和运营。

通过首先在高性能内部技术栈和工业蓝图中测试这些库，我们确保它们在正式面向公众发布之前，能够满足企业级物理 AI 的严格要求。

智能体式编排：借助支持 MCP 的库扩展物理 AI

为了让基于 LLM 的智能体能够使用仿真，Omniverse 通过 Model Context Protocol (MCP) 服务器公开其功能。这些服务器以机器可读的 schema 描述操作（例如加载 USD 场景、编辑 prim、推进仿真），因此 Claude 和 Cursor 等工具可以安全地调用它们。

• Kit USD 智能体：一组面向 Kit、USD 和 OmniUI 的 MCP 服务器。这些服务器允许智能体浏览 API、生成场景代码，并根据高层级描述来操作图层层级结构或 UI 元素。

MCP 服务器设置

每个 MCP 服务器都可以通过 Docker 或 Python 在本地运行。请参阅各个服务器的文档：USD Code MCP、Kit MCP、OmniUI MCP。

快速开始（Docker——推荐）：

# Set your NVIDIA API key first
export NVIDIA_API_KEY=your_api_key_here  # Linux/macOS
# or
set NVIDIA_API_KEY=your_api_key_here     # Windows

# Build wheels and start all MCP servers
cd source/mcp
./build-wheels.sh all  # or build-wheels.bat all on Windows
docker compose -f docker-compose.ngc.yaml up --build

此方式通过你的 API 密钥使用 NVIDIA 云端托管的嵌入器和重排序器服务。无需本地 GPU。为了扩展这些工作流，开发者可以利用 NemoClaw，这是面向 OpenClaw 社区的新型基础设施栈，用于在受基于策略的护栏保护的隔离沙箱内，部署安全、始终在线的自主智能体。借助 MCP 服务器处理面向 Omniverse 的低层远程过程调用（RPC），团队可以专注于定义智能体行为和护栏，而不是手动连接每一次仿真 API 调用。

案例研究：使用模块化库优化 NVIDIA Isaac Lab

当前 NVIDIA Isaac Lab 的工程演进最能体现向库优先架构的转变。作为用于强化学习（RL）的高性能机器人仿真框架，Isaac Lab 需要极高的可扩展性和确定性控制。

随着 Isaac Lab 3.0 Beta 的发布，NVIDIA 已将 Isaac Lab 的基础层从单体式 Kit 框架迁移到模块化的多后端架构。

• 在物理仿真方面，开发者现在可以根据其仿真需求，在 `ovphysx`（一个封装 PhysX SDK 的独立库）或由 MuJoCo-Warp 驱动的无 Kit Newton 后端之间进行选择。
• 在渲染方面，可插拔的渲染器系统支持 OVRTX、Isaac RTX、Newton Warp，以及 Rerun 和 Viser 等轻量级可视化工具。

该版本目前处于 beta 阶段，计划于今年晚些时候正式发布。这种多后端设计显著改变了 NVIDIA 在内部组合仿真栈的方式，从单一运行时转向一组可互换的物理和渲染后端。

实现细节：解决“框架锁定”问题

对于 Isaac Lab 工程团队而言，转向独立库解决了三个主要的架构瓶颈：

• 显式执行控制：独立 API 取代了 Kit 运行时循环，使开发者能够手动触发物理步骤。这确保了确定性执行，并消除了框架引起的延迟。
• 解耦的更新频率：模块化库支持仿真组件独立步进。高频传感器（IMU）和较低频率的视觉系统现在可以在同一环境中以各自的原生速率运行。
• 可扩展的无头部署：解耦库为 Linux 集群提供最小化的二进制占用。开发者可以在不依赖 UI 的情况下执行高密度物理计算，并附加 ovrtx 用于调试或可视化。

通过剥离平台管线，Isaac Lab 可以利用张量化数据交换，通过 GPU 缓冲区直接高速访问仿真状态（例如，将位置/速度作为 PyTorch 张量访问，而无需主机端拷贝）。

增强既有技术栈：行业采用

工业数字孪生和机器人仿真合作伙伴正开始在其工作流程中采用 Omniverse 库，形式包括试点或早期生产集成。

对于 ABB Robotics、Adobe、Cadence、PTC、Siemens 和 Synopsys 等合作伙伴而言，其主要价值在于能够纳入基础 RTX 渲染、高保真 PhysX 仿真以及原生 OpenUSD 支持，而无需进行完整的架构平台重构。

ABB Robotics 等机器人仿真领域的领导者正将 Omniverse 嵌入 RobotStudio，基于其受到行业信赖的虚拟控制器、离线编程和调试工作流程，以大规模训练和验证具备物理 AI 的工业机器人；与此同时，PTC 正将 Onshape 直接连接到 Isaac Sim，用于云原生机器人设计、测试和部署。Siemens 等全球工业软件巨头正在集成 Omniverse 库，以大规模构建工业数字孪生。

决策指南：框架还是库？

选择合适的集成路径取决于应用程序堆栈的具体需求。

决策指南：何时选择模块化库，何时选择完整平台。

• 何时使用 Omniverse 库：当你希望将物理 AI 功能接入现有 3D 或 CAD 应用程序，或接入需要高保真物理或传感器渲染而无需采用完整 Omniverse 堆栈的新工作流时，请使用 Omniverse 库。它们也非常适合轻量级、通常为无头的部署，或专门的自主智能体；在这些场景中，你需要依赖项和复杂性最少的聚焦功能。
• 何时使用 Omniverse Kit 框架：当你想构建一个功能丰富的 OpenUSD 应用程序或服务，并且需要完整的 UI、交互式视口，以及在渲染、物理和其他 Omniverse 能力之间进行紧密协调时，请使用 Omniverse Kit。如果你还没有现成的应用程序，需要内置菜单和窗口系统，并希望采用一个标准应用框架，由它为你连接众多扩展和库，让你能够专注于领域逻辑而非底层集成，那么它是理想选择。

入门：将物理 AI 接入你的流水线

Omniverse 库最大的优势之一，尤其是 ovrtx 和 ovphysx，在于它们的可用性与上层 Omniverse Kit 框架相解耦。这两个库都提供基于其 C API 构建的轻量级 Python 绑定，因此很容易集成到你自己的应用程序中。

由于它们支持 DLPack，你可以通过零拷贝传输数据交换与它们交互，并直接与 NumPy、PyTorch 和 Warp 等流行框架配合使用。

如何开始

使用 ovrtx 渲染一帧：

ovrtx 提供对 RTX 硬件加速渲染的轻量级访问。你可以加载一个场景、渲染一帧，并仅用 10 行代码借助 NumPy 将其保存为 PNG 文件。*要求：Python 绑定使用 ctypes，除 C 库外不需要任何依赖，可在 Python 3.10+ 环境中运行。

from ovrtx import Renderer
import numpy as np
from PIL import Image

# 1. Create the renderer with optional configuration
renderer = Renderer()

# 2. Ingest the scene
renderer.add_usd("/path/to/robot.usda") 

# 3. Step the sensor simulation and retrieve rendered outputs
products = renderer.step(render_products={"/Render/Product_Robot_01"}, delta_time=1.0/60)

# 4. Save rendered output into PNG via numpy DLPack and PIL
for frame in products["/Render/Product_Robot_01"].frames:
    with frame.render_vars["LdrColor"].map(device="cpu") as mapping:
        pixels = np.from_dlpack(mapping.tensor)
        Image.fromarray(pixels).save("robot_pose.png")

这里发生了什么？

• 高效且简单的场景创建：ovrtx_add_usd() 使用高级缓存和流式传输将给定的 USD 图层加载到舞台中，以实现高效加载。
• 解耦步进：ovrtx_step() 命令使用提供的增量时间以确定性方式推进渲染器，使应用程序能够完全控制渲染执行。
• 语义感知张量：上下文管理器（with… as mapping:）会自动处理将 RGBA 或深度等渲染变量映射到 CPU 或 GPU 内存，结果可轻松与 NumPy 共享。取消映射和清理会在张量被垃圾回收时自动处理。

如需更多信息，请访问 ovrtx Github 仓库。

使用 ovphysx 的最小可行物理循环

在 ovrtx 处理视觉效果的同时，ovphysx 充当核心 PhysX SDK 与你的 USD/Tensor 环境之间的桥梁。

要运行物理仿真，你的应用程序流程将遵循由核心 API 驱动的五个基本异步步骤：

1. 实例生命周期：ovphysx_create_instance 为了加载 USD 场景、运行模拟或访问张量，你必须先创建一个实例。
2. 场景摄取：ovphysx_add_usd 此步骤通过将你的 actors、joints 和 physics materials 从 USD 文件加载到运行时 stage 中，来定义你的物理世界。
3. 模拟推进：ovphysx_step 这是你的模拟循环的核心，会以确定性方式随时间向前推进物理过程。
4. 同步：ovphysx_wait_op 由于该库采用异步、按流排序的执行模型，你必须使用操作来确保步进或 USD 加载已完成。这样可以防止你尝试读取或写入数据时发生竞态条件。
5. 状态访问：read_tensor_binding/write_tensor_binding 张量绑定是该库的可扩展 I/O 机制。此步骤允许你以张量化格式观察物理状态（如速度和位置）并施加控制（如施加力）。

如需更多信息，请访问 ovphysx Github 仓库。将数据源与 ovstorage 连接

虽然 ovrtx 和 ovphysx 为你的应用程序提供渲染和物理功能，但 ovstorage 充当统一的存储层。它通过统一的 API 层将你的 PLM 或现有仓库直接连接到 Omniverse 生态系统。这消除了同步作业和高成本的数据迁移，使无需移动文件即可实现 USD 工作流。

ovstorage 专为支持 Kubernetes 的无头部署而设计，让你拥有完全的架构控制权，可独立扩展微服务以满足生产需求，而不受单体式遗留堆栈的限制。

如何开始：

• 集成现有基础设施：将 Omniverse 连接到当前的存储后端（例如 S3 或 Azure），以在原位置维护版本控制。
• 部署服务适配器：快速构建自定义适配器，将任何存储后端暴露给统一 API，而无需修改客户端应用程序。
• 确保合规：使用经过一致性测试的适配器来满足特定的数据驻留、主权和合规要求，同时保留单一事实来源。

这些只是 ovstorage 的初始功能，未来还将推出更多功能。

如需更多信息，请访问 NVIDIA NGC 上的 ovstorage 资源。

模块化物理 AI 的未来

NVIDIA Omniverse 正在成为一组模块化构建块——可组合到你自己的物理 AI 技术栈中的库和框架。通过提供 ovrtx 和 ovphysx 等高性能基础组件，NVIDIA 正在使开发者能够在其已拥有的生态系统内构建下一代自主系统。

虽然 Omniverse Kit 框架仍然是开发者构建全新、功能丰富应用程序的理想选择，但这些独立库使团队能够在现有技术栈内进行创新。工业 ISV 以及 Isaac Lab 内部的早期使用表明，模块化库使将仿真集成到现有产品和训练流水线中变得更加容易。

立即开始

请采取以下后续步骤，开始将模块化物理 AI 集成到你的现有应用程序中：

• 安装 Omniverse 库：通过 GitHub 下载 ovrtx 和 ovphysx，并从 NVIDIA NGC 下载 ovstorage，开始将物理 AI 集成到你的工作流中。
• 了解更多：访问最新的 GTC 2026 会议内容，并收看我们即将推出的 OpenUSD Insiders Livestream，深入了解 Omniverse 开发。
• 参与社区互动：在 Omniverse Developer Discord 上分享你的反馈并与其他开发者协作，帮助塑造面向企业级应用的物理 AI 的未来。