NVIDIA 发布用于 Robotaxi 的 Alpamayo 2 Super 开放推理模型

新闻摘要：

• NVIDIA Alpamayo 2 Super 是 NVIDIA 迄今最强大的开放推理模型，是一个开放的 320 亿参数推理型 VLA 模型，可在完整驾驶技术栈中进行推理、规划和行动，以支持更安全、可扩展的 L4 开发。
• NVIDIA AlpaGym 是一个新的高吞吐量闭环强化学习框架，可在道路部署前，通过仿真训练 AV 模型理解其驾驶决策所产生的后果。
• NVIDIA OmniDreams 是一个新的生成式世界模型，用于生成照片级真实感的闭环 AV 场景，使开发者能够大规模仿真罕见和长尾驾驶场景。
• NVIDIA 面向 AV 开发的物理 AI 智能体技能包括由 NVIDIA Omniverse NuRec 提供支持的 Neural Reconstruction，使开发者能够将真实车队数据重建为照片级真实感的 3D 场景，并根据不同车辆传感器配置进行适配。

NVIDIA GTC Taipei——NVIDIA 今日推出 NVIDIA Alpamayo 2 Super，这是一个基于推理的 320 亿参数视觉语言动作（VLA）模型，扩展了 NVIDIA Alpamayo 开放 AI 模型、仿真框架和物理 AI 数据集家族，用于安全的 L4 Robotaxi 开发。

在发布该模型的同时，公司还宣布了新的工具、模型和智能体技能，完善了从真实世界数据采集到闭环训练和车内部署的流程，包括 NVIDIA AlpaGym、NVIDIA OmniDreams 以及新的 NVIDIA Omniverse NuRec 模型。

Alpamayo 2 Super 通过消除从零构建关键自动驾驶基础设施的需求，帮助加速自动驾驶汽车（AV）开发。它支持类人感知、推理和行动，并提供安全验证和监管协作所需的可解释性。

为更好地训练用于道路部署的模型，AlpaGym 框架提供了闭环强化学习（RL）平台。NVIDIA OmniDreams 生成式世界模型用于生成照片级真实感的闭环 AV 场景，使开发者能够大规模仿真罕见和长尾驾驶场景。

为提升开发者生产力，NVIDIA 正为其所有 AV 开发工具提供物理 AI 智能体技能。例如，由 NVIDIA Omniverse NuRec 支持的 Neural Reconstruction 技能可使用真实车队驾驶场景进行仿真，并大规模生成合成训练数据。

“Alpamayo 标志着汽车开始安全地推理，而不只是驾驶，”NVIDIA 创始人兼 CEO Jensen Huang 表示。“只有 NVIDIA 提供开放模型、仿真、真实世界数据和智能体技能，使全球 Robotaxi 生态系统能够开发理解边缘情况、解释决策、赢得信任并安全扩展到数百万辆车的 L4 能力。”

Alpamayo 2 Super 现已面向基于推理的 AV 推出。NVIDIA Alpamayo 家族现已通过 Alpamayo 2 Super 从 100 亿参数扩展到 320 亿参数——超越轨迹生成，在完整驾驶技术栈中进行推理、规划和行动。凭借覆盖推理、自动标注、场景理解、模型批判以及将知识蒸馏到更小模型中的多任务能力，它为可扩展的 L4 AV 开发和部署提供了基础构件。

主要特性包括：

• 3 倍参数规模：基于 NVIDIA Cosmos™ 世界基础模型构建，Alpamayo 2 Super 从此前 100 亿参数的一代扩展到 320 亿参数，提升了长尾场景中的推理、3D 空间理解和轨迹预测能力。
• 全环绕感知：从以前聚焦前视摄像头扩展到覆盖前方、侧方和后方视角的 360 度态势感知，为模型提供完整上下文，以实现更安全的变道、并线和通过路口。
• Meta-Actions：新增 Meta-Action 输出，包括让行、变道和停车等宏动作，因此该模型除轨迹和因果链（CoC）轨迹外，还能为下游规划预测高层驾驶决策。
• 推理自动标注与 2D 定位：引入带 2D 定位的推理自动标注，使 320 亿参数基础模型能够提供高质量推理标签，将标注周期从数月压缩到数天，并重塑 AV 数据流水线的经济性。
• 改进的 CoC 和轨迹质量：改进了 CoC 轨迹和行驶轨迹，尤其是在传统模仿学习 AV 技术栈难以处理的罕见、复杂、长尾场景中。

这些进展使 Alpamayo 2 Super 成为 NVIDIA 迄今最强大的开放驾驶基础模型。Alpamayo 2 Super 被设计为教师模型，可被蒸馏为在 NVIDIA DRIVE Hyperion™ 平台的加速计算上运行的紧凑模型，即在车辆内部运行的 NVIDIA DRIVE AGX Thor™。

随着教师模型从 NVIDIA Alpamayo 1 Nano 和 NVIDIA Alpamayo 1.5 Nano 等 100 亿参数模型扩展到 Alpamayo 2 Super 的 320 亿参数，基于 Alpamayo 构建的下游 AV 技术栈可从单一开放版本继承更高质量的推理和感知能力，而无需每家制造商都从头重建。

Alpamayo 最近获得 COMPUTEX Best Choice Awards 认可，在 Vehicle Technology and Smart Cockpit 类别中获奖。

自发布以来，Alpamayo 的下载量已接近 40 万次。Alpamayo 开放平台还包含后训练脚本，使研究人员和开发者能够将模型适配到自己的数据集、场景和驾驶策略。

Alpamayo 2 Super 预计将于今年夏季在 GitHub 提供推理代码，并在 Hugging Face 提供模型权重。

AlpaGym 支持闭环训练和部署周期。NVIDIA 还推出了 NVIDIA AlpaGym，这是一个开源、高吞吐量、闭环 RL 框架。

开放环训练根据记录数据评估模型并生成单轮动作；相比之下，AlpaGym 在 NVIDIA AlpaSim 中让模型经历连续的决策和观察循环，每一次制动、转向和导航选择都会影响环境。

因此，AlpaGym 能暴露静态数据集遗漏的累积错误和边缘案例失效，使模型能够从经验中学习。

AlpaGym 基于 AlpaSim 微服务仿真技术栈和 NVIDIA Omniverse NuRec 构建，支持高效、可扩展的闭环 RL，以推动驾驶性能前沿。结合 Physical AI AV Dataset，Alpamayo 提供了从开放环预训练到闭环精炼的连续路径。

NVIDIA 还将在 GitHub 上开源 CoC Auto-Labeling Pipeline。该流水线可从原始驾驶片段中自动生成基于决策且具有因果关联的 CoC 标签，无需人工标注，为大规模训练具身推理模型提供所需的因果训练数据基础。

NVIDIA 推出面向 AV 的新物理 AI 智能体技能。为支持基于推理的 AV 开发，NVIDIA 正在 NVIDIA Agent Toolkit 下推出新的物理 AI 智能体技能，以指导开发者及其编码智能体完成大规模构建和验证自动驾驶系统所需的仿真、数据生成和闭环训练工作流。

其中包括由 NVIDIA Omniverse NuRec 库支持的 Neural Reconstruction 技能、用于照片级真实感场景生成的 NVIDIA OmniDreams 技能，以及用于闭环 RL 的 AlpaGym 技能。

观看 Huang 的主题演讲，并在 NVIDIA GTC Taipei 了解更多信息。