中文内容
新闻摘要:
- NVIDIA 发布了一套大型开源物理 AI 智能体技能与工具集合,涵盖 NVIDIA Omniverse、Cosmos、Alpamayo 和 Metropolis,面向机器人、自动驾驶汽车、视觉 AI 和工业数字孪生。
- 新的物理 AI 技能将复杂的物理 AI 训练、评估和部署工作流转化为可重复、经过优化且可由智能体执行的指令。
- 包括 Agile Robots、Cadence、Dassault Systèmes、Delta Electronics、Foxconn、Pegatron、PTC、Siemens、Synopsys 和 TSMC 在内的行业领导者正在使用 NVIDIA 物理 AI 工具,加速物理 AI 开发。
NVIDIA GTC Taipei —— NVIDIA 今日宣布推出一套大型开源物理 AI 技能与工具集合,帮助开发者将复杂的机器人、自动驾驶汽车(AV)、视觉 AI 和工业数字孪生工作流转化为可由智能体执行的任务,从而降低大规模构建物理 AI 工作流的成本、时间和复杂性。
随着 AI 智能体从编写代码发展到编排完整开发任务,物理 AI 正成为下一个前沿。NVIDIA 物理 AI 技能作为 NVIDIA Agent Toolkit 的一部分提供,使智能体能够使用 NVIDIA 库、模型和框架,加速机器人、自动驾驶汽车、工厂和实验室背后的数据生成、仿真、训练、评估和部署流水线。
NVIDIA 创始人兼首席执行官 Jensen Huang 表示:“AI 智能体正在革新软件开发,而这一转变如今正进入物理 AI 领域,延伸到将改变交通、制造、医疗保健和机器人技术的系统中。当智能体能够直接使用 NVIDIA 的库、模型和框架时,物理 AI 开发将更快推进,使开发者能够以惊人的速度构建未来的机器人、自动驾驶汽车和工业系统。”
面向物理 AI 开发的智能体就绪工具与技能 NVIDIA 正在通过将库、模型和框架转化为可由智能体调用的工具,优化其整个物理 AI 技术栈。这包括用于物理世界推理与生成的 NVIDIA Cosmos™ 世界基础模型、用于仿真和数字孪生的 NVIDIA Omniverse™ 库、用于机器人仿真和机器人学习的 NVIDIA Isaac™、用于视觉 AI 的 NVIDIA Metropolis、用于自动驾驶的 NVIDIA Alpamayo,以及用于边缘 AI 开发的 NVIDIA Jetson™ 平台。
为帮助开发者应用这些工具,NVIDIA 正在作为 NVIDIA Agent Toolkit 的一部分推出新技能,将物理 AI 开发流程转化为编码智能体可遵循的可重复指令。这包括调用哪些工具、生成哪些输出,以及开发者如何验证结果。
开发者还可以借助 NVIDIA NemoClaw™ 蓝图和 NVIDIA OpenShell™ 运行时,使用这些技能安全地构建和部署自主智能体;该运行时可在本地或云端硬件上提供基于策略的安全与隐私治理。
NVIDIA 物理 AI 技能与工具正在加速以下领域的智能体式开发:
- 机器人与边缘 AI:机器人开发者可以使用技能加速整个机器人开发流水线,从生成感知和移动能力训练数据,到仿真、自动化导航训练、推进机器人学习,以及调优基于 Jetson 的边缘系统以进行部署。
- 自动驾驶汽车:对于自动驾驶汽车开发者,技能可以指引智能体将车队采集的数据重建为仿真环境,大规模生成照片级真实的驾驶场景,并运行闭环强化学习,以扩大训练和评估覆盖范围。
- 实时视觉 AI 智能体:对于自动化检测和视频智能,智能体技能可帮助团队生成合成训练数据、微调模型、自动化标注,并构建可搜索、总结和分析实时或录制视频的视频 AI 智能体。
- 工业 AI:工业软件开发者可以使用这些技能将工程数据转换为用于数字孪生仿真的计算机辅助设计(CAD)资产,以更少的手动设置优化大型 OpenUSD 场景。
- 医疗保健:在临床环境中部署自动化之前,医疗团队可以引导智能体完成医院环境数字孪生创建、仿真到现实的数据生成,以及软件在环策略测试。
这些技能可以组合并集成到更大的智能体系统中,使开发者能够编排和自动化复杂工作流,例如数据生成、仿真、优化、推理调优、持续评估等。
行业领导者采用 NVIDIA 物理 AI 技术进行构建 制造、自动驾驶汽车、医疗保健和工业软件等领域的行业领导者正在使用 NVIDIA 物理 AI 库,推进自主系统和工业 AI 的开发。
随着这些库具备智能体就绪能力,开发者可以使用 NVIDIA 技能,帮助智能体在复杂物理 AI 工作流中自动化设置、执行和迭代。
在电子制造领域,TSMC 和 Pegatron 正在微调视觉检测模型。Pegatron 使用由 Defect Image Generation 技能生成的合成数据,将模型训练和部署时间减少了 67%。
Delta Electronics 生成了合成缺陷数据,并使用该技能检测金属母排上的过量焊料,使检测率提高了 17%。Inventec 通过集成 Defect Image Generation 技能开发其 Observation Agent 视觉检测流水线,将笔记本电脑机壳制造中的缺陷数据收集工作量减少了 30%。Foxconn 与 DeepHow 合作,使用该技能通过早期发现错误提升制造效率,使一次通过率提高约 3%。
在自动驾驶汽车领域,Li Auto、Afari 和 DeepRoute.ai 正在使用 NVIDIA Omniverse NuRec 模型进行神经场景重建与渲染,每天生成 1,000 多个重建结果以及超过 300,000 次渲染和仿真。此外,它们还在使用新的智能体技能库,加速并增强更安全、更强大的自动驾驶系统开发。
在工业 AI 领域,Cadence、Dassault Systèmes、Siemens 和 Synopsys 正在使用 NVIDIA Omniverse 库与技能进行工程数据检查、仿真和交互式数字孪生。PTC、MetAI 和 Lightwheel 正在利用 NVIDIA Isaac Sim™ 框架和基于 OpenUSD 的工作流,将 CAD 数据转化为可用于仿真的资产和环境。作为其 Autonomous Fab 2030 路线图的一部分,SK hynix 正在使用 NVIDIA Omniverse 实施半导体晶圆厂数字孪生,并与 NVIDIA 和 SK Telecom 合作验证 NVIDIA Agent Toolkit 在制造业特定物理 AI 场景中的应用。
1x、Agile Robots、Agility、FieldAI、Hexagon Robotics、NEURA Robotics、Skild AI 和 Universal Robots 等机器人领域领导者正在使用 NVIDIA 的智能体就绪物理 AI 技术栈,加速从数据生成到部署的机器人开发。
Foxconn 和 Compal 正在使用 NVIDIA Isaac for Healthcare 加速医院机器人。Foxconn 正在多个医院和长期护理环境中扩展 Nurabot,将 AI 驱动的机器人技术带入患者护理,同时推出新的 Scrub Nurse Collaborative Robot,以帮助优化手术室工作流。Compal 正在推进其 PolyMedX 机器人的开发流程,使其迈向医院范围的编排平台,整合仿真、AI 和现实世界运营。
可用性 NVIDIA 物理 AI 智能体工具与技能现已通过 GitHub 和 skills.sh 开放提供,可与任何编码智能体配合使用。
用于合成数据生成的智能体技能和工具——Neural Reconstruction、Video Augmentation、Defect Image Generation——也可作为 Physical AI Launchables 在 NVIDIA Brev 上即时试用;这些预配置环境将智能体技能与工具打包在一起,以加快合成数据生成和评估。
Microsoft、CoreWeave 和 Nebius 正在将这些智能体技能与工具集成到其云服务中,使开发者能够简化并扩展合成数据生成和部署。
观看 Huang 的主题演讲,了解更多 NVIDIA GTC Taipei 信息,并探索物理 AI 相关会议。

















