元鉴
返回中文阅读流

NVIDIA Developer Blog

NVIDIA IGX Thor 赋能工业、医疗和机器人边缘 AI 应用

工业和医疗系统正迅速增加高性能 AI 的使用,以提高工人生产力、人机交互并减少停机时间……

中文内容

已翻译official company source英文原文2026-05-26

工业与医疗系统正迅速扩大高性能AI的应用,以提升员工生产力、人机交互水平及停机管理效率。从工厂自动化单元到自主移动平台,再到手术室,运营方正在边缘侧部署日益复杂的生成式AI模型、更多传感器以及更高保真度的数据流。

与此同时,安全与法规合规对于满足确定性行为、高可用性及可验证的功能安全等关键设计要求至关重要。

本文将介绍 NVIDIA IGX Thor —— 一个专为满足边缘工业AI驱动需求而打造的平台,并深入剖析其性能与安全特性。

什么是 NVIDIA IGX Thor?

NVIDIA IGX Thor 是一款面向物理AI的企业级就绪平台。它将服务器级AI性能与工业级硬件、先进的功能安全能力、全生命周期支持以及适用于工业与医疗环境的企业级软件栈相结合,提供多种配置方案。IGX Thor 将这一计算与安全基础延伸至边缘系统,充分满足系统设计中以高可用性、可靠性和标准合规性为核心的需求。

借助 IGX Thor 平台,开发者能够构建适用于关键任务的边缘计算机。这些设备可在恶劣的物理环境中稳定运行,与安全合规的基础设施无缝集成,并在靠近数据生成源头的位置执行最先进的AI推理与传感器融合流水线。

IGX Thor 系列包含四款专为工业级部署与高级开发工作流而设计的平台:

  • NVIDIA IGX T5000 System-on-Module (SoM) :在紧凑的嵌入式形态下提供高性能且支持功能安全的计算能力。该模块专为集成至定制载板而设计,可帮助客户构建面向特定领域的工业与机器人系统,同时加速产品上市进程。
  • NVIDIA IGX T7000 Board Kit:为最严苛的边缘AI工作负载提供性能与扩展性的提升。IGX T7000采用MicroATX外形规格,集NVIDIA Thor级算力、丰富的I/O接口、功能安全支持、通过独立GPU灵活扩展AI算力的能力,以及企业级网络于一体,旨在为安全关键型、高吞吐量的边缘系统提供强大动力。
  • NVIDIA IGX Thor Developer Kit:提供功能全面的开发平台,用于构建、测试和验证下一代工业AI应用。凭借对先进传感、机器人及实时AI流水线的支持,开发者能够充满信心地从原型阶段顺利过渡到部署阶段。
  • NVIDIA IGX Thor Developer Kit Mini:将集成板载安全模块的NVIDIA Thor级能力融入更小巧的体积中。该套件针对空间与功耗受限的环境进行了优化,非常适合需要强劲AI性能且不能牺牲外形尺寸的移动机器人、自主机器及紧凑型工业系统。
An exploded architectural view of the NVIDIA IGX T5000 Module with Blackwell GPU. Labels identify internal components including the heat sink and fan, UFS storage module, safety MCU, 1 TB NVMe SSD, and Wi-Fi 6E module. Technical specs listAn exploded architectural view of the NVIDIA IGX T5000 Module with Blackwell GPU. Labels identify internal components including the heat sink and fan, UFS storage module, safety MCU, 1 TB NVMe SSD, and Wi-Fi 6E module. Technical specs list
图1. NVIDIA IGX T5000 Module与Developer Kit采用Blackwell GPU架构、14核Arm Neoverse-V3AE CPU、集成安全MCU及高速I/O连接

表1提供了NVIDIA IGX Thor系列的概览,重点展示了各配置如何针对工业、医疗及机器人等不同类别的边缘工作负载进行针对性调优。

NVIDIA IGX T5000NVIDIA IGX T7000NVIDIA IGX Thor Developer Kit MiniNVIDIA IGX Thor Developer KitAI performanceUp to 2,070 FP4 TFLOPSUp to 5,581 FP4 TFLOPsUp to 2,070 FP4 TFLOPSUp to 5,581 FP4 TFLOPsiGPU2,560-core NVIDIA Blackwell architecture GPU with fifth-generation Tensor Cores
Multi-instance GPU with 10 TPCsiGPU speed1.57 GHzdGPU –NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 
NVIDIA RTX PRO 5000 Blackwell NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition Memory256-bit 128 GB LPDDR5x | 273 GB/sSafety Functional Safety Island (FSI) in SoCFSI in SoC and Safety MCUBMC–Yes–YesNetworking
4x up to 25 Gbps MGBE
2x RJ45 (1 GbE each)
2x QSFP112 (200 GbE each)
Supports ConnectX-7 1x 5GBe RJ45 connector
1x QSFP28 (4x 25 GbE)
WiFi 6E (Populated on M.2 Key E slot with x1 PCIe Gen5 )2x RJ45 (1 GbE each)
2x QSFP112 (200 GbE each)
Supports ConnectX-7 
表1. NVIDIA IGX Thor系列的关键性能、内存、I/O及安全特性

在边缘端提供强大的AI性能

NVIDIA IGX Thor实现了性能的阶跃式提升。与NVIDIA IGX Orin相比,其集成GPU的AI算力最高提升8倍,在独立GPU加速下AI算力提升2.5倍,网络带宽提升2倍。这使其能够胜任工业和机器人应用中要求更为苛刻的实时AI工作负载。

IGX T7000 将 IGX T5000 Thor 模块与 NVIDIA RTX PRO 6000 Blackwell Max‑Q 独立 GPU 相结合。前者搭载基于 NVIDIA Blackwell 架构的 iGPU,提供 2,070 FP4 TOPS 的 AI 算力;后者额外提供 3,511 FP4 TOPS。该配置显著提升了面向高要求边缘工作负载的总体 AI 算力。

与 IGX Orin 700 相比,IGX T7000 的生成式 AI 推理性能提升 5 倍。通过并发使用 iGPU 和 dGPU,它可支持多达 20 倍的交互用户数,是高并发边缘工作负载的理想选择。此外,它还提供强大的混合关键性隔离功能,确保在 dGPU 上运行的工作负载独立运作,而不会降低 iGPU 的性能。

这些特性使 IGX T7000 成为智能零售等场景的理想选择。该场景需要处理大量自助结账终端的视频流,同时运行 VLM 和 LLM 工作负载以支持低延迟智能结账,从而加快结算流程。它同样非常适用于工业安全和楼宇自动化等众多应用场景。

图 2 对比了 IGX T7000 与 IGX Orin 700 在满足 tokens/sec > 25 且 TTFT < 200 msec 条件下的可处理用户数量。

Graph comparing IGX T7000 and IGX Orin 700 on number of users supported with tokens/sec greater than 25 and TTFT less than 200 ms across multiple AI models, showing higher capacity on IGX T7000.Graph comparing IGX T7000 and IGX Orin 700 on number of users supported with tokens/sec greater than 25 and TTFT less than 200 ms across multiple AI models, showing higher capacity on IGX T7000.
图 2. IGX T7000 专为在边缘端处理高并发任务而设计

配置:dGPU:NVIDIA RTX PRO 6000 Blackwell Max-Q(IGX T7000)、NVIDIA RTX 6000 ADA(IGX Orin 700);ISL/OSL:2028/128;量化:NVFP4(IGX T7000)、W4A16(IGX Orin 700);框架:VLLM

ModelNVIDIA IGX Thor (IGX T7000)
(tokens/sec)NVIDIA IGX Orin (IGX Orin 700)
(tokens/sec)Speedup
over NVIDIA IGX OrinQwen3 30B A3B1,1638071.4xQwen3 32B468954.9xNemotron 9B V23062021.5xNemotron 3 30B A3B6425851.1xCosmos Reason 2 2B1,6301,2501.3xCosmos Reason 2 8B8225401.5xgpt-oss-20B1,0727111.5x
表 2. IGX T7000 与 IGX Orin 700 平台上的主流模型生成式 AI 性能

配置:dGPU:NVIDIA RTX PRO 6000 Blackwell Max-Q(IGX T7000)、NVIDIA RTX 6000 ADA(IGX Orin 700);ISL/OSL:2028/128;量化:NVFP4(IGX T7000)、W4A16(IGX Orin 700);最大并发数:9;框架:VLLM

与 NVIDIA Jetson T5000 类似,NVIDIA IGX T5000 SoM 提供 2,070 TOPS 的 FP4 算力,配备 128 GB LPDDR5X 内存和 273 GB/s 的内存带宽,非常适合运行需要实时响应的生成式 AI 工作负载。即使启用了完整 DRAM ECC 等工业级特性,IGX T5000 也能提供与 Jetson T5000 相同的性能。这些工业级功能不会降低 IGX T5000 的性能或可用内存容量。

面向实时工作负载的高速连接

IGX T7000 开发套件通过双 200 GbE 网络显著提升了边缘连接能力,其带宽是 IGX Orin 双 100 GbE 接口的两倍。该高速网络架构由 NVIDIA ConnectX-7 SmartNIC 驱动,利用 RDMA 实现低延迟、高吞吐量的数据传输,使传感器数据能够绕过 CPU 直接流入 GPU 显存。这一特性大幅提升了端到端 AI 性能,尤其适用于实时且高度依赖传感器的密集型工作负载。

网络能力的这一飞跃充分释放了 NVIDIA Holoscan Sensor Bridge (HSB) 的全部潜力。HSB 旨在聚合并流式传输来自高带宽传感器(如摄像头、激光雷达、雷达和医疗成像设备)的海量数据,其依赖于确定性、无损的网络来满足严格的延迟和同步要求。

凭借 2×200 GbE 和 RDMA 加速,IGX Thor 提供了扩展多传感器流水线所需的带宽和确定性,从而在安全关键型和实时系统中实现更快的数据采集、更紧密的传感器融合以及更高保真度的 AI 推理。

面向边缘应用的实时确定性

许多工业和机器人应用要求严格的实时行为,而 IGX Thor 正是专为满足这些需求而设计的。

  • 实时 Linux 环境:IGX 默认搭载可抢占的实时 Linux 内核。这为机械臂、自主设备和闭环医疗系统中的高精度控制回路与低延迟传感器处理提供了所需的确定性表现。
  • 多实例 GPU (MIG):NVIDIA Blackwell GPU 可划分为完全隔离的实例,确保安全关键型、实时工作负载即使与低优先级任务并行运行,也能获得严格的性能保障。
  • 可编程加速器:专为视觉 (PVA)、光流、硬件编解码器及实时推理打造的专用引擎可有效降低延迟,并分担 CPU 与 GPU 的负载,从而为大规模深度学习及复杂的生成式 AI 流水线预留更多算力余量。
  • GPU Direct RDMA:借助 GPU Direct RDMA 技术,传感器输入数据可直接传入 GPU 内部,实现极低延迟的传感器数据处理。

坚固设计,专为工业实景打造

工业应用——从精密制造到医疗机器人——要求平台能够在极端条件下可靠运行,以应对剧烈振动、电气噪声、温度骤变、ECC 等挑战。同时,平台还需能轻松集成至工业网络。IGX Thor 平台正是为满足这些需求而精心设计。

  • 工业级组件:IGX Thor 的各个部件,从内存到电源模块,均经过高可靠性筛选,支持宽温工作环境,符合抗冲击与抗振动标准,并完整支持 ECC 纠错机制。
  • 加固型机箱:配备坚固的工业防护外壳,IGX Thor 可部署于工厂、仓储中心、野外作业车辆或任何传统电子设备无法稳定运行的场所。
  • 长生命周期与全球支持:IGX 平台提供长达 10 年的技术支持周期,为受监管行业提供卓越的可靠性与供应链保障。
  • 广泛的 I/O:IGX Thor 提供丰富的工业 I/O——包括多个 PCIe Gen5、SFP+、CAN 及高速数字接口——从而简化了与传统 PLC、传感器、机器人、控制网络等设备的集成。

功能安全与主动式 AI 安全

IGX Thor 将高性能 AI 与功能安全集成于单一平台,实现由内而外与由外而内的机器人安全。机器人可依赖板载传感器,或借助具备外部视角的基础设施传感器做出安全决策。

IGX Thor 符合 ISO 26262 与 IEC 61508 标准,目标等级为 ASIL D/SC3 与 ASIL/SIL 2。它集成了多种安全功能,包括:

  • 硬件故障检测
  • 安全状态监控
  • 系统内测试
  • 正文:DRAM ECC
  • 免受干扰 (FFI)
  • 专用功能安全岛 (FSI),一种独立且冗余的安全处理器,用于监控和处理安全关键型工作负载,在安全域与非安全域之间实现真正的硬件隔离

NVIDIA Halos AI Systems Inspection Lab(经 ANAB 认证)通过公正的评估,帮助确保 NVIDIA IGX 客户满足严格的安全与网络安全标准。IGX 客户将收到检验报告和检验证书,供技术服务或认证机构用于最终认证。更多详情请参阅 IGX Thor Safety Product Brief。

企业级工业平台

NVIDIA AI Enterprise – IGX 是一款面向边缘 AI 的软件解决方案,使 IGX Thor 成为具备可预期长期支持的企业级生产就绪平台。NVIDIA 承诺为 IGX 提供长达 10 年的生命周期支持,涵盖硬件供应、安全更新及全栈维护。这意味着工业、医疗和机器人部署在其整个服务周期内均可持续获得补丁与支持。

此外,NVIDIA AI Enterprise 提供长期支持 (LTS) 分支,包含经版本锁定的 AI 框架和 SDK,并提供为期 10 年的维护——同时配套 Business Standard 和 Business Critical 等企业级 SLA 支持。这确保了 API 的稳定性、定期的安全修复,以及在需要时可全天候(每周 7 天、每天 24 小时)获取 NVIDIA 专家支持。如需了解更多信息,请参阅 NVIDIA AI Enterprise – IGX Licensing Guide。

从 NVIDIA Jetson Thor 无缝过渡

从 NVIDIA Jetson Thor 到 NVIDIA IGX Thor 的过渡是无缝的。Jetson T5000 与 IGX T5000 在引脚、外形规格和功能上完全兼容,因此同一载板设计可同时适用于这两个平台。软件栈也保持对齐——内核、用户空间和 AI 库采用相同版本——从而在 Jetson 与 IGX 之间提供一致的体验。

对于有更深层次定制需求的团队,NVIDIA 推出了基于 IGX 的 JetPack,将 JetPack 的灵活性与 IGX 硬件的工业级坚固性相结合。欲了解更多信息,请参阅《NVIDIA IGX 用户指南》。

开始使用 NVIDIA IGX Thor

自动化领域的领军企业、医学影像领域的先驱以及大型制造商已开始采用 NVIDIA IGX Thor。领先的 ODM 与传感器合作伙伴可提供可直接量产的系统与服务,助力缩短产品上市时间(TTM)。

人工智能正在重塑工业自动化、医疗健康、能源和智能基础设施领域——提升生产力、增强安全性并降低成本。但在这些环境中部署 AI 提出了更高要求:硬件必须能在严苛条件下稳定运行,数据必须得到严密保护,且系统必须符合全球最严苛的功能安全标准。

NVIDIA IGX Thor 在各个维度均表现卓越。它有效弥合了现代 AI 的敏捷性与受监管、安全至上的工业环境毫不妥协的要求之间的鸿沟。凭借自芯片层级构建的功能安全架构、对顶尖性能 GPU 的支持,以及已为合规、管理与 AI 演进就绪的软件栈,IGX Thor 是未来十年工业 AI 值得信赖的平台。

IGX Thor 开发套件与 IGX Thor 迷你开发套件现已通过全球分销商开放购买。

开始使用 NVIDIA IGX Thor

欲了解更多信息,请观看 NVIDIA 创始人兼首席执行官 Jensen Huang 在 NVIDIA GTC 2026 大会上的主题演讲,并可按需点播探索相关 GTC 会议内容。

Like

标签

原文标题

NVIDIA IGX Thor Powers Industrial, Medical, and Robotics Edge AI Applications