宣布成立 AI Gateway 工作组

Kubernetes 社区包括多个特别兴趣小组（SIG）和工作组（WG），促进有兴趣的贡献者围绕重要主题开展讨论。今天，我们很高兴宣布成立 AI Gateway 工作组，这是一项新举措，重点是为支持 Kubernetes 环境中 AI 工作负载的网络基础设施制定标准和最佳实践。

什么是 AI Gateway？

在 Kubernetes 语境中，AI Gateway 指网络网关基础设施（包括代理服务器、负载均衡器等），通常实现 Gateway API 规范，并为 AI 工作负载提供增强能力。AI Gateway 并不是定义一个独立的产品类别，而是描述旨在对 AI 流量执行策略的基础设施，包括：

• 针对 AI API 的基于 token 的速率限制。
• 针对推理 API 的细粒度访问控制。
• 通过载荷检查实现智能路由、缓存和防护栏。
• 支持 AI 特定协议和路由模式。

工作组章程与使命

AI Gateway 工作组依据明确的章程运行，其使命是为 Kubernetes 特别兴趣小组（SIG）及其子项目制定提案。其主要目标包括：

• 标准制定：为 Kubernetes 中的 AI 工作负载网络创建声明式 API、标准和指南。
• 社区协作：促进围绕 AI 基础设施最佳实践的讨论并形成共识。
• 可扩展架构：确保 AI 特定网关扩展具备可组合性、可插拔性和有序处理能力。
• 基于标准的方法：建立在成熟网络基础之上，在经过验证的标准之上叠加 AI 特定能力。

活跃提案

WG AI Gateway 目前有多个活跃提案，旨在解决 AI 工作负载网络中的关键挑战：

载荷处理提案关注 AI 工作负载检查和转换完整 HTTP 请求与响应载荷的关键需求。这使以下能力成为可能：

AI 推理安全

• 防范恶意提示词和提示词注入攻击。
• 对 AI 响应进行内容过滤。
• 对 AI 流量进行基于签名的检测和异常检测。

AI 推理优化

• 基于请求内容的语义路由。
• 通过智能缓存降低推理成本并提升响应时间。
• 集成 RAG（检索增强生成）系统以增强上下文。

该提案定义了声明式载荷处理器配置、有序处理流水线和可配置失败模式的标准——这些都是生产级 AI 工作负载部署所必需的。

出站网关

现代 AI 应用越来越依赖外部推理服务，无论是用于专用模型、故障切换场景，还是成本优化。出站网关提案旨在定义安全地将流量路由到集群外部的标准。关键功能包括：

外部 AI 服务集成

• 安全访问基于云的 AI 服务（OpenAI、Vertex AI、Bedrock 等）。
• 为第三方 AI API 提供托管身份验证和 token 注入。
• 区域合规与故障切换能力。

高级流量管理

• 面向外部 FQDN 和服务的后端资源定义。
• TLS 策略管理和证书颁发机构控制。
• 面向集中式 AI 基础设施的跨集群路由。

我们正在解决的用户故事

• 平台运营者向外部 AI 服务提供托管访问。
• 开发者需要跨多个云提供商实现推理故障切换。
• 合规工程师对 AI 流量执行区域限制。
• 组织将 AI 工作负载集中到专用集群上。

即将举行的活动

KubeCon + CloudNativeCon Europe 2026，阿姆斯特丹

AI Gateway 工作组成员将在阿姆斯特丹的 KubeCon + CloudNativeCon Europe 上进行分享，讨论 AI 与网络交叉领域的问题，包括工作组的活跃提案，以及 AI Gateway 与 Model Context Protocol（MCP）和智能体网络模式的交汇。本场会议将展示 AI Gateway 工作组提案如何支持下一代 AI 部署和通信模式所需的基础设施。会议还将介绍初始设计、早期原型，以及正在形成并影响 WG 路线图的新方向。更多详情请参见我们的会议：

• 我在门口！介绍 Kubernetes 中的 AI Gateway 工作组

参与进来

AI Gateway 工作组代表了 Kubernetes 社区对标准化 AI 工作负载网络的承诺。随着 AI 日益成为现代应用的重要组成部分，我们需要稳健、标准化的基础设施，既能支持推理工作负载的独特需求，又能保持 Kubernetes 用户所期望的安全性、可观测性和可靠性标准。我们的提案目前正在积极开发中，各类网关项目也已开始实现。我们正与 SIG Network 密切合作，推进 Gateway API 增强，并与更广泛的云原生社区协作，确保我们的标准满足真实生产环境需求。

无论你是网关实现者、平台运营者、AI 应用开发者，还是只是对 Kubernetes 与 AI 的交叉领域感兴趣，我们都欢迎你的意见。该工作组遵循开放贡献模式——你可以审阅我们的提案，参加每周会议，或在我们的 GitHub 仓库中发起讨论。了解更多：

• 访问该工作组的总括 GitHub 仓库。
• 阅读该工作组章程。
• 参加每周四美国东部时间下午 2 点的周会。
• 在 Slack（#wg-ai-gateway）上联系该工作组（访问 https://slack.k8s.io/ 获取邀请）。
• 加入 AI Gateway 邮件列表。

Kubernetes 中 AI 基础设施的未来正在今天构建；加入我们，了解你如何贡献并帮助塑造 Kubernetes 中具备 AI 感知能力的网关功能的未来。

• ← 上一篇