AI 网关（AI Gateway）

一句话理解

大模型流量的“总闸门”——鉴权、限流、路由、记账、缓存一处管齐，企业接大模型的基础设施。

定义

AI 网关是位于应用与大模型接口之间的中间层：统一管理各家模型的密钥与调用，提供限流、重试、模型路由（词条 1041）、用量统计、语义缓存与审计日志。多模型混用的团队几乎都会长出这一层。

你会在哪遇到它

企业 AI 平台架构图里“模型接入层”的方框；讨论“接口用量失控”的事故复盘；开源网关项目的介绍页。

背后的原理

核心价值是“换模型不改业务代码”：业务统一打给网关，网关决定转发给哪家。附加能力：失败自动切换备用模型、按团队分摊用量成本、缓存相似问题的答案省钱、记录每次调用以便审计排障。与推理引擎（1082）是上下游——引擎管单机效率，网关管全局调度。

和相近概念的区别

1 与 API（884）：API 是模型方提供的服务入口，网关是企业自己加的调度层。 2 与模型路由（1041）：路由是网关的卖点之一，网关还管鉴权、计费与审计。 3 与批处理 API（982）：批处理是离线省钱通道，网关是在线路由管家。

常见误区

1 小团队也必须上——几个服务直连也够用，流量大了再上不迟。 2 有了网关就稳了——上游全挂它只能切换不能变出服务，备用池要提前备好。 3 它只转发不碰内容——要审计与缓存就得处理请求内容，隐私边界要写清楚。