注意力变体（GQA 与 MLA）

一句话理解

注意力的“省显存改款”——分组共享Key 和 Value、压缩进缓存，长序列推理的显存压力被成倍压下来。

定义

注意力变体是对标准注意力（词条 971）的工程改造，主流两条路：GQA（分组查询注意力）让多个 Query 头共享一组 Key 与 Value 头；MLA（多头潜在注意力）把缓存压缩到低秩隐向量。两者目标一致——让 KV 缓存（974）更小、推理更快，DeepSeek 的 MLA 与 Llama 大杯的 GQA 是代表。

你会在哪遇到它

模型卡与架构说明里的 GQA、MLA 字样；讨论“为什么 DeepSeek 显存效率高”的文章；开源模型选型时的参数对比。

背后的原理

标准多头注意力里每个 Query 头配一套 Key 与 Value，缓存随头数线性膨胀。GQA 把头分组共享，缓存缩到几分之一；MLA 更激进——把 Key 与 Value 联合压缩进小隐向量，用的时候再展开，缓存进一步变小。代价都是一点点表达能力，工程上收益远大于损失。

和相近概念的区别

1 与标准注意力（971）：数学骨架相同，改的是缓存结构与计算分配。 2 与稀疏注意力（1038）：稀疏管“看多少位置”，GQA 与 MLA 管“缓存存多重”，可以叠加。 3 与 KV 缓存（974）：缓存是问题本身，变体是解法之一。

常见误区

1 变体只是省钱没损失——小模型上差异可测，但大模型上收益显著。 2 所有模型同一种变体——不同家族选择不同，部署适配要看架构。 3 与我无关——选推理引擎与做显存规划时，这正是关键参数。