稀疏注意力（Sparse Attention）

一句话理解

别每个字都看全文——只挑重点位置看，长文本处理的“省力读法”，百万 token 上下文的幕后功臣之一。

定义

稀疏注意力（Sparse Attention）指不让每个 token 与全部历史计算注意力，而是按规则或学到的模式只关注部分位置（局部窗口、关键 token、分块检索），以降低长文本的计算与显存开销。

你会在哪遇到它

长上下文模型的技术报告；讨论“百万 token 上下文怎么做到”时；KV 缓存优化（词条 974）的配套技术。

背后的原理

全注意力的两两关系是平方代价，文本翻倍计算翻四倍。稀疏化思路：滑动窗口（就近多看）；全局锚点（标点、段首等关键位置常看）；分块检索（先粗筛相关块再细看）。研究证明某些稀疏模式可近似全注意力效果；工程上与 KV 缓存压缩、位置编码外推（976）组合发力，共同撑起超长上下文。

和相近概念的区别

1 与线性注意力（Mamba 词条 972 相关）：稀疏仍在注意力框架内挑着看，线性注意力是换机制。 2 与 RAG（858）：RAG 是“外部资料挑着看”，稀疏是“上下文内部挑着看”。 3 与 FlashAttention 类优化：那是算得快（不省计算量），稀疏是算得少，正交优化。

常见误区

1 稀疏就理解变浅——设计得当时关键信息不丢，但“该看哪里”是难点。 2 所有模型都默认稀疏——主流多为全注意力，稀疏用于超长上下文场景。 3 用户能直接开关——能力由厂商实现，用户只感知到“长文本更快更便宜”。