注意力机制（Attention）

一句话理解

大模型读课文的方式——读每个字时都会回头看全句相关的字，重点的部分多看两眼，这就是注意力。

定义

注意力机制（Attention）是 Transformer 的核心组件：计算序列中每个位置与其他所有位置的关联权重，再按权重加权汇总信息，让模型处理每个词时都能参考上下文里最重要的部分。自注意力、多头注意力都是它的变体。

你会在哪遇到它

看 AI 新闻必遇到：“多头注意力”“自注意力”是模型介绍的高频词；理解“长文本为什么难”要从它入手；模型技术报告与解读博客的常客。

背后的原理

三步走：每个字生成三个角色——查询（我在找什么）、键（我有什么特征）、值（我的实际内容）；拿自己的查询去匹配所有字的键，算出相关度分数；按分数加权混合所有字的值。一句话：带着问题找相关信息，按重要程度揉合。多头注意力是多组这样的操作并行，各管各的角度，比如语法、语义、指代关系。

和相近概念的区别

1 与 RAG：注意力是模型内部的“找重点”，RAG 是外部知识库的“找资料”，一个在内一个在外。 2 与人类划重点：人一次只能盯几处，注意力一次算所有位置的两两关系，代价是计算量随文本长度平方增长。 3 与记忆：注意力是即时查阅不是长期记忆，超出上下文窗口的内容它完全接触不到。

常见误区

1 注意力等于理解——它只是加权统计机制，“理解”是整个网络协作涌现的效果。 2 注意力能看到一切所以不会忘——窗口之外的内容对它不存在，长对话照样会“忘事”。 3 注意力头越多越好——头数与层数都有收益递减，还要付出算力与显存代价。