标签: 单头注意力 - 文档

为什么Transformer用多头注意力而非单头：子空间多样性

2026-07-11 02:37:15

为什么Transformer用多头注意力而非单头：子空间多样性要理解多头注意力的优势，首先需要拆解“注意力”的核心功能。它在处理序列数据（如一句话）时，能计算每个元素（如词）与其他所有元素的相关程度。这依赖于三个关键角色：查询、键、值。 1. 理解查询、键与值查询：代表当前正在被分析的词，它发出

Transformer 多头注意力单头注意力

单头注意力 共 1 篇文章