标签: Transformer - 文档

Transformer 共 2 篇文章

为什么Transformer用多头注意力而非单头：子空间多样性

2026-07-11 02:37:15

为什么Transformer用多头注意力而非单头：子空间多样性要理解多头注意力的优势，首先需要拆解“注意力”的核心功能。它在处理序列数据（如一句话）时，能计算每个元素（如词）与其他所有元素的相关程度。这依赖于三个关键角色：查询、键、值。 1. 理解查询、键与值查询：代表当前正在被分析的词，它发出

Transformer 多头注意力单头注意力

54 0

Transformer位置编码的正弦公式设计原理与相对位置编码

2026-07-10 18:50:25

Transformer位置编码的正弦公式设计原理与相对位置编码 Transformer模型的自注意力机制本身不包含序列顺序信息，就像一堆被打乱的单词。因此，必须在输入中显式地注入位置信息，这一过程称为“位置编码”。本文将解析原始Transformer论文中正弦位置编码的设计，并阐明其如何优雅地处理相

Transformer 位置编码正弦公式

53 0