为什么Transformer用多头注意力而非单头：子空间多样性 要理解多头注意力的优势，首先需要拆解“注意力”的核心功能。它在处理序列数据（如一句话）时，能计算每个元素（如词）与其
Transformer位置编码的正弦公式设计原理与相对位置编码 Transformer模型的自注意力机制本身不包含序列顺序信息，就像一堆被打乱的单词。因此，必须在输入中显式地注入位
