注意力机制中缩放点积除以根号 dk 的方差稳定化推导 注意力机制的核心公式为 AttentionQ, K, V = softmaxQK^T / sqrtdk V。其中除以 sqrt
为什么Transformer用多头注意力而非单头：子空间多样性 要理解多头注意力的优势，首先需要拆解“注意力”的核心功能。它在处理序列数据（如一句话）时，能计算每个元素（如词）与其
