标签: 注意力机制 - 文档

注意力机制共 2 篇文章

注意力机制中缩放点积除以根号dk的方差稳定化推导

2026-07-28 08:46:39

注意力机制中缩放点积除以根号 dk 的方差稳定化推导注意力机制的核心公式为 AttentionQ, K, V = softmaxQK^T / sqrtdk V。其中除以 sqrtdk 不是一个随意选择，而是一个保持方差稳定的关键操作。本文将从零推导这一缩放因子的必要性，并展示它如何避免梯度消失/爆

注意力机制缩放点积方差稳定

27 0

为什么Transformer用多头注意力而非单头：子空间多样性

2026-07-11 02:37:15

为什么Transformer用多头注意力而非单头：子空间多样性要理解多头注意力的优势，首先需要拆解“注意力”的核心功能。它在处理序列数据（如一句话）时，能计算每个元素（如词）与其他所有元素的相关程度。这依赖于三个关键角色：查询、键、值。 1. 理解查询、键与值查询：代表当前正在被分析的词，它发出

Transformer 多头注意力单头注意力

54 0

注意力机制 共 2 篇文章