标签: softmax - 文档

注意力机制中缩放点积除以根号dk的方差稳定化推导

2026-07-28 08:46:39

注意力机制中缩放点积除以根号 dk 的方差稳定化推导注意力机制的核心公式为 AttentionQ, K, V = softmaxQK^T / sqrtdk V。其中除以 sqrtdk 不是一个随意选择，而是一个保持方差稳定的关键操作。本文将从零推导这一缩放因子的必要性，并展示它如何避免梯度消失/爆

注意力机制缩放点积方差稳定

softmax 共 1 篇文章