标签: softmax - 文档

注意力机制中缩放点积除以根号 dk 的方差稳定化推导注意力机制的核心公式为 AttentionQ, K, V = softmaxQK^T / sqrtdk V。其中除以 sqrt

# 注意力机制 # 缩放点积 # 方差稳定

标签：softmax