标签: 推导 - 文档

推导共 2 篇文章

注意力机制中缩放点积除以根号dk的方差稳定化推导

2026-07-28 08:46:39

注意力机制中缩放点积除以根号 dk 的方差稳定化推导注意力机制的核心公式为 AttentionQ, K, V = softmaxQK^T / sqrtdk V。其中除以 sqrtdk 不是一个随意选择，而是一个保持方差稳定的关键操作。本文将从零推导这一缩放因子的必要性，并展示它如何避免梯度消失/爆

注意力机制缩放点积方差稳定

27 0

特殊角30°45°60°的三角函数值推导及记忆口诀

2026-07-25 22:47:59

特殊角30°45°60°的三角函数值推导及记忆口诀特殊角的三角函数值是解决三角形计算、波动分析及日常测量中的基础工具。手动推导这些值能彻底理解其来源，而记忆口诀则让你在考场或实际应用中快速调用。第一阶段：从几何图形推导数值所有特殊角三角函数值都能从两个基本直角三角形中推导出来：含30°和60°

三角函数特殊角推导

48 0

推导 共 2 篇文章