标签: KL散度 - 文档

KL散度共 2 篇文章

知识蒸馏中教师-学生网络的KL散度与温度软化

2026-07-31 10:51:12

知识蒸馏中教师学生网络的KL散度与温度软化知识蒸馏的核心，是让一个小模型（学生网络）去模仿一个大模型（教师网络）的“想法”，而不是只模仿最终的答案。关键在于，教师网络输出的是一个概率分布，里面包含了“这个类别像什么”的丰富信息。学生网络要学的，正是这种分布。而实现这种模仿的数学工具，是KL散度（K

知识蒸馏教师学生网络 KL散度

75 0

KL散度的非对称性与Jensen-Shannon散度的对称化处理

2026-06-30 10:45:22

KL散度的非对称性与JensenShannon散度的对称化处理 KL散度，全称为KullbackLeibler散度，是衡量两个概率分布差异的核心指标。它有一个关键特性：非对称性。这意味着，用分布 P 去近似分布 Q 的KL散度，与用 Q 去近似 P 的KL散度，结果不相等。这个特性在许多实际场景中（

KL散度 Jensen-Shannon散度概率分布

44 0

KL散度 共 2 篇文章

KL散度共 2 篇文章