标签: 暗知识 - 文档

知识蒸馏中教师-学生网络的KL散度与温度软化

2026-07-31 10:51:12

知识蒸馏中教师学生网络的KL散度与温度软化知识蒸馏的核心，是让一个小模型（学生网络）去模仿一个大模型（教师网络）的“想法”，而不是只模仿最终的答案。关键在于，教师网络输出的是一个概率分布，里面包含了“这个类别像什么”的丰富信息。学生网络要学的，正是这种分布。而实现这种模仿的数学工具，是KL散度（K

知识蒸馏教师学生网络 KL散度

暗知识 共 1 篇文章