知识蒸馏（Distillation）

一句话理解

大模型教小模型的师徒制——拿大模型的输出当小模型的教材，学生学到八成功力，体积和成本却小得多。

定义

知识蒸馏（Knowledge Distillation）是模型压缩技术：用大模型（教师）生成的大量输出去训练小模型（学生），让学生用远小于教师的参数量逼近教师的表现。DeepSeek-R1 发布时公开了把推理能力蒸馏给多个小模型的做法，让这个词彻底出圈。

你会在哪遇到它

手机上能跑的 AI 有不少是蒸馏的产物；企业想低成本部署自己领域的模型，常用“大模型生成数据、训小模型上线”的路子；下载开源模型时，名字里带 distill 的就是蒸馏版。

背后的原理

直接拿原始数据教小模型，很多细节它学不会；用大模型的输出当教材，等于把大模型“消化过的知识”喂给学生——答案分布里已经浓缩了教师的判断模式，学生照着学，用小得多的参数达到接近的效果。

和相近概念的区别

1 与量化：蒸馏换一颗更小的脑子，量化是把脑子压缩存储，路线不同、可以叠加使用。 2 与微调：微调是让模型学一个新领域，蒸馏是把已有能力从大模型搬进小模型。 3 与端侧模型：端侧模型通常是蒸馏加量化的双重产物。

常见误区

1 蒸馏后学生就等于老师——只是逼近，复杂任务仍有明显差距。 2 蒸馏是免费的——需要教师模型大量推理来生成教材，成本不小。 3 拿别家模型输出训练没有风险——部分服务条款明确禁止，商用前要看清协议，这是真实的合规争议点。