1. 从“大模型太贵”说起：为什么小模型需要“拜师学艺”
这两年做大模型应用落地的人，大概都绕不开一个尴尬：模型效果越好的，推理成本越让人肉疼。一个几十B甚至上百B的大模型，在GPU上跑一次推理，显存占用和延迟都相当可观。真要放到线上环境支撑高并发业务，要么砸钱买卡，要么把模型量化压缩，但这两条路都有代价。
我见过不少团队的做法是：先用大模型把效果跑通，验证业务可行性，然后转头去蒸馏一个小模型来上线。蒸馏这个词听着玄乎，本质其实很朴素——大模型已经“学会”了从输入到输出的复杂映射，那能不能把这些学到的知识，迁移到一个结构更小、推理更快的学生模型里？
答案就是标题里说的知识蒸馏，英文是Knowledge Distillation。它解决的问题非常明确：让小模型在参数量小得多的前提下，把精度尽量逼近大模型。
我第一次接触蒸馏时是在某公司做图像分类项目，当时一个百层的ResNet大模型在GPU服务器上推理一张图要几十毫秒，放到移动端根本跑不动。团队把大模型输出的概率分布拿出来，当成“软标签”去训练一个小型卷积网络，最终压缩了将近20倍的参数量，准确率只掉了不到2个点。那次经历让我彻底服了这个思路。
这篇文章不打算堆公式，而是从一个工程落地者的视角，把蒸馏的核心设计、实操步骤、参数调优和踩坑经历讲清楚。适合正在做模型压缩、移动端部署、边缘计算推理的开发者，也适合刚入门深度学习、想理解“模型驯化模型”这个概念的同学。
2. 知识蒸馏的内核：到底“蒸馏”了什么
2.1 硬标签和软标签的本质差异
要理解蒸馏，先从监督学习的经典设定说起。
常规训练里，一张猫的图片，它的标签是“猫”，在one-hot向量里就是[0, 1, 0]，其中1对应猫这个类别。模型训练时，交叉熵损失会逼着模型输出的分布尽量往这个硬标签上靠。这个过程没问题，但它丢掉了一个信息：类别之间的相似关系。
举例来说，一张猫的照片，硬标签只告诉你它是猫。但大模型还知道，这张猫的图片在“老虎”这个类别上也有一定的置信度（因为外形相近），在“狗”上的置信度很低，在“汽车”上几乎为零。这些“非正确答案”上的概率，其实就是大模型在告诉你：猫和老虎在特征空间里的距离更近。这个信息对训练小模型非常有用。
这就是软标签的威力。它不是0和1这么简单，而是一个概率分布，比如[0.7, 0.2, 0.05, 0.03, 0.02]，对应猫、老虎、狮子、狗、其他。这个分布里藏着大模型从大量数据里学到的结构知识。
2.2 蒸馏温度：控制知识“软硬”的旋钮
直接把大模型的输出的概率分布拿来当标签，会遇到一个工程问题：如果大模型对正确答案非常有信心，输出可能像[0.98, 0.01, 0.005...]这种，已经跟硬标签差不多了，“相似度”的信息又被掩盖了。
于是蒸馏引入了一个关键参数——温度T。简单说，就是在softmax之前先把logits除以T，把原本尖锐的概率分布变得平缓：
softmax(logits / T)- T=1时，跟普通softmax一样。
- T越大，概率分布越平滑，小概率类别的差异就会被放大，更多“暗知识”暴露出来。
- T太小，分布趋近硬标签，丢失信息。
实操里T一般取3到10之间。我习惯从T=4开始调，观察学生模型在验证集上的表现，再决定增大还是减小。温度太高会把噪声也放大，太低又学不到东西。这属于蒸馏里最需要手感的地方。
2.3 大模型真正的“知识”不止在输出层
早期的蒸馏方法确实只关注输出层的分布匹配，但后来大家发现，大模型的“知识”远不止最后那个概率分布。
中间层的特征图也能作为“知识”。举例：图像分类里，教师模型的第二、第三层卷积特征图，可能已经学到了边缘、纹理、形状的层次化表示。如果学生模型能在中间层就模仿教师模型的这些特征，而不是只在最后输出上逼近，训练会稳定很多。
这就引出了特征蒸馏。最经典的实现是FitNets：在教师模型和学生模型的某些中间层之间，加一个匹配损失，强迫两者的特征图尽量接近。因为学生模型的通道数通常比教师少很多，一般需要加一个1x1卷积做通道对齐。
还有思路更彻底的关系蒸馏。它不要求特征图直接对齐，而是计算样本之间的关联结构。比如，同一个batch里样本A和样本B在教师模型的表征空间中距离很近，那么学生模型的表征空间里也应该如此。这个方法的好处是减少了对中间层尺寸匹配的要求，在教师模型结构跟学生模型差距很大时特别好用。
3. 方案选型：不是所有“蒸馏”都叫蒸馏
3.1 从任务类型出发分清“软标签蒸馏”“特征蒸馏”“自蒸馏”
很多朋友第一次做蒸馏，上来就问“用哪个开源库”。其实先想清楚自己做的是哪种蒸馏，比选工具重要得多。
- 软标签蒸馏（也叫Logit蒸馏）：核心是让教师模型的输出概率分布指导学生模型。优点是实现简单，不要求教师和学生模型结构相似，只要输入输出维度一致就行。适合文本分类、图像分类这类任务。
- 特征蒸馏：对齐中间层的特征图，适合教师模型和学生模型结构相近的场景。如果两者结构差异太大，强行对齐特征反而可能起反作用。因为教师模型学到了特定结构的表示，让完全不同的学生模型硬去模仿，学生结构可能表达不了那种特征空间。
- 自蒸馏：同一个模型自己教自己，通常是把大模型或者深层的分支当作教师。这个思路在模型结构本身没有太大变化时很有用。
3.2 教师模型怎么选：不是越大越好
教师模型的精度会直接影响学生的天花板，但选择教师模型不是“看着精度高就行”。
如果教师模型本身对某类样本的预测就是错的，它的软标签会带着错误倾向去教学生。这就相当于一个老师自己把题做错了，然后学生越学越偏。所以选教师模型时，除了看在标准测试集上的整体精度，还要看它在不同类别上的表现。最好是选择一个精度高、错误分布也比较均匀的模型。
另外还要考虑部署成本。如果你本身就有一个大模型在线上跑着，直接拿线上那个当教师最省事。蒸馏过程只是训练时用到教师，不增加推理成本，所以教师模型可以选得比实际部署模型更大。
3.3 学生模型怎么设计：结构相似比参数相似重要
学生模型的选择有两条常见路线：
- 直接用一个结构相同但层数更少、通道数更窄的模型，比如教师是ResNet-50，学生用ResNet-18。
- 换一种完全不同的轻量化结构，比如教师是Transformer，学生用MobileNet或轻量CNN。
前者实现方便，特征蒸馏特别好用。后者更考验技术，因为结构差异大时特征对齐困难，一般用软标签蒸馏或者关系蒸馏为主。
我建议新手优先走第一条路线，等流程跑通了再尝试结构差异大的方案。
4. 实操实录：一个图像分类任务的完整蒸馏过程
4.1 环境准备与数据集说明
为了说明具体流程，我用一个贴近实际工业界的案例：图片分类任务，数据规模中等，约5万张图片，共100个类别。
教师模型选用在ImageNet上预训练过的ResNet-50，学生模型用MobileNetV3（参数量大约只有教师的十分之一）。框架用PyTorch，版本2.0以上都行。
蒸馏不是从零训练学生模型。强烈建议学生模型也用预训练权重初始化，哪怕是在ImageNet上预训练过、再在自己数据集上微调一轮也好。我见过有人完全随机初始化去蒸馏，收敛速度奇慢，效果也差。原因也不难理解：学生模型虽然小，但该学的底层特征还是要学的，大模型给的知识是“高分点拨”，不是“从aoe开始教认字”。
4.2 两个loss的比例怎么定：蒸馏损失与硬标签损失的配合
蒸馏总损失一般写成这样：
total_loss = alpha * hard_loss（跟硬标签的交叉熵） + (1 - alpha) * distillation_loss（跟教师软标签的KL散度）关键点是alpha参数调节两者比例。
alpha太大，学生模型只顾着模仿大模型，可能会忽略真实标签中正确的、大模型错误的信息；alpha太小，蒸馏又起不到作用。我的经验是：初期把alpha设在0.3到0.5之间，让蒸馏loss占主导，然后在训练中期慢慢调高硬标签的比例，到训练后期两种loss均衡。
如果你希望学生模型最终在下游指标上有更好的表现，硬标签部分其实可以适当加大权重。毕竟教师模型也只是辅助者，真实标签才是最终权威。
4.3 关键代码实现示例
下面是核心的蒸馏训练循环，我尽量去掉无关细节，保留最关键的逻辑。
import torch import torch.nn as nn import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, temperature): # 先用温度软化两者的logits student_soft = F.log_softmax(student_logits / temperature, dim=1) teacher_soft = F.softmax(teacher_logits / temperature, dim=1) # KL散度衡量两个分布的距离 kl_loss = F.kl_div(student_soft, teacher_soft, reduction='batchmean') # 温度平方是为了让loss的梯度尺度恢复到跟温度T=1时一致 return kl_loss * (temperature ** 2) def training_step(teacher_model, student_model, images, labels, optimizer, T=4, alpha=0.3): optimizer.zero_grad() # 教师模型不更新梯度 with torch.no_grad(): teacher_logits = teacher_model(images) student_logits = student_model(images) hard_loss = F.cross_entropy(student_logits, labels) soft_loss = distillation_loss(student_logits, teacher_logits, T) total_loss = alpha * hard_loss + (1 - alpha) * soft_loss total_loss.backward() optimizer.step() return total_loss.item()需要注意这个temperature ** 2的处理。KL散度的梯度在温度T下会被缩小大约T倍，为了抵消这种影响，乘以T的平方是在实践中被验证过有效的做法。虽然具体推导有一堆细节，但作为工程实现记住这一点就够了。
4.4 温度T与alpha的调参实战记录
我举一个实际调参例子。同一个数据集上，初始设T=4，alpha=0.3，训练30个epoch。结果学生模型在验证集上是89.2%的准确率。
然后把T调到8，其他不动，验证准确率反而降到了88.1%。原因大概是大模型的logits分布里噪音太多了，温度太高把一些不该学的错误关联也放大了。
接着把T调回4，alpha调到0.5，其他不变，准确率到了90.3%。这里有趣的是，alpha升高反而效果好。我后来分析，因为教师模型在该数据集上的表现本身也不是完美，硬标签反而提供了更可靠的纠正信号。
所以调参没有什么灵丹妙药，必须针对你的数据和教师模型的表现具体调整。记录每次实验的温度、alpha和验证指标，是蒸馏工程里最值得养成的习惯。
4.5 保存与部署学生模型
蒸馏完成后，学生模型按普通模型导出就行。实际操作中，我用ONNX导出后，再用对应的推理引擎做量化，在移动端的推理时间从原来的200毫秒级降到了30毫秒级，模型文件也小了一个量级。
部署时有一个容易踩的坑：训练时蒸馏用的是温度软化后的输出，但部署时务必直接用原始logits。这些细节在代码里一旦搞混，线上效果可能莫名变差。
5. 实战排雷：蒸馏中常见的坑与排查思路
5.1 学生模型学不动：loss降了但精度不涨
这个现象很常见：蒸馏loss一直在降，验证集上学生模型的准确率却纹丝不动。
排查思路先从数据入手。检查教师模型的输出是否过于尖锐，如果是，就调高温度T。其次检查alpha是否设置合理。如果alpha太大，学生模型容易陷入“跟着教师模型走但不知道真实答案”的困境。最后检查学习率，蒸馏时学生模型因为“额外”多了一个教师的知识来源，loss曲面跟普通训练不一样，学习率通常可以比普通训练稍低一些。
5.2 教师模型表现很好，学生模型却反而不如单独训练
我踩过这个坑。某项目里教师模型在验证集上95%准确率，蒸馏出来的学生只有91%，而直接训练的学生模型却有92.5%。
后来复盘发现，教师模型在输出分布中，把几个相似但容易混淆的类别都分配了中等置信度。学生模型为了“模仿”教师，在这些易混淆类别上学得太用力，反而丢失了自己从硬标签里学到的东西。
解决办法是把alpha调大到0.5以上，同时降低蒸馏loss的权重。另外推高温度会让跨类别的趋同现象更强，不利于这种情况。
5.3 特征蒸馏的loss爆掉怎么办
如果你做特征蒸馏，经常遇到中间层loss值很大、训练震荡的情况。一般原因是教师模型的特征图的数值范围跟学生模型差异太大。教师模型的特征值可能集中在0到10之间，学生模型的却集中在-5到5之间，直接算L2距离自然是灾难。
解决方式有三种：
- 先对特征图做标准化（比如LayerNorm）再算loss。
- 用cosine相似度代替L2距离。
- 给中间层匹配加一个可学习的线性变换，比如1x1卷积+BN。
5.4 多任务场景下蒸馏失效
我曾经在一个多任务模型上做蒸馏：一个网络同时输出分类和回归结果。简单软标签蒸馏只匹配分类头的输出，回归头的知识完全没传导，学生模型回归精度明显落后。
这种情况下，应该对每个任务头分别做蒸馏。分类头用KL散度，回归头可以用L1或L2损失约束学生输出的数值分布。多个损失之间按任务重要性加权求和，效果才会正常。
6. 效率优化：蒸馏训练过程中的省心技巧
6.1 教师模型推理的缓存机制
蒸馏训练时，每轮迭代都要跑一遍教师模型前向，开销不小。但教师模型的权重在训练过程中是不变的，因此它的预测输出也不会变（除非用了数据增强导致输入变化）。如果你的数据增强比较固定，完全可以在训练之前先跑一遍所有训练数据，把教师模型的软标签缓存下来。
我当时做分类蒸馏时，5万张图片的教师模型输出，预先跑一遍，存成数组或npy文件。训练时直接从内存读取，训练速度能提升20%到30%。不过要注意：如果用了随机增强，缓存的时候输入跟训练时不完全一致，软标签会有一定的统计误差。我在大部分场景下实测，这点误差对最终精度影响很小，可以接受。
6.2 动态温度退火
训练过程中温度T固定不变，往往不是一个最优解。训练初期，学生模型能力弱，较为平滑的分布能给它更多信息；训练后期，学生模型已经有一定能力，需要更精准的监督信号，此时可以逐步降低温度，让分布更接近硬标签。
这种做法的效果并不是革命性的，但在某些数据集上能带来1个点左右的提升。我常用的一种策略是从T=8开始，每5个epoch降一点，最后降到T=2。
6.3 蒸馏和量化、剪枝搭配使用
蒸馏不是独立的终点，它经常跟其他压缩手段配合。
我做过一个有三步的压缩流程：先蒸馏（大模型教小模型），再量化（fp32到int8），最后再用少量数据做校准。每一步都在往前推效果上限。单独蒸馏可能只换来精度略降，但蒸馏+量化的组合往往比“直接训练+量化”的精度要高出3到5个点。
原因也容易理解：直接训练的小模型对噪声的鲁棒性弱，量化后再损失一截精度。而蒸馏出来的模型在训练时就从大模型的软标签里学到了更平滑的决策边界，所以对量化更耐受。
7. 蒸馏的边界：什么时候别硬上蒸馏
讲了很多蒸馏的好处，但我也见过不少强行蒸馏导致效果反而更差的案例。这里说几个判断边界。
如果你的小模型本身已经足够胜任任务，且参数量跟大模型差距不大，蒸馏的提升非常有限。只有当学生模型远小于教师模型时，知识迁移的价值才最大化。
如果你的任务标注数据非常充足，小模型从零开始训练就能达到不错的效果，而大模型只是稍微好一点，那么蒸馏带来的收益就不明显。反而是在标注数据稀缺、大模型能从无监督或预训练中获得显著先验知识的场景，蒸馏的价值会体现得很充分。
另外还有一点：蒸馏对数据分布的变化比较敏感。如果线上数据分布跟训练时漂移明显，蒸馏出来的模型的变现往往比直接训练的更僵硬。因为它在模仿教师模型时固化了不少“教师视角”的习惯。遇到这种场景，需要定期用新数据重新蒸馏。
8. 写在最后的一点经验
知识蒸馏这套东西，说起来不复杂，真正做好的细节非常多。我个人的体会是，它不是简单的“拿大模型输出当标签训练小模型”就完事了，而是要在“教师知识表达”“学生模型容量”“训练策略”这三者之间找到平衡点。
踩过几次坑之后，我现在做蒸馏项目会严格按这几个流程走：先用教师模型在验证集上充分评估，确定什么能教；再设计学生模型，设定温度T和alpha的初始值并做好实验记录；训练过程中重点关注验证集精度的变化曲线，而不是只盯蒸馏loss；最后充分评估量化部署和线上环境的差异。
如果你刚开始接触蒸馏，建议不要一上来就做特征蒸馏或者关系蒸馏那些高级玩法。先把软标签蒸馏跑通，体会温度和alpha带来的变化，再去尝试更复杂的方法。基础不牢，后面那些花哨方案只会带来更多调试成本。
最后分享一个小技巧：蒸馏训练结束后，别忘了检查教师模型的错误样本。如果某几类样本连教师模型都分不清，那是任务本身难，不是蒸馏方法的锅。这个检查能帮你少走很多弯路，判断问题到底出在知识迁移层面还是数据本身。
