做模型部署的朋友应该都遇过这个尴尬：大模型精度漂亮，但推理慢、显存吃紧，线上根本跑不动；换个小模型倒是跑得飞快，可精度一下就掉了好几个点。知识蒸馏就是专门解决这个矛盾的技术——它把大模型当老师，小模型当学生，让老师把自己“怎么想问题”的方式教给学生，而不是只丢给学生一套标准答案。这篇文章我不讲虚的，直接拆解蒸馏的核心机制，给出可复现的训练流程和调参思路，也会把我踩过的坑一并说出来。适合做模型压缩、边缘部署的工程师，也适合刚接触蒸馏想上手跑通一个例子的研究者。

1. 知识蒸馏到底在解决什么问题

1.1 大模型能教不能跑，小模型能跑不够准

先说一个很现实的场景。假设你在一家做智能客服的公司，线上要做一个意图分类模块，候选意图有一百多个。你用一个大模型跑出了92%的准确率，但对方要求接口P99延迟控制在50毫秒以内，大模型单次推理就要200毫秒，这直接宣判了死刑。

换个小模型呢？模型小了，推理快了，但准确率掉到了84%。问题就出在“信息量”上——小模型的容量有限，它只能从有限的训练样本里提炼规律。一个样本给它的只是一个硬标签，比如“这句话属于退款意图”，样本里包含的其他信息，比如“这句话和投诉意图也很接近”“这句话里出现了某些词汇组合的模式”，这些信息全部丢失了。

知识蒸馏干的事情，就是把大模型在这些样本上学到的“软知识”也一并提取出来，教给小模型。大模型在分类时输出的不是单一标签，而是一个概率分布：这句话有0.7的概率是退款，0.2的概率是投诉，0.08的概率是催单。这个分布就是所谓的软标签，它比硬标签携带了更多的信息量。小模型学的是这个分布，相当于老师把解题思路讲透了，而不是只告诉一个对勾。

1.2 一句话理解知识蒸馏：学老师的思路，而不是背老师的答案

很多人第一次接触蒸馏，容易想复杂。其实拿上学来类比就通了。

硬标签教学是什么？老师批卷子，告诉学生“这题选B”，学生背下来了。下次碰到同类题目，如果稍微换个出法，学生就懵了。

蒸馏方式的教学是什么？老师不光告诉学生选B，还说了“这道题A也有点像，但是A的关键词跟题干上下文对不上；C如果题干里出现了XX词，就容易混淆”。学生记住的是判断的依据和这种模糊的边界感，下次遇到类似但没见过的新样本，也能举一反三。

神经网络里的“思路”就存在于logits分布中。同一个输入x，大模型给出100类上的logits，经过softmax之后变成概率分布。这个分布里，除了最大概率那一类，其余类别的概率大小关系、分布形状，都包含着大模型对样本的理解。小模型如果直接学one-hot标签，只能学到“哪个类是对的”；学软标签，才能学到“各类别之间的相似度关系”。这就是蒸馏能提升小模型精度的底层逻辑。

1.3 什么时候该用蒸馏：三类典型场景

不是所有项目都需要蒸馏，我见过有人不管三七二十一拿来就蒸馏，结果发现收益不大，白白耗了算力。什么时候值得做，我总结下来是这三类。

第一类是上面说过的服务性能瓶颈场景。模型要上移动端、边缘设备，或者线上有严格的延迟和显存限制，这类场景蒸馏收益最大，因为小模型的精度天花板被你用大模型的知识强行抬高了。

第二类是数据稀缺或标注噪声高的场景。如果训练数据本身少，或者标注质量参差不齐，让小模型直接从数据里学很容易过拟合或学到噪声。大模型相当于一个先验过滤器，它输出的分布相对平稳，小模型跟着学反而更鲁棒。

第三类是快速迭代新任务的场景。业务上新加了一个意图或者一个分类维度，重新标注数据成本高。你可以先用大模型在少量样本上快速达到不错效果，然后蒸馏到一个已经在线上稳定运行的小模型里，让它在不改变推理开销的情况下多学会一项新能力。

反过来说，如果小模型本身精度已经够用，且训练数据量很大、标注质量很高，那蒸馏带来的增益可能很有限，更要紧的是去调数据增强或者模型结构，不必非走蒸馏这条路。

2. 蒸馏机制拆解：软标签、温度与损失函数

2.1 硬标签与软标签的信息量差别

要理解蒸馏为什么有效，得先定量感受一下软标签和硬标签的信息量差异。

假设一个四分类问题，大模型对某条样本输出的logits是[12.0, 8.0, 3.0, -1.0]。经过softmax后，概率大约是[0.96, 0.03, 0.007, 0.003]。如果把它变成硬标签，就是[1, 0, 0, 0]。

小模型学硬标签时，只知道一件事：“第一类是正确答案”。至于“第二类跟第一类其实有点接近”“第三类完全不相干”，它看不到。而当小模型学软标签[0.96, 0.03, 0.007, 0.003]时，它不光知道正确答案，还知道第二类和第一类有微弱的相似性，这个相似性对于小模型在特征空间里区分相近类别至关重要。

但有一个问题：0.96对0.03这种差距，小模型关注的重点仍然全在第一类上，类别间的细微关系还是不明显。所以蒸馏引入了一个温度参数T，把这个分布“调软”。具体做法是在softmax之前，把logits整体除以T：

[ p_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]

T越大，分布越平缓。刚才那个例子，T=1时分布是[0.96, 0.03, 0.007]；T=4时，分布变成大约[0.56, 0.30, 0.10, 0.04]。第二类的位置从0.03提升到了0.30，小模型终于能明显感知到“第一类和第二类有关系”了。T=1就是普通softmax，T趋于无穷大时分布趋近于均匀分布。

2.2 温度参数T：蒸馏的“旋钮”

温度T是蒸馏里最核心的超参数，没有之一。它决定了学生能看到多少老师脑子里的“模糊地带”。

T太小，软标签接近硬标签，学生学不到类别间的隐含关系，蒸馏退化成普通训练。T太大，分布太均匀，所有类别概率都差不多，等于给老师的话加了一层厚厚的马赛克，连基本的分类信息都模糊了，学生反而学不到东西。

我自己的经验范围是：分类类别数在10个以内，T取3到5比较合适；类别数到几十上百，T要往8到12甚至更高调，因为类别多了以后，logits之间的相对差异被摊薄了，需要更大的T才能把非正确答案的分布关系“摊开”给学生看。

还有一个细节容易被忽略：推理时学生的T必须设回1，也就是普通softmax。我在项目初期就犯过这个错，训练时用了T=5，部署时忘了改分母，出来的概率分布全都软绵绵的，F1掉了一大截。训练和推理的softmax参数要分开写，这个一定要在代码里隔离开。

2.3 蒸馏损失怎么算：CE加KL散度

一遍遍捋清楚蒸馏的损失函数，这是所有代码实现的基础。蒸馏的总损失由两部分组成：

• 硬损失：学生logits和真实标签之间算交叉熵，这个保证学生能学到正确的分类边界。
• 蒸馏损失：学生logits除以T后做softmax，和老师的软标签之间算KL散度，这个保证学生的输出分布向老师对齐。

写成公式：

[ L = \alpha \cdot T^2 \cdot KL(softmax(z_t / T), softmax(z_s / T)) + (1 - \alpha) \cdot CE(y, z_s) ]

注意，KL散度的方向是“老师的分布”作为目标，学生的分布去拟合它。代码里一般写作：

[ KL(softmax(z_t / T) | softmax(z_s / T)) ]

也就是teacher那一项不取log，student那一项取log后再teacher相乘。我直接给出最常用的PyTorch实现：

import torch import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, labels, T=4.0, alpha=0.7): # 硬损失：学生的输出对真实标签 hard_loss = F.cross_entropy(student_logits, labels) # 软损失：KL散度，让学生的软化分布逼近老师的软化分布 teacher_soft = F.softmax(teacher_logits / T, dim=-1) student_log_soft = F.log_softmax(student_logits / T, dim=-1) soft_loss = F.kl_div(student_log_soft, teacher_soft, reduction="batchmean") * T * T # 加权融合 return alpha * soft_loss + (1 - alpha) * hard_loss

这里有个关键点，软损失前面为什么要乘 ( T^2 )？因为logits除以T之后，梯度的量级会随T增大而缩小。Hinton在原始蒸馏论文里专门写了一笔：如果直接用KL散度不乘 ( T^2 )，调大T后软损失的梯度会变小，导致学生学不到东西。乘回 ( T^2 ) 是为了让两者的量级和T无关，这样不同T之间的对比才有意义。

2.4 权重α怎么选：先定T再看α

α控制的是学生往老师的分布方向走多快，同时保留多少真实标签的信息。

如果α=1，学生完全跟着老师学，但老师也有犯错的时候，完全抛弃真实标签会让学生连基本正确性都保证不了。如果α=0，这就是普通训练，学生从老师那里学不到任何东西。实际操作中，α取0.5到0.9之间比较常见。

我有一个具体的建议：先固定T，然后在验证集上扫α。α=0.7作为起点通常不差，如果发现学生学出来的样本分布和老师很像但准确率不行，多半是α偏大，真实标签信息给少了，试着降到0.5；如果发现学生的分布和老师差异很大，说明硬损失压过了一切，软知识没学进去，试着把α提到0.9。

还有另一种做法：动态调整α。训练初期α大一些，让学生快速把老师分布的大致形状学下来；训练后期α降一些，让真实标签把学生往正确的边界上拉一拉。这种schedule在部分任务上确实比固定α更稳，但会多一个调整维度，在没有充足调参预算的场景下，不建议一上来就玩动态。

3. 实操：一次完整的蒸馏流程

3.1 选teacher与定student结构，先想清楚容量差

真正动手做蒸馏时，第一步不是写代码，而是确定老师和学生分别是什么。这里的核心原则说破天就一条：teacher一定要比student强，否则蒸馏没有意义。但teacher也不是越强越好。

teacher的强体现在对目标任务的拟合能力上。如果teacher在某些类别上本身就分不清，学生跟着学只会继承这种混乱。所以一般先看teacher在验证集上的表现，确认它已经收敛、指标达标，再开始蒸馏。

student的结构选择有两个方向。一是直接用同系列的小尺寸模型，比如teacher是某大模型，小模型砍掉几层、把hidden size缩小。这种做法的好处是特征空间比较对齐，蒸馏时更容易收敛。二是完全换一种轻量结构，比如从Transformer蒸馏到BiLSTM或者CNN。这种做法压缩比更大，但训练难度也更大，需要特征蒸馏或者更长的训练时间才能弥补结构差异。

另一个容易忽略的点是student的初始化和优化器。如果student是从零开始训练，蒸馏的收敛速度会比普通训练慢，因为要同时拟合硬标签和老师的分布。我建议可以先让student单独用硬标签跑几个epoch，把loss降到“有基本分类能力”的程度，再叠加蒸馏损失。这样蒸馏阶段损失不会一开始就陷入某个极端，收敛更稳定。

3.2 数据预处理和Teacher Logits的缓存

蒸馏的数据流和普通训练有一个很大的不同：你需要把teacher的输出保存下来。

如果每个step都实时把数据过一遍teacher，训练会非常慢，尤其teacher是大模型时，GPU显存得同时塞下teacher和student，训练速度被teacher的前向推理拖死。所以工业界普遍的做法是将teacher的logits预先计算好，存到磁盘，训练student时直接读取。这也叫离线蒸馏。

具体操作分几步。第一步，用和student完全一致的数据预处理方式，把训练集和验证集过一遍teacher，得到每条样本的logits，保存为.npy或者.h5。第二步，写一个Dataset类，依次读取样本数据、真实标签、teacher logits三样东西。第三步，训练时student输入原始样本，teacher_logits直接从缓存里取。

这里要特别强调预处理一致性。teacher在预训练时可能用了特定的分词方式、特定的图片缩放尺寸，student如果用了不同的预处理，两边看到的内容都不一样，学生的输出分布永远对不齐老师的。所以蒸馏前务必检查两者的输入管线是否一致。我见过一个真实案例，图片分类任务里只用student的预处理，结果teacher的logits是在224尺寸下出来的，student训练时resize到320，学了半天验证集F1纹丝不动，最后发现是预处理不一致导致的。

缓存teacher logits时还有一个省显存的技巧：如果数据量大，可以几条样本拼一个batch一起前向，并且用torch.no_grad()包住，避免存计算图。logits存成float16，能省一半磁盘空间，读取时再转回float32，对精度影响很小。

3.3 训练脚本核心实现

我给出一个完整的离线蒸馏训练主循环，可以直接跑起来作为参考。假设任务是文本分类，teacher logits已经提前存好了。

import torch import torch.nn.functional as F from torch.utils.data import DataLoader, Dataset class DistillDataset(Dataset): def __init__(self, samples, labels, teacher_logits): self.samples = samples self.labels = labels self.teacher_logits = teacher_logits def __len__(self): return len(self.samples) def __getitem__(self, idx): # samples已经经过tokenizer，得到input_ids和attention_mask return { "input_ids": self.samples[idx]["input_ids"], "attention_mask": self.samples[idx]["attention_mask"], "label": self.labels[idx], "teacher_logits": self.teacher_logits[idx], } def train_one_epoch(model, loader, optimizer, T=4.0, alpha=0.7): model.train() total_loss = 0.0 for batch in loader: input_ids = batch["input_ids"].cuda() attention_mask = batch["attention_mask"].cuda() labels = batch["label"].cuda() # teacher_logits是缓存好的，不参与梯度 teacher_logits = batch["teacher_logits"].cuda().float() student_logits = model(input_ids=input_ids, attention_mask=attention_mask).logits hard_loss = F.cross_entropy(student_logits, labels) teacher_soft = F.softmax(teacher_logits / T, dim=-1) student_log_soft = F.log_softmax(student_logits / T, dim=-1) soft_loss = F.kl_div(student_log_soft, teacher_soft, reduction="batchmean") * T * T loss = alpha * soft_loss + (1 - alpha) * hard_loss optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() return total_loss / len(loader)

这段代码的核心逻辑好就好在teacher_logits是提前算好的，训练student时teacher完全不占显存和算力。如果要做在线蒸馏，也就是每个step实时把数据过teacher，那代码里要注意teacher模型必须固定住、不更新梯度，而且全程用torch.no_grad()包住teacher的forward，否则显存直接爆炸。

3.4 关键超参与收敛观察

蒸馏的训练过程里，除了T和α，还要盯住几个容易被带偏的配置。

学习率必须比普通训练小。原因在于蒸馏损失来自teacher的分布，这个目标本身比较平滑，学生的梯度方向相对稳定，学习率如果保持普通训练的数值，很容易在soft label的拟合上振荡。我的经验是可以把普通训练的学习率降为原来的0.5到0.3，然后配合warmup步数加长，让loss稳定下降。

batch size也不要太小。KL散度对分布估计的方差很敏感，batch太小会让teacher分布和student分布的匹配被噪声干扰。至少64起步，有条件到128、256更好。

收敛观察要看两个曲线。一个是总loss，它应该平稳下降；另一个是验证集上的hard accuracy，也就是student直接argmax后的准确率，这个才是线上真正关心的指标。有一种情况很迷惑：总loss在降，但hard accuracy不动。多半是α偏大，学生一味贴着老师的软标签走，边界不清晰。这时候把α往小调一点，或者把T往小调一点，通常能拉回来。

训练轮数上，蒸馏一般要比普通训练多一些epoch才能榨干teacher知识。我常用的是普通训练的1.5到2倍。但这也不是绝对的，如果验证集指标连续几个epoch不再涨，就该早停，不要盲目多跑。

4. 实测踩坑：常见问题与排查

4.1 温度太高，student提前“躺平”

现象是：训练loss降得挺顺利，但验证集准确率就是上不去，最后收敛的结果甚至不如普通训练的student。

原因十有八九是T开太大了。当T很大时，teacher软标签的分布接近均匀，KL散度对分布的差异很不敏感，学生很容易满足于一个“差不多”的分布，根本不需要学习精细的边界。

排查方法也很简单：把T一步步调小。从T=12往回调，每次减半，6、4、3，看验证集指标的变化。我在一个情感分类任务里试过，T=10时怎么调α都卡在88%，换成T=4后一路涨到91%。T就像音量旋钮，拧太响了全是底噪，学生分不清老师哪句话是重点。

4.2 蒸馏损失降了，hard accuracy不涨

还有一种更隐蔽的情况：软损失下降正常，但硬准确率不动。这通常是资源配置失衡。

先排查α。如果α=0.9，学生基本只学teacher的分布了，自己的分类头没有得到足够的真实标签监督，那么尽管soft loss在降，hard accuracy却会被老师分布中的噪声压制。α降到0.5到0.6，通常能看到改善。

再排查student容量。如果student隐藏层维度或头数比teacher小太多，它根本没有能力拟合teacher的分布。这时候不是调超参能解决的，要么把student略微加宽，要么走特征蒸馏路径，在中间层额外加一个对齐损失，辅助student学习与teacher等价的特征表示。

4.3 teacher的logits分布太“尖”怎么办

有些teacher训练得过于自信，对几乎所有正确样本都输出接近1的概率，非正确类别概率几乎为0。这种分布里，软标签和非硬标签的信息量区别不大，蒸馏就像在教学生“全是送分题”。

两个处理方式。一是把T加大，让尖峰被抹平，这会有效但有一定上限，如果teacher的logits差距太大，T加得再大也还是显得不温和。二是对teacher做label smoothing，在计算teacher输出去蒸馏学生时，给概率分布注入一个小均匀项，比如：

teacher_soft = (1 - epsilon) * teacher_soft + epsilon / num_classes

epsilon取0.1到0.2之间，效果是把teacher分布里“几乎为零”的位置撑开一点，学生反而能学到更多类别间的关系。这个方法很多文章里不会写，但我实测在文本分类和图像分类上都有效。

4.4 蒸馏该跑多少epoch，什么时候该早停

蒸馏的epoch数没有一个标准答案，但有一个判断原则：看hard validation accuracy的窗口变化。

我习惯把训练分成两阶段观察。第一阶段大概跑总epoch的一半，关注soft loss是否持续下降，以及hard accuracy是否开始回升。如果这个阶段hard accuracy不仅不涨，还比基线低，先不要急着换超参，可以多跑几个epoch看曲线趋势，因为student需要先学会“老师说话的语调”，然后才是把正确类别稳住。第二阶段从后一半开始，重点盯hard accuracy的波动，连续4个epoch不创新高就触发早停。

另外一个实战技巧：在训练的后段，可以手动把T从大往小切。比如前30个epoch用T=6，后20个epoch用T=3，这样先捕捉全局分布，再逐步锐化。我在两个项目里试过，比固定T平均能再提0.5到1个点。这个做法不需要额外复杂逻辑，就是训练代码里按epoch切换T值。

5. 写在最后：一点个人经验

我前前后后做过几个蒸馏项目，最深的体会是：蒸馏不是万能药，它解决的是“容量受限但知识不足”的问题，而不是“数据不足”或者“模型结构不好”的问题。如果你手头的小模型本身在自己的容量范围内已经训练得很充分了，那蒸馏的提升会非常有限，这时候更应该去优化数据质量或者模型结构，而不是硬套蒸馏。

还有一点想多说一句。早年间我一度以为蒸馏就是拿个大模型跑一下输出、算个KL散度就完事了，后来才明白，真正决定蒸馏上限的是你对teacher输出的理解深度——你的T有没有把该暴露的信息暴露出来，你的α有没有在学生的“模仿”和“真实目标”之间找到平衡。很多东西不亲手调一遍，是永远体会不到那种分寸的。

如果你也想试，我建议从一个小任务开始，比如一个10分类的文本分类，用一个已经训练好的大模型做teacher，拿一个小Transformer做student，先复现一遍本文的流程，再尝试改T和α观察变化。跑通一次之后，你就会发现蒸馏这个工具会变得非常顺手，后面再遇到线上性能瓶颈和精度要求打架的场面，就能多一张好牌可以打了。