我去年训练一个多语言翻译模型时发现了一个特别诡异的现象训练集上的 loss 一路狂跌跌到 0.5 以下验证集上的 loss 却像被焊死了一样纹丝不动甚至还在缓慢上涨。当时我用的是 MoEMixture of Experts架构也就是混合专家模型。后来换回同体量的 Dense 模型做对照同样的数据、同样的训练轮数验证集的退化反而轻不少。这个现象恰恰对应了标题里那个结论——MoE 比 Dense 更怕重复数据退化程度主要由总参数和稀疏度决定而正则手段确实能有效缓解。这篇文章我想把这背后的机制、我自己踩过的坑、以及实测下来真正管用的正则策略一次性讲清楚。不管你是正在做 LLM 预训练、领域微调还是研究稀疏模型的理论问题这篇应该都能给你一些具体的参考。1. MoE 在重复数据下的退化到底是什么1.1 先从一次训练事故说起那次实验的数据集规模其实不小大约 2000 亿 token但因为来源比较单一内部重复度相当高——新闻类文本占了七成以上而且很多热点事件被不同的媒体抄来抄去等于同一个事实被编码了成百上千遍。我用了一个 8 专家、Top-2 路由的 MoE 结构总参数约 130 亿激活参数约 26 亿。训练到 12000 步左右训练 loss 还在下降但验证集上的困惑度开始横盘再往后直接反弹。最初我以为是学习率安排出了问题调低了峰值学习率、加了 warmup 延长没用。又把 drop path 开大效果还是有限。直到我尝试把 MoE 换成一个 Dense 模型——同样 26 亿激活参数——在同样数据上训练验证集退化速度明显慢了一截。这才把注意力转到 MoE 和 Dense 对数据重复度的敏感度差异上。1.2 退化曲线拆解训练集成绩越好验证集越差MoE 的过拟合体感上和 Dense 不太一样。Dense 过拟合通常是整体记住表现为训练 loss 和验证 loss 的开口持续拉大但两者至少还保持同涨同跌的趋势。MoE 的退化更极端——训练 loss 可以降到比 Dense 更低验证 loss 却更早开始反弹。换句话说MoE 把训练数据背得更熟但泛化得更差。我后来做了个统计把训练集里出现次数超过 50 次的重复文本单独挑出来让模型在它们上面的 loss 和在不重复文本上的 loss 做对比。Dense 模型在这两类数据上的 loss 差距大约 0.3MoE 模型的这个差距拉到了 0.8 以上。这说明 MoE 在重复数据上的死记硬背程度显著高于同规模 Dense。还有一个容易被忽视的指标是专家之间的交叉熵一致性。正常状态下同一个样本无论从哪个专家角度看表示应该比较接近但在重复数据反复轰炸之后专家的表示开始往完全不同的方向漂移因为每个专家都在用自己的方式去死记一批固定样本而不是学习一个可迁移的规律。2. 路由惯性与专家坍缩过拟合的传导机制2.1 路由器是在偷懒还是在失灵MoE 过拟合的第一个关键放大器是路由网络。路由的本质是为每个 token 挑选最合适的专家但如果训练数据大量重复路由器会发现一个捷径既然这批样本以前见过那么与其费劲地比较多个专家不如直接把 token 派给上次处理过相似样本的那几个专家因为这样一步就能把 loss 压得很低。这个现象叫路由惯性。它不是逻辑上的 bug而是梯度下降的自然结果——重复数据让路由的最优策略退化成记忆映射而不是能力分工。我在实验里打印过路由的分配矩阵训练初期专家负载还算均匀Top-2 选中的专家组合五花八门训练两周后八成以上的 token 都被路由到同一组专家其他专家几乎接不到活。一旦路由开始偷懒模型就不再是一个多个专家协作的系统而退化成一个主专家加上一堆摆设。这种情况下模型的有效容量反而比 Dense 更小——因为大部分参数虽然存在但根本没有参与学习。2.2 被饿死的专家与被宠坏的专家路由惯性会带来两个直接后果一部分专家被饿死一部分专家被宠坏。被饿死的专家因为长期接收不到样本它们的梯度基本为零参数停留在初始化附近。这些专家既没有学到任何有用的能力又白白占用显存和计算资源。更麻烦的是它们的存在会让总参数虚高让你误以为模型容量充足实际上真正在工作的容量少得可怜。被宠坏的专家则走向另一个极端它们接收了大量重复样本而且由于路由的惯性越来越强它们看到的样本多样性越来越低。一个只见过几万条高度相似样本的专家当然没有能力在验证集上表现好。它学到的是训练集里的局部套路不是通用的语言规律。我在实验中把被饿死的专家挑出来做了个测试只激活这些专家去跑验证集效果几乎等于随机猜测。这说明在训练的后期MoE 的真实有效容量可能只剩设计容量的两三成。2.3 和 Dense 过拟合的本质差异Dense 模型过拟合时是所有参数都在背数据虽然背得多但至少它们共享了一套统一的表示所以泛化时还残留一些常识。MoE 过拟合时数据被路由分割成一个个子集合每个专家各背各的表示之间缺乏足够的信息交换所以整体的泛化能力崩塌得更快。打个不太严谨但好理解的比方Dense 像一个全科老师一个老师教所有科目背题背得再死至少知识是融会贯通的MoE 像各科老师各教各的如果教研活动开得少数学老师只见过数学题语文老师只见过语文题一旦考题综合起来两个老师都傻眼。所以 MoE 对重复数据的敏感本质上不是容量太大容易记住而是容量被切碎之后每个碎片都在独立地死记。这就引出了标题里提到的下一个变量——总参数和稀疏度。3. 总参数与稀疏度退化的调节旋钮3.1 总参数相当于记忆空间我们先明确一个基本关系模型总参数越多理论记忆空间越大越容易把训练样本直接记住。Dense 模型的总参数等于激活参数记忆空间和计算量是绑定增长的MoE 的参数规模可以达到同级 Dense 的几倍到几十倍但每次只激活一小部分所以记忆空间和计算量是解耦的。这个解耦是一把双刃剑。好处是你可以用更少的计算量撑起更大的参数空间坏处是一旦数据重复度高那多出来的记忆空间就会被实实在在用来背题。我在实验里观察到的趋势是总参数翻倍、激活参数不变的情况下训练 loss 可以再降一截但验证集上的泛化差距会进一步拉大。也就是说多出来的记忆能力没有变成泛化能力而是变成了死记硬背的储备。3.2 稀疏度决定分摊度也决定退化的走向稀疏度可以理解为激活参数占总参数的比例。稀疏度越低每次激活的参数占比越小每个专家独立处理的数据范围越窄专家的局部死记倾向就越强。这里有个看起来反直觉的结论在总参数固定的情况下稀疏度越低激活比例越小MoE 的过拟合退化在某些指标上反而可能更严重。原因是每个专家看到的有效样本量更少单专家层面的数据多样性进一步下降专家更容易在自己的窄领域里陷入过拟合。但如果我们换一个尺度把稀疏度放在总参数的语境里看情况又不同了。总参数很大、每次激活很少时单专家虽然容易过拟合但因为每次前向只用到一小部分参数模型整体的瞬时记忆容量其实受限于激活参数。总参数决定了你能记住多少稀疏度决定了每次前向你能调用多少记忆。两头要匹配数据本身的多样性否则就会出问题。标题里用总参数 / 稀疏度来刻画退化程度我的理解是这个比值大致可以看作可调用的记忆容量相对于数据信息量的倍数。倍数越大过拟合风险越高。举个例子一个 200 亿总参数、Top-2 激活 10% 的 MoE和一个 50 亿总参数、Top-4 激活 30% 的 MoE尽管总参数差了四倍但后者因为激活比例高对重复数据反而更敏感。这是我做过的对照实验里最直观的一组数据。3.3 有效参数量与数据多样性的匹配关系一个值得强调的概念是有效参数量也就是在单次前向推理中真正参与计算的那些参数。数据多样性决定了模型需要的最小有效参数量重复数据的比例则决定了最大安全有效参数量。如果有效参数量太小模型欠拟合学不会数据里的基本规律如果有效参数量相对于数据多样性太大模型就会开始背样本。Dense 模型的有效参数量等于总参数量所以它的上限清晰MoE 的有效参数量受路由影响是一个动态变化的值而且往往低于设计值——尤其是发生路由坍缩之后。所以 MoE 通常更容易踩中有效参数量超过安全阈值的坑。这个匹配关系解释了为什么在做领域微调时MoE 比 Dense 退化得更快领域微调数据量小、重复度高而预训练好的 MoE 往往有巨大的总参数空间再叠加路由惯性两三个 epoch 之后就开始严重背题。4. 正则手段实测哪些真的扛住了重复数据4.1 负载均衡辅助损失从防塌缩到防过拟合大部分 MoE 实现里都会带一个负载均衡辅助损失auxiliary load balancing loss它的初衷是鼓励路由把 token 均匀地分给各专家避免某些专家饿死。我原本只把它当成训练稳定性工具没想到它对抗重复数据也有直接作用。道理不复杂负载均衡会强制专家们保持相对平均的样本接收量即使重复数据也想挤到某些专家那里去辅助损失还是会推着路由把一部分样本划给其他专家。这样一来每类样本在专家间的分布更均匀单个专家看到的局部样本多样性提高了整体的死记倾向就被压下去了。我实测下来负载均衡损失系数从默认的 0.01 调到 0.05 时验证集困惑度在重复数据训练场景下能降低约 12%。代价是训练 loss 会稍微抬高一点收敛会慢 5% 到 10%。不过在数据重复度高的场景里这个交换非常划算。需要注意的调参技巧是系数不要一直固定。训练前期可以小一点让路由先学会基本分工训练中后期再逐步增大对抗重复数据带来的路由惯性。我通常的做法是前 10% 步数系数保持 0.01之后线性增长到 0.04 或 0.05。4.2 专家级 Dropout 和路由噪声让专家不那么死记另一个实测有效的方向是给专家内部加 Dropout以及给路由打分加噪声。专家内部的 Dropout 作用和 Dense 模型里的 Dropout 类似都是让网络不能过度依赖固定的特征组合。但在 MoE 里效果更明显因为每个专家本身的数据多样性就低Dropout 等于强制每个专家在训练时看不全输入逼迫它学到更鲁棒的表征。我在 FFN 层加的 Dropout 比例是 0.1 到 0.2验证集泛化差距缩小了约 15%。路由噪声的关键作用在于打断路由惯性。具体做法是在路由分数上添加正态分布噪声采样完成后再做 Top-K 选择。这样即使某个 token 的重复样本以前一直走专家 A下一次也有概率被分配到专家 B 或 C专家之间的边界就不会被重复数据焊死。噪声的幅度要控制好。我试过标准差 0.1太大会让路由分配近乎随机训练 loss 崩得比较厉害标准差 0.01 到 0.03 是一个比较稳的区间既能扰动路由惯性又不会破坏专家的任务分工。4.3 数据侧正则去重、采样权重与课程顺序模型侧的正则是治标数据侧的正则才是治本。面对重复数据最直接的操作显然是去重但现实里完全去重很难做到——很多文本语义重复但字面不同单纯用 MinHash 之类的方法去不掉。我的做法是层次化处理第一层基于 URL 和指纹对完全相同的文本做精确去重这能干掉最明显的重复项。第二层基于语义向量做近似去重。把文本编码成向量计算相互之间的余弦相似度超过 0.9 的视为重复随机保留其中一部分。这一步能大幅降低换汤不换药的重复样本。第三层针对无法去重的高频主题做采样权重惩罚。比如某个话题的文本数量超过了数据集中位数的十倍就按一定比例降低它的采样概率把多余的数据多样性让给低频主题。课程学习是另一个被低估的手段。不要把重复度高的数据一次性倒给模型而是先让它用高质量多样化数据打好基础再慢慢引入重复数据。我在实验中把重复数据放在训练的后 30% 阶段并配合更激进的负载均衡正则验证集效果比全程混训要强不少。4.4 正则强度的调节过犹不及正则手段并不是越强越好。稀疏度高的 MoE 里专家本身能分到的样本就少如果 Dropout 开太大、噪声加太猛专家可能连基本能力都学不会训练 loss 下不去验证集也不会好到哪里去。从我的经验来看正则强度的设定要根据数据重复度分层数据重复率在 1% 以内的只需默认负载均衡系数加一个 0.05 的轻量 Dropout重复率 10% 以上的才需要把负载均衡系数提上去、加路由噪声、显著加大 Dropout、并在数据侧做采样权重惩罚。另外一定要用验证集来动态监控正则效果而不是只看训练 loss。每类正则手段都有它自己的甜点区超出之后训练 loss 会明显抬升但验证集并没有同步变好那说明正则已经压制住了模型的学习能力。我习惯在每次实验里同时跑三组正则强度的对照训练几千步之后就大致能看出趋势省去不少从头调参的时间。5. 数据稀缺场景下的 MoE 实战建议5.1 什么时候坚持用 MoE什么时候退回 Dense这不是一个哪个更好的问题而是一个资源约束和数据质量的问题。如果你的训练数据体量很大、多样性也足够MoE 的相对优势还是很明显的——因为它可以在计算量几乎不变的前提下把总容量做大吃下更多样化的信息。但如果数据本身稀缺、重复度高又缺少足够强的清理手段我建议你先评估一下当前的有效参数量是不是已经远超数据的信息量了。如果是那 MoE 带来的优势会被过拟合吃掉大半一个同规模甚至更小的 Dense 模型反而更省心。我在实践里定的标准是经过清洗去重后的有效 token 数除以有效参数量如果比值低于某个经验阈值比如每参数不到约 20 个 token那我宁可缩模型或者退回 Dense也不想硬扛 MoE。这不是说 MoE 完全不能用于小数据场景而是说投入产出比往往不划算微调成本高、风险大。5.2 一套可落地的训练配方与监控指标最后整理一下我在类似场景下最终采用的配置仅供参考模型层面使用 8 专家、Top-1 路由的配置而不是 Top-2。Top-1 虽然表达能力上限略低但每个样本只走向一个专家路由惯性的累积速度慢很多在重复数据场景下更稳。稀疏度控制上优先选总参数较小、激活比例适中的组合不要盲目追求总参数数量。让总参数量大约比同规模的 Dense 大 4 到 6 倍就够了再往上加往往是负收益。正则层面负载均衡系数在 0.03 到 0.05 之间训练时逐步增大专家 FFN 的 Dropout 设在 0.15 左右路由噪声标准差 0.02训练后 30% 步数可以关掉数据侧至少做精确去重和近似去重高频主题加采样惩罚。监控层面不要只盯训练 loss。我会额外记录每个 batch 的路由熵看它是不是在持续下降——如果下降过快说明路由正在坍缩这是过拟合的前兆。另一个指标是专家负载的方差方差持续拉大时就该考虑增强负载均衡系数了。实际踩过几次坑之后我的体会是MoE 不是不能用于数据稀缺场景只是它把数据质量这个变量的权重放大了很多倍。同样的数据Dense 可能只是轻微过拟合MoE 却可能直接崩掉。反过来说只要你把数据重复度控制住、把正则强度和总参数/稀疏度的比例调好MoE 在有限数据下也能表现得相当扎实。多留几组对照实验多看一眼路由熵这个架构在实际项目中其实没那么难驯服。