1. 表达退化到底是什么：从一次模型翻车说起

如果你做过一段时间的自然语言处理，大概率遇到过这种诡异现象：模型在训练集上表现得好好的，loss 曲线也漂亮，但一放到真实场景里，生成的句子就开始“车轱辘话来回说”，或者所有句子的向量表示几乎一模一样，聚类图上所有点挤成一团。你以为是过拟合，加了正则、调了学习率、换了优化器，折腾一圈发现没什么用。这时候，你遇到的很可能不是普通的训练问题，而是表达退化（Representation Degeneration）。

我第一次真正意识到这个问题的严重性，是在做一个文本相似度匹配的项目时。当时用了一个标准的双塔结构，训练数据量不算小，几十万条。训练完成后，我拿测试集跑了一遍，发现模型对“今天天气怎么样”和“今天天气如何”这两句话的余弦相似度是0.97，看起来没问题。但当我拿“今天天气怎么样”和“股票市场今日走势”去算时，相似度居然也有0.91。这就离谱了，两句话语义完全不搭边，模型却认为它们几乎一样。进一步检查句向量分布，发现所有句向量的方差极小，几乎都坍缩到了同一个方向附近。这就是典型的表达退化——模型学会了把所有输入映射到表示空间里一个非常狭窄的区域，失去了区分不同语义的能力。

表达退化不是某一个具体模型的问题，它是表示学习中的一个结构性缺陷。无论是BERT类的预训练模型，还是RNN、LSTM，甚至是最新的Transformer变体，只要涉及将离散的文本映射到连续向量空间，就有可能遭遇这个问题。它的核心表现是：表示空间的**各向异性（Anisotropy）**急剧增强，向量们不再均匀分布在空间中，而是集中在一个锥形区域里，导致余弦相似度普遍偏高，区分度丧失。

这个问题为什么值得单独拿出来讲？因为它具有很强的隐蔽性。模型在训练指标上可能看起来很正常，accuracy、F1都在涨，但实际部署后你会发现，检索系统返回的结果越来越趋同，生成模型的输出多样性急剧下降，分类器对困难样本的判别力几乎为零。更麻烦的是，很多从业者在遇到这类问题时，第一反应是“数据不够”或者“模型太小”，于是盲目加数据、加参数，结果问题依旧。实际上，表达退化更多是一个表示空间几何结构的问题，而不是简单的容量问题。

这篇文章适合谁看？如果你正在做文本匹配、语义检索、文本聚类、生成式模型，或者任何需要用到句子/文档级别向量表示的任务，那表达退化就是你迟早要面对的坑。我会从原理、诊断、解决方案到实操细节，把这个问题拆开讲清楚，让你在遇到时能快速定位并解决，而不是像我当初那样绕一大圈弯路。

2. 表达退化的核心原理与诊断方法

2.1 为什么向量会“坍缩”：从各向异性说起

要理解表达退化，得先接受一个反直觉的事实：语言模型学到的向量空间，天然就不是各向同性的。各向同性意味着向量在空间中均匀分布，各个方向上的概率密度差不多。但实际训练出来的模型，尤其是基于Transformer的预训练语言模型，其词向量和句向量往往呈现出强烈的各向异性——所有向量都倾向于指向同一个大方向，就像一群人本来应该散落在广场各处，结果全挤到了广场的东北角。

这个现象最早在词向量层面就被观察到了。有研究者在分析BERT的嵌入空间时发现，即使是不经过微调的BERT，其词向量之间的余弦相似度也普遍偏高，随机取两个词，相似度经常在0.5以上，而理论上不相关的词应该接近0。到了句子级别，这个问题更严重，因为句子向量通常是词向量的某种聚合（比如平均池化或CLS token），聚合过程会进一步放大这种方向上的偏置。

造成各向异性的原因有几个层面。第一是训练目标本身。以掩码语言模型为例，模型在预测被mask的词时，依赖的是上下文表示。为了让预测准确，模型会倾向于让所有词的表示都包含一些“通用”的上下文信息，这些信息在方向上高度一致，导致向量趋同。第二是高频词的主导作用。自然语言中，高频词（如“的”、“是”、“在”）占据了大量训练信号，这些词的表示会主导整个空间的几何结构，把低频词的表示也拉向同一个方向。第三是softmax的归一化效应。在对比学习或分类任务中，softmax会迫使正样本对靠近、负样本对远离，但如果负样本采样不够充分或不够“硬”，模型就会找到一个“偷懒”的解：把所有向量都映射到一个小区域，这样正样本对自然就靠近了，而负样本对因为都在同一个区域里，区分度反而被牺牲了。

用一个生活化的类比：想象你在教一个学生区分不同种类的鸟。如果每次考试都只考“这是不是鸟”，那学生很快学会的答案是“是”，因为大部分样本都是鸟。但如果你考的是“这是麻雀还是喜鹊还是老鹰”，学生就必须学会关注细节特征。表达退化就是模型只学会了回答“是”，而没有学会区分“哪一种”。

2.2 表达退化的三种典型表现

在实际项目中，表达退化通常以三种形式出现，识别它们有助于快速定位问题。

第一种是向量坍缩（Vector Collapse）。这是最极端的情况，所有输入都被映射到几乎同一个向量。你计算任意两个句子的余弦相似度，结果都在0.95以上。这种情况在对比学习中使用温度系数过低、或者负样本太少时特别容易出现。我曾经见过一个模型，训练完后所有句向量的标准差只有0.01，基本上等于一个常数向量。

第二种是维度退化（Dimensional Degeneration）。向量的维度虽然还是768维或1024维，但真正起作用的维度只有少数几个。你可以对句向量矩阵做PCA，发现前两个主成分就解释了90%以上的方差，剩下的维度全是噪声。这意味着模型实际上只用了很低维的空间来表示所有语义，表达能力被严重压缩。

第三种是频率偏置（Frequency Bias）。高频词或高频模式的向量占据了空间的主要方向，低频但重要的语义被边缘化。比如在情感分类中，“不”这个否定词可能因为出现频率相对较低，其表示被高频的正面词汇所淹没，导致模型对“不好”和“好”的区分度不够。这种退化更隐蔽，因为整体指标可能看起来还行，但在关键样本上错误率很高。

2.3 如何诊断：三个可落地的检查方法

诊断表达退化不需要复杂的工具，用几行代码就能看出端倪。我通常会在训练完成后做三个检查。

检查一：向量相似度分布。随机抽取1000个句子，两两计算余弦相似度，画出直方图。如果分布集中在0.8以上，说明存在严重的各向异性。健康的表示应该是一个近似正态的分布，均值在0.3到0.5之间，有明显的长尾。

import numpy as np from sklearn.metrics.pairwise import cosine_similarity # embeddings: (1000, 768) 的句向量矩阵 sim_matrix = cosine_similarity(embeddings) # 取上三角，排除对角线 upper_tri = sim_matrix[np.triu_indices_from(sim_matrix, k=1)] print(f"相似度均值: {upper_tri.mean():.3f}") print(f"相似度标准差: {upper_tri.std():.3f}") print(f"相似度>0.9的比例: {(upper_tri > 0.9).mean():.3f}")

检查二：PCA方差解释率。对句向量矩阵做PCA，看前几个主成分解释了多少方差。如果前两个主成分就超过80%，说明表示空间的有效维度极低。

from sklearn.decomposition import PCA pca = PCA(n_components=10) pca.fit(embeddings) print("前10个主成分方差解释率:", pca.explained_variance_ratio_) print("前2个累计:", pca.explained_variance_ratio_[:2].sum())

检查三：最近邻一致性。对每个句子，找它的最近邻，人工检查这些最近邻是否语义相关。如果最近邻都是些不相关的句子，或者所有句子的最近邻都指向同几个“热门”句子，那基本可以确认退化。

注意：诊断时一定要用未参与训练的测试集数据，否则你看到的可能是过拟合后的假象。另外，样本量不要太小，至少几百条，否则统计意义不足。

3. 解决表达退化的实操方案与参数调优

3.1 对比学习中的温度系数与负样本策略

对比学习是当前解决表示退化最有效的框架之一，但用不好反而会加剧退化。核心在于两个东西：温度系数（Temperature）和负样本的数量与质量。

温度系数控制的是softmax的锐度。在SimCSE这类方法中，温度系数通常设在0.05到0.1之间。温度太低（比如0.01），softmax会变得极其尖锐，模型只关注最难的负样本，容易导致训练不稳定和向量坍缩；温度太高（比如0.5），softmax过于平滑，模型学不到有区分度的表示。我实测下来，0.05是一个比较稳的起点，然后根据训练loss的波动情况微调。

负样本方面，批内负样本（In-batch Negatives）是最常用的策略，但有一个陷阱：如果batch size太小，负样本数量不足，模型很容易找到“把所有向量映射到一起”的退化解。一般来说，batch size至少要到256，负样本数量才够用。如果显存不够，可以用梯度累积来模拟大batch，或者引入队列机制（如MoCo的思路），维护一个负样本队列，让每次更新都能看到更多的负样本。

还有一个容易被忽视的点：负样本的“硬度”。随机采样的负样本往往太容易区分，模型学不到细粒度的语义差异。这时候可以用难负样本挖掘，比如用当前模型检索出与正样本相似但不相关的句子作为负样本。但要注意，难负样本太多也会导致训练崩溃，通常控制在总负样本的10%到20%比较合适。

3.2 白化处理：一个简单但极其有效的后处理技巧

如果你不想重新训练模型，或者训练成本太高，**白化（Whitening）**是一个几乎零成本的后处理方案。它的核心思想是对句向量矩阵做线性变换，使其均值为零、协方差矩阵为单位矩阵，从而消除各向异性。

具体操作分三步：第一，计算所有句向量的均值向量，然后减去均值，完成中心化；第二，计算中心化后矩阵的协方差矩阵；第三，对协方差矩阵做特征值分解，得到变换矩阵，将原向量投影到新的空间。

def whitening(embeddings, eps=1e-5): # 中心化 mean = embeddings.mean(axis=0, keepdims=True) centered = embeddings - mean # 协方差 cov = np.dot(centered.T, centered) / (centered.shape[0] - 1) # 特征值分解 U, S, V = np.linalg.svd(cov) # 白化变换 W = np.dot(U, np.diag(1.0 / np.sqrt(S + eps))) return np.dot(centered, W)

这个操作看起来简单，但效果往往出奇地好。我在一个语义检索项目上试过，原始句向量的相似度均值是0.82，白化后降到了0.35，检索的准确率提升了将近15个百分点。需要注意的是，白化矩阵最好在大规模无标注语料上估计，而不是只在训练集上，否则统计量可能有偏。另外，白化后的向量维度不变，但每个维度的重要性变得均匀，后续如果做降维，可以更放心地用PCA。

提示：白化对下游任务的影响需要验证。有些任务（如情感分类）可能更依赖原始空间中的某些方向信息，白化后反而会损失。建议在白化前后都跑一遍验证集，对比效果再决定。

3.3 正则化与损失函数的设计细节

除了对比学习和后处理，训练过程中的正则化也能有效缓解表达退化。这里说几个我实际用过的策略。

第一，方差正则项。在损失函数里加一项，惩罚句向量在每个维度上的方差过小。具体来说，对于一个batch的句向量，计算每个维度的标准差，然后取负作为正则项，鼓励标准差变大。这个正则项的权重需要调，太大容易导致训练不稳定，太小则没效果。我一般从0.01开始试。

第二，协方差正则项。除了方差，还可以惩罚不同维度之间的协方差，鼓励维度之间解耦。这类似于白化的思想，但把它融入到训练过程中。实现上，计算句向量矩阵的协方差矩阵，然后计算非对角线元素的平方和作为惩罚。

第三，均匀性损失（Uniformity Loss）。这是对比学习文献中提出的一个指标，直接优化向量在超球面上的均匀分布。公式是计算所有向量对的指数距离的均值，鼓励这个均值尽可能小。这个损失可以和对比损失联合使用，权重通常在0.1到0.5之间。

def uniformity_loss(embeddings, t=2.0): # embeddings: (batch, dim) # 归一化 embeddings = embeddings / np.linalg.norm(embeddings, axis=1, keepdims=True) # 计算两两平方距离 sq_dist = np.sum((embeddings[:, None, :] - embeddings[None, :, :]) ** 2, axis=-1) return np.mean(np.exp(-t * sq_dist))

这些正则项的组合使用需要根据具体任务调参，没有万能公式。我的经验是，先加方差正则，如果效果不够再加协方差，最后考虑均匀性损失。每加一项都要重新调学习率，因为损失函数的尺度变了。

4. 不同场景下的应对策略与避坑指南

4.1 语义检索与文本匹配：白化加对比学习的组合拳

语义检索是表达退化影响最直接的任务。检索系统的核心是计算query和doc的向量相似度，如果所有向量都挤在一起，检索结果就会失去区分度，用户搜什么都是那几条结果。

在这个场景下，我推荐的方案是对比学习训练 + 白化后处理的组合。先用SimCSE或类似框架训练一个双塔模型，训练时注意温度系数和batch size的配置。训练完成后，不要直接用原始向量，而是用大规模语料估计白化矩阵，对query和doc的向量都做白化，然后再算相似度。

有一个细节容易被忽略：query和doc的白化矩阵应该用同一套。如果分别估计，两个空间的几何结构不一致，相似度计算会出问题。另外，白化矩阵的估计语料最好和实际检索的领域接近，否则统计量可能有偏。比如做法律文书检索，就用法律领域的语料来估计白化矩阵，而不是用通用语料。

还有一个坑是长度偏置。长文档的向量往往比短query的向量更“平均”，在白化后可能被过度压缩。解决办法是在训练时引入长度平衡的采样策略，或者在白化后对长文档向量做额外的归一化。我试过在损失函数里加一个长度惩罚项，让模型不要过度依赖文档长度信息，效果还不错。

4.2 文本生成：多样性损失与核采样

生成任务中的表达退化表现为输出多样性下降，模型总是生成相似的句子，或者陷入重复循环。这个问题在对话系统和故事生成中特别常见。

解决思路分训练和推理两个层面。训练层面，可以在最大似然估计的基础上加一个多样性正则项，惩罚生成结果的重复性。具体来说，计算生成序列中n-gram的重复率，作为惩罚加到损失里。这个正则项的权重需要小心调，太大影响流畅度，太小没效果。

推理层面，核采样（Nucleus Sampling）和温度调节是最直接的手段。核采样通过截断概率分布的长尾，只从累积概率达到阈值（通常0.9或0.95）的词汇中采样，避免选到低概率的奇怪词。温度调节则是直接缩放logits，温度大于1增加多样性，小于1增加确定性。我通常会把温度和核采样结合使用，温度设在0.8到1.0之间，核采样阈值设在0.9。

但要注意，这些推理技巧只是“治标”，如果模型本身的表示已经退化，再怎么调采样策略也生成不出真正多样的内容。所以训练层面的多样性正则才是根本。另外，**重复惩罚（Repetition Penalty）**也是一个实用技巧，对已经出现过的token降低其概率，简单有效，但惩罚系数不要超过1.2，否则会影响语法正确性。

4.3 小样本场景：如何避免“学偏”

小样本学习是表达退化的重灾区。数据量少，模型很容易找到“把所有样本映射到一起”的退化解，因为这样在训练集上的损失最小。

在小样本场景下，我强烈建议不要从头训练，而是用预训练模型做微调，并且冻结大部分底层参数。预训练模型的表示空间已经有一定的结构，微调时只更新顶层，可以保留这种结构，避免退化。如果必须从头训练，那一定要用强正则化，比如Dropout率调高、权重衰减加大、早停策略更激进。

另一个技巧是数据增强。对于文本任务，可以通过同义词替换、回译、随机插入删除等方式扩充数据。增强后的数据可以让模型看到更多的语义变化，减少坍缩的风险。但要注意，增强不能改变语义，否则会引入噪声。我通常会用回译做增强，因为它在保持语义方面比较可靠。

还有一个容易被忽视的点是评估指标的选择。小样本场景下，accuracy可能因为类别不平衡而虚高，最好用F1或AUC。另外，一定要留一个独立的验证集，不要用训练集上的指标来判断模型好坏。我见过太多案例，训练集上F1是0.95，验证集上只有0.6，这就是典型的过拟合加表达退化。

4.4 常见问题速查表

注意：这张表里的解决方案不是互斥的，很多时候需要组合使用。另外，排查时一定要控制变量，一次只改一个因素，否则无法判断哪个措施真正起了作用。

5. 我踩过的坑与实战经验总结

5.1 那些年我误判为“过拟合”的表达退化

刚开始做NLP的时候，我遇到模型效果不好，第一反应就是过拟合。加Dropout、加L2正则、减模型复杂度，一套组合拳打下来，有时候有用，有时候没用。后来才慢慢意识到，很多所谓的“过拟合”其实是表达退化在作祟。

最典型的一次是一个文本分类任务。训练集准确率99%，验证集只有70%。我以为是过拟合，把模型从BERT-large换成了BERT-base，又加了Dropout，结果验证集还是70%左右。后来我检查了句向量的分布，发现所有类别的向量都混在一起，分类器根本学不到有区分度的边界。换成对比学习框架重新训练后，验证集直接到了85%。这个经历让我明白，指标差不一定是因为模型记住了训练集，也可能是因为模型根本没学到有意义的表示。

另一个坑是盲目加数据。有一次做语义匹配，效果不好，我以为是数据不够，花了两周标注了更多数据，结果提升微乎其微。后来分析发现，新增的数据和原有数据分布相似，并没有增加语义的多样性，模型还是在同一个退化的空间里打转。所以，加数据之前一定要先诊断，确认问题真的是数据量不足，而不是表示退化。

5.2 参数调优中的“玄学”与科学

表达退化相关的参数调优，有一些看起来像“玄学”的经验，但背后其实有科学道理。

比如学习率。对比学习对学习率非常敏感，太大容易导致训练崩溃，太小则收敛慢且容易陷入退化解。我试过用1e-5、2e-5、5e-5几个档位，发现2e-5在大多数任务上比较稳。但这不是绝对的，如果batch size很大，学习率可以适当调高。有一个经验公式是：学习率与batch size的平方根成正比。比如batch size从256增到1024，学习率可以从2e-5调到4e-5。

再比如warmup比例。对比学习的前几个epoch非常关键，如果一开始学习率就很大，模型可能直接坍缩。我通常会把warmup比例设在0.1左右，让模型先“温和”地适应数据分布，再逐步加大学习率。这个技巧在训练不稳定时特别有用。

还有一个“玄学”是随机种子。同样的配置，换个种子，效果可能差好几个点。这不是因为种子本身有什么魔力，而是因为表达退化对初始化非常敏感。不同的初始化可能导致模型落入不同的局部最优，有的局部最优是退化的，有的不是。所以，如果条件允许，多跑几个种子取平均，或者至少跑三个种子看方差。如果方差很大，说明模型对初始化太敏感，可能需要调整初始化策略或加正则。

5.3 评估阶段的注意事项

评估表达退化不能只看下游任务的指标，还要看表示空间本身的几何性质。我通常会在评估阶段做三件事。

第一，计算表示空间的均匀性和对齐性。均匀性衡量向量在空间中的分布是否均匀，对齐性衡量正样本对的距离是否足够近。这两个指标可以很好地反映表示质量。均匀性用前面提到的uniformity loss计算，对齐性用正样本对的平均距离计算。理想情况下，均匀性低（分布均匀），对齐性也低（正样本靠近）。

第二，做可视化检查。用t-SNE或UMAP把句向量降到二维，画散点图，按类别着色。如果不同类别的点混在一起，或者所有点挤成一团，说明表示有问题。这个检查很直观，不需要复杂的计算，但能发现很多指标看不出来的问题。

第三，做对抗测试。构造一些语义相近但表述不同的句子对，以及语义不同但用词相似的句子对，看模型的相似度判断是否合理。比如“我喜欢猫”和“我讨厌猫”，语义相反，相似度应该低；“我喜欢猫”和“我爱猫咪”，语义相近，相似度应该高。如果模型在这两组上的表现反常，说明表示空间的结构有问题。

提示：评估时一定要用独立的测试集，并且测试集的分布要和实际应用场景一致。如果测试集是从训练集随机划分的，可能低估表达退化的影响，因为训练集和测试集的分布太相似了。

5.4 一个完整的实操流程参考

最后，我把解决表达退化的完整流程整理一下，你可以直接参考。

第一步，诊断。用相似度分布、PCA方差解释率、最近邻一致性三个检查，确认是否存在表达退化。如果相似度均值超过0.7，或者前2主成分解释率超过70%，基本可以确认。

第二步，选择方案。如果训练成本允许，优先用对比学习重新训练，注意温度系数、batch size、负样本策略的配置。如果不想重新训练，用白化做后处理，成本低、见效快。

第三步，训练与调参。训练时加方差正则或协方差正则，监控均匀性和对齐性指标。学习率用2e-5起步，warmup比例0.1，多跑几个种子看方差。

第四步，后处理。训练完成后，用大规模语料估计白化矩阵，对向量做白化。白化后重新评估下游任务，确认效果没有下降。

第五步，评估与迭代。用均匀性、对齐性、可视化、对抗测试四个手段评估表示质量。如果效果不理想，回到第二步调整方案。

这个流程我在多个项目上跑过，从语义检索到文本分类到生成任务，基本都能把表达退化控制在可接受的范围内。当然，具体参数需要根据任务和数据调整，没有一劳永逸的配置。

我在实际项目中的体会是，表达退化是一个需要持续监控的问题，不是训练完就没事了。随着数据分布的变化，表示空间可能会逐渐退化，所以线上系统要定期做诊断，发现退化迹象及时处理。另外，不要迷信某个“最佳实践”，多实验、多对比，找到适合自己任务的方案才是正道。