引言
不平衡数据在大模型中真正的危害，不是"少数类准确率低"这个表层现象，而是梯度分布的系统性扭曲导致模型后验概率偏离真实频率——且这种偏离会在预训练、清洗、微调各环节被逐级放大。本文从机制出发，穷举干预方案，并重点拆解最容易被忽视的校准陷阱。
一、后果分析：偏差如何产生
1.1 梯度主导与多数类偏置
标准交叉熵损失下，每个样本对梯度的贡献与其损失值成正比。当多数类占比为 1−π，多数类在每轮迭代中贡献约 1−π的梯度信号。模型为最小化总体损失，最优策略是优先拟合多数类的决策边界，少数类的梯度被淹没。
在大模型预训练中，这一效应更隐蔽：语言分布的不平衡（高资源与低资源语言语料量可差数个数量级）使模型对低资源语言的表征学习不足。多语言模型研究明确指出，语料比例失衡是偏差的来源之一。
1.2 少数类召回率下降
这是梯度主导的直接后果。模型在少数类上的决策边界被多数类梯度"推挤"至过度保守的位置，少数类样本被系统性判为多数类。漏洞检测任务中正负样本比可达 1:34，不干预时模型将所有样本判为负类即可获得极低损失。
大模型场景的差异：传统中小模型可通过阈值调优部分补偿召回损失，但大模型下游任务常以零样本或少样本部署，阈值不可见或不可调，召回下降更难被用户察觉。
1.3 置信度校准失效：最危险的后果
校准指模型输出的置信度应等于实际正确率：若模型以 0.9 置信度预测 100 个样本，应有约 90 个正确。不平衡数据通过两条路径破坏校准：
路径一：后验概率偏移。训练分布中类别先验 P(y) 偏离部署分布时，模型学到的后验 P(y∣x)被先验"拉偏"。SMOTE 过采样的实证研究显示，仅用 SMOTE 作为唯一干预时，逻辑回归的误报数从 35 激增至 5,775（165 倍），而 ROC-AUC 几乎不变（0.9806）——这正是排序能力不变但概率偏移的操作性指纹。
路径二：ECE 本身在不平衡下失真。标准 ECE 按置信度分箱后以各箱样本占比加权。不平衡数据下，绝大多数样本落入高置信区间且为多数类，ECE 主要反映多数类的校准质量，少数类的校准误差被掩盖。为此有研究提出 ECEImb，在箱权重中混入均匀分布成分以强制覆盖少数类区间。
大模型的加重因素：神经网络预测趋于极端（置信度趋近 0 或 1），使分箱更加集中，ECE 失真更严重。IEEE 2025 年的综述系统梳理了 60 种不平衡下的校准方法，确认了该问题的普遍性。
1.4 偏差在预训练、清洗、微调中的放大与固化
预训练阶段：语料不平衡不仅是类别层面，更是语义簇层面。高频主题文档被过度代表，表征空间向高频簇倾斜。传统 SMOTE 在此阶段不适用，因为预训练没有显式类别标签。
数据清洗阶段：过滤"低质量"数据时，少数群体的语言变体可能被系统性误判而剔除。例如非裔美国人英语在语言识别中可能被误标为非英语，导致清洗后的"干净"数据中该群体代表性进一步下降。
下游微调阶段：若微调数据继承上游不平衡且仅用交叉熵微调，预训练阶段已存在的表征偏差会被进一步强化。漏洞检测研究指出，分类目标与生成目标纠缠时，下一词预测目标会干扰分类输出，需显式解耦。
1.5 对公平性与高风险场景的具体影响
在高风险场景中，校准失效的危害远超分类错误。医疗诊断模型若对罕见病给出高置信错误预测，临床医生无法通过置信度判断何时应转交人工。ECG 心律失常预测研究发现，随机欠采样虽意在平衡数据，但主要效果是恶化校准：CNN 的校准指数从 0.014 升至 0.17，作者明确建议临床预测模型应避免不平衡校正方法。金融风控中，未校准的风险分数会导致对少数群体的系统性过度拒贷或过度放贷。
二、解决方案：四层干预与工作原理
2.1 数据层面
（1）随机过采样
核心思想：复制少数类样本以提升其在每批中的出现频率。
工作原理：采样概率从均匀分布改为按类别逆频率加权，少数类被抽中概率从 π 提升至约 1/2，梯度贡献比例相应上升。但复制样本产生完全相同的梯度方向，等价于隐式加权，未引入新信息。
局限与大模型适用性：过拟合风险高；大模型参数量大，重复样本的梯度记忆效应更强。推荐度：低。
（2）SMOTE 及其变体
核心思想：在少数类样本的 k 近邻之间线性插值，生成合成样本。
工作原理：对少数类样本 Xi，随机选取近邻 Xnn，合成 Xnew=Xi+λ(Xn−Xi)，λ∼U(0,1)。这相当于在少数类局部流形上做凸组合，扩展其决策区域。变体包括 Borderline-SMOTE（仅边界合成）、ADASYN（按难度自适应）。
局限与大模型适用性：高维空间中近邻距离趋同，插值可能偏离真实流形。实证显示 SMOTE 对校准的影响模型依赖：对逻辑回归导致误报暴增 165 倍，对 HistGradientBoosting 反而改善 F1。对 token 序列直接插值无意义。推荐度：中低，应视为小规模基线而非生产默认。
（3）随机欠采样
核心思想：丢弃部分多数类样本以降低不平衡比。
工作原理：从多数类无放回抽样，等价于对多数类施加 0/1 硬权重。
局限与大模型适用性：关键风险是损害校准——ECG 研究显示校准指数从 0.014 恶化至 0.17。大模型训练数据规模极大，丢弃多数类意味着浪费海量预训练信号。推荐度：低。
（4）集成欠采样（EasyEnsemble、Balanced Bagging）
核心思想：多数类分块，每块与全部少数类组合训练一个基学习器，集成输出。
工作原理：设多数类 N 个、少数类 M 个，划分多数类为 k 块（每块约 M个），训练 k 个面对近似平衡数据的基学习器，最终预测取平均或投票。每个基学习器保留不同的多数类信息，集成后信息损失被部分补偿。
局限与大模型适用性：表格数据上优于简单欠采样，但需训练多个模型，成本高。大模型微调成本高，训练 k个完整模型不现实。推荐度：极低。
（5）生成模型合成少数类（扩散模型 / LLM / GAN / VAE）
核心思想：学习少数类分布，从中采样生成新样本。
工作原理：扩散模型学习去噪过程 Pθ(Xt−1∣Xt)，从噪声逐步还原为样本；条件生成可指定类别。相比 SMOTE 的局部线性插值，生成模型能建模非线性流形，生成更多样且更接近真实分布的样本。综述列出 DeepSMOTE（自编码器+SMOTE）、cGAN、WGAN-GP、扩散-SMOTE 混合等方法。
局限与大模型适用性：纯合成数据训练会导致模型崩溃与知识退化，需混合相当比例真实数据；少数类本身稀缺时生成模型也难以学好。LLM 可用于生成低资源语言合成语料，但必须与真实数据混合并过滤低质量样本。推荐度：中高（有条件）。
（6）基于聚类的采样重平衡（ClusterClip）
核心思想：在语义簇层面而非类别标签层面平衡采样概率。
工作原理：用预训练嵌入模型对全部样本编码，K-Means 聚类得到语义簇。采样时赋予小簇（稀有语义）更高抽中概率，并对每个样本设置最大重复次数（clip）防止过拟合。ClusterClip 在语言模型预训练与微调中验证了有效性。
局限与大模型适用性：无需标签即可发现长尾语义分布，适合预训练阶段；聚类数与嵌入模型选择影响效果。这是少数直接针对大模型预训练不平衡设计的方案。推荐度：高。
2.2 算法/损失层面
（1）代价敏感学习 / 类权重
核心思想：在损失函数中为少数类赋予更高权重。
工作原理：将交叉熵改为
，其中
。少数类梯度贡献按权重放大，等价于改变类先验。
局限与大模型适用性：实现极简，无需改变数据，与 GPU 训练管线完全兼容。但静态权重效果有限：长尾分类消融显示，平方根加权与有效样本量加权相对基线的提升边际；权重过大会牺牲多数类性能并可能损害校准。推荐度：高（作为首选低成本基线）。
（2）Focal Loss
核心思想：动态降低"容易分类"样本的权重，使优化聚焦难分类样本。
工作原理：
。当样本已被正确分类且 pt 接近 1 时，
趋近 0，梯度被抑制；少数类通常 pt 较低，相对权重被保留。
控制抑制强度，实验显示
=2.5 时 Macro-F1 最优，过低则多数类仍主导，过高则损害多数类特征学习。
局限与大模型适用性：
需调参；在某些任务上 Focal Loss 反而最不稳定、种子间方差最大；对校准的影响不明确（可能使已正确样本置信度进一步推向极端）。预训练中因"易分样本"定义不清晰，不直接适用。推荐度：中高（下游微调）。
（3）解耦分类目标与生成目标（针对 LLM 微调）
核心思想：LLM 做分类微调时，移除下一词预测目标，仅保留分类损失。
工作原理：标准 LLM 微调同时优化生成与分类目标，生成目标在分类任务中引入无关梯度，不平衡时可能干扰决策边界。漏洞检测研究将分类损失视为生成目标交叉熵的最后一项，显式剥离生成目标，使权重更新完全由分类目标驱动。
局限与大模型适用性：适用于 LLM 分类下游任务，对生成式任务本身不适用。是 LLM 分类微调中值得优先尝试的轻量改动。推荐度：高（特定场景）。
2.3 训练策略层面
（1）Self-Paced Ensemble（SPE）
核心思想：迭代欠采样多数类，每轮保留"当前模型最难分类"的多数类样本，逐步构建集成。
工作原理：从随机欠采样的多数类子集开始训练基学习器，再根据当前集成的预测难度重新选择多数类样本，使后续基学习器聚焦于靠近边界的难分多数类，而非随机丢弃。
局限与大模型适用性：在多个不平衡表格数据集上表现稳健、对不平衡比不敏感，但需要训练多个基学习器，成本与大模型不匹配。推荐度：低。
（2）元学习与提示调优
核心思想：少样本条件下，通过元学习优化初始化或提示参数，使模型快速适应少数类。
工作原理：元学习（如 MAML）学习对任务变化敏感的初始化参数，少量梯度步即可适应新类别；提示调优在输入前添加可学习连续提示向量，仅优化这些参数。在极端不平衡少样本场景中，配合阈值移动可提升少数类召回。
局限与大模型适用性：适合 LLM 下游少样本任务，但元学习训练复杂、提示调优可解释性有限。推荐度：中高（少样本），直接证据有限，需在实际管线验证。
2.4 评估与后处理层面
（1）阈值移动
核心思想：训练后根据类别先验调整决策阈值，纠正先验偏移。
工作原理：模型输出的 P(y=1∣x)隐含训练集先验 πtrain。若部署先验为 πtest，调整后概率
=
，等价于在 logit 上加减常数。不改变模型参数，仅改变决策规则。
局限与大模型适用性：零成本，对恢复概率校准有直接效果；但需知道或估计部署先验，且对排序能力无影响（AUC 不变）。部署时必要。推荐度：高。
（2）后校准（等渗回归、温度缩放）
核心思想：在验证集上学习映射，将模型原始输出校准为可靠概率。
工作原理：温度缩放在 softmax 前除以温度 T，p=softmax(z/T)，T>1软化置信度，T<1 锐化，在验证集上优化 T以最小化 NLL。等渗回归拟合单调非减函数 f 使 f(p) 与真实频率对齐，非参数、更灵活但需足够验证数据。
局限与大模型适用性：后处理，不改变排序能力；校准集本身的不平衡可能导致映射偏向多数类。医疗场景推荐：参数模型用 Platt（sigmoid）缩放，树集成用等渗回归。温度缩放是 LLM 校准的标准做法。推荐度：高。
（3）分层评估与指标选择
核心思想：用对少数类敏感的指标替代准确率，并单独报告校准指标与子组性能。
工作原理：AUPRC关注正类精度-召回权衡，不受大量真负类稀释；Macro-F1对各类 F1 等权平均，少数类表现差会直接拉低；ECE/ECEImb衡量校准，后者通过混入均匀箱权重强制覆盖少数类区间；分层评估按关键子组分别计算指标，防止聚合指标掩盖少数子组的失败。
大模型适用性：这是评估策略而非训练干预，但决定优化方向。推荐度：必要。
三、方案对比与选型建议
3.1 对比表
| 方案 | 干预层面 | 工作原理一句话 | 计算成本 | 过拟合风险 | 是否损害校准 | 大模型推荐度 |
|---|---|---|---|---|---|---|
| 随机过采样 | 数据 | 复制少数类样本，提升其梯度占比 | 低 | 高 | 中 | 低 |
| SMOTE 及变体 | 数据 | 少数类近邻间线性插值扩展决策区域 | 中（O(N2)） | 中 | 模型依赖 | 中低 |
| 随机欠采样 | 数据 | 丢弃多数类样本以平衡分布 | 低 | 低（信息损失） | 高损害 | 低 |
| 集成欠采样 | 数据 | 多数类分块与少数类组合，训练多基学习器集成 | 高（kk 倍模型） | 低 | 中 | 极低 |
| 生成模型合成 | 数据 | 扩散/GAN/LLM 学习分布并采样新样本 | 高 | 中（需混合真实数据） | 中 | 中高（有条件） |
| 聚类采样（ClusterClip） | 数据 | 语义簇层面均衡采样 + 重复上限防过拟合 | 中 | 低（clip 约束） | 低 | 高 |
| 类权重/代价敏感 | 算法 | 损失中少数类乘更高权重 | 极低 | 低 | 中 | 高（基线） |
| Focal Loss | 算法 | 动态抑制易分样本梯度 | 低 | 中（γγ 需调参） | 不确定 | 中高 |
| 解耦分类/生成目标 | 算法 | 剥离 LLM 微调中的下一词预测损失 | 低 | 低 | 低 | 高（LLM 分类） |
| SPE | 训练策略 | 迭代难例多数类欠采样 + 集成 | 高 | 低 | 中 | 低 |
| 元学习/提示调优 | 训练策略 | 优化初始化或提示参数以快速适应少数类 | 中高 | 中 | 不确定 | 中高（少样本） |
| 阈值移动 | 后处理 | 按先验比调整 logit 偏移 | 极低 | 无 | 改善 | 高 |
| 温度缩放/等渗回归 | 后处理 | 验证集学习置信度映射 | 低 | 低 | 改善 | 高 |
| 分层评估+AUPRC/ECE | 评估 | 用少数类敏感指标替代准确率 | 无额外成本 | 无 | 不适用（度量） | 必要 |
3.2 三种情形下的首选组合
情形一：少数类极度稀缺（如罕见病诊断，少数类 < 1%）
首选：生成模型合成（条件性）+ 类权重 + 温度缩放 + 子组 ECE 监控。
理由：稀缺场景下 SMOTE 插值空间过小（近邻本身不可靠），生成模型可借助预训练知识生成更多样样本，但必须混合真实数据防崩溃。类权重作为低成本基线防止梯度淹没。温度缩放在验证集纠正概率偏移。必须监控子组 ECE，因为聚合 ECE 会被多数类主导而掩盖少数类的灾难性校准失败。ECG 研究的教训明确：欠采样在此场景不应使用。
情形二：数据规模极大（如 LLM 预训练，数十亿样本）
首选：聚类采样重平衡（ClusterClip 类）+ 解耦分类目标（若为分类微调）+ 阈值移动。
理由：任何需要"复制/丢弃样本"或"训练多个模型"的方案在规模上不可行。聚类采样在语义簇层面操作，计算开销可控（一次性聚类 + 采样概率调整），且不改变数据总量。预训练阶段无标签，SMOTE/生成模型不适用。若为分类微调，解耦生成目标是轻量有效的改动。
情形三：高风险场景且需可解释性（如医疗、金融授信）
首选：类权重（温和）+ 后校准（Platt/等渗）+ 分层评估 + SHAP 解释审计。
理由：可解释性要求排除生成模型（合成样本来源不可解释）和复杂集成（多模型平均难以归因）。类权重是透明的损失修改。后校准确保风险分数可直接用于决策阈值。分层评估与 SHAP 审计可揭示少数子组的系统性失败。实证支持：在 Lending Club 等高风险数据上，LightGBM 配合校准与 SHAP 审计的流程被验证为可操作框架。避免使用 SMOTE-ENN 等可能恶化校准的方法。
四、关键陷阱
陷阱一：只看准确率。
不平衡数据下，将全部样本判为多数类即可获得 1−π 的准确率。若 π=0.01，99% 准确率的模型可能完全无预测价值。正确做法：主指标用 AUPRC 或 Macro-F1，并同时报告校准指标与子组指标。
陷阱二：盲目使用 SMOTE。
SMOTE 效果高度依赖模型与数据。信用卡欺诈数据上，SMOTE 使逻辑回归误报增加 165 倍而 AUC 不变；SMOTE-ENN 在某些数据集上增加了 Brier 与 ECE。正确做法：先跑类权重基线，若不足再考虑 SMOTE，且必须在验证集上检查校准变化，而不仅看 F1。
陷阱三：纯合成数据训练。
仅用生成模型产出的数据训练会导致模型崩溃与知识退化。语言模型的合成数据研究表明需混合至少 50%–75% 真实数据才能维持语言保真与校准。正确做法：合成数据仅作补充，保留真实数据主体；对合成样本做质量过滤。
陷阱四：简单欠采样后直接部署。
ECG 研究结论明确：随机欠采样"未改善任何模型的判别力"，主要效果是"恶化校准"，降低临床效用。正确做法：若必须降采样，使用集成式欠采样而非随机丢弃；或在欠采样后强制做后校准。
陷阱五：用标准 ECE 评估不平衡模型的校准。
标准 ECE 的箱权重被多数类主导，可能显示"校准良好"而少数类完全失准。正确做法：使用 ECEImb 或按子组分别计算 ECE。
陷阱六：忽略训练与部署的先验偏移。
在平衡后数据上训练、在不平衡真实分布上部署，模型输出概率会系统性偏高。正确做法：部署前用阈值移动按先验比校正，或在真实分布验证集上重新校准。
结语
不平衡数据下的大模型训练，核心不是"把少数类样本变多"，而是让梯度分布与后验概率在训练、评估、部署三个环节保持一致。一个务实的起点是：优先采用类权重配合 AUPRC 与校准指标进行模型选择，谨慎使用简单重采样；若少数类极度稀缺且可获取高质量生成模型，以混合真实数据的方式引入合成样本；无论何种路径，校准监控与分层评估都应贯穿始终——因为最危险的失败，从来不是模型说"我不知道"，而是它以极高的置信度说错了答案。
