文本分类这件事，说到底是把一段自然语言映射到一个标签上。早些年做垃圾邮件过滤、情感极性判断、工单自动路由，大家手里能用的武器不多，朴素贝叶斯算一个，逻辑回归算一个，再往后就是支持向量机。我接触支持向量机在文本分类里的落地，是从一个很朴素的需求开始的：样本量不大、特征维度极高、正负样本还不太平衡，试了几种模型之后发现支持向量机在这个场景下稳得离谱。所以这篇就围绕这个主题，把我这些年踩过的坑、调过的参、走过的弯路，尽量完整地摊开讲一遍。

支持向量机（Support Vector Machine，下文简称SVM）在文本分类中的应用，核心就一句话：把高维稀疏的文本向量，用一个最大间隔超平面切开。它解决的问题很具体——小样本、高维度、非线性边界下的二分类与多分类任务。适合谁看？如果你正在做舆情极性判断、工单分类、垃圾内容识别、意图识别这类任务，手里数据量在几千到几万条之间，特征维度动辄几万甚至几十万，那这套东西你大概率用得上。哪怕你是刚入门的新手，只要跟着把特征工程和核函数这两块啃下来，剩下的都是工程细节。

1. 内容整体设计与思路拆解

1.1 为什么文本分类偏偏适合用SVM

先讲清楚一个底层事实：文本经过向量化之后，特征维度通常远大于样本数量。比如你有一个两万条样本的语料，用词袋模型加TF-IDF，词表大小轻松到五万维以上。这种“宽而稀”的数据形态，很多模型会难受——决策树容易过拟合，神经网络参数太多喂不饱，而SVM的优化目标只跟支持向量有关，也就是那些真正决定分类边界的样本点，对维度不敏感，对样本量也不贪婪。这是它天然适配文本的根本原因。

再往深一层说，文本分类的边界往往不是线性的。同一个词在不同语境下极性可能相反，比如“这价格真可以”和“这价格真可以吗”，字面几乎一样，标签却可能一个正一个负。线性核搞不定的时候，核技巧把样本隐式映射到高维空间，让原本纠缠的样本在高维里变得可分。这个思路在文本上特别有效，因为文本的语义组合本身就是高维非线性的。

还有一点常被忽略：SVM的解是稀疏的，只有支持向量参与决策。这意味着模型对噪声样本有一定鲁棒性，同时推理阶段只需要计算待预测样本与支持向量的核函数值，工程上可控。我在一个工单分类项目里实测过，两万条训练样本训完之后支持向量大概三千多个，推理延迟完全扛得住线上QPS。

1.2 整体方案的分层设计

我把整个文本分类方案拆成四层，从下往上依次是数据层、特征层、模型层、评估层。这个分层不是为了好看，是为了出问题时能快速定位是哪一层的问题。

数据层负责清洗、去重、标签校验、类别平衡处理。文本数据脏起来是真的脏，HTML标签、全半角混用、重复样本、标签噪声，这些不处理干净，后面模型调得再细都是白搭。特征层负责分词、去停用词、向量化、特征选择。这一层是文本分类的胜负手，我后面会重点展开。模型层负责核函数选择、参数寻优、多分类策略。评估层负责交叉验证、指标选择、混淆矩阵分析。

为什么这么分层？因为实际项目里，模型层的提升空间往往没有特征层大。很多人一上来就调C和gamma，调半天涨一个点，回头把停用词表重新梳理一遍，涨三个点。分层之后你会强迫自己先看特征层，而不是一头扎进调参。

1.3 方案选型背后的取舍逻辑

选SVM而不是别的，是有明确取舍的。跟朴素贝叶斯比，SVM在特征相关性强的时候表现更好，朴素贝叶斯的条件独立假设在文本里经常不成立；跟逻辑回归比，SVM在小样本高维场景下泛化能力通常更稳，因为最大间隔准则本身带正则化意味；跟深度学习比，SVM在几千到几万样本量级上训练成本低得多，不需要GPU，调参空间也小，落地周期短。

但SVM也有明确的短板：它不直接输出概率，需要额外做概率校准；多分类要靠一对多或一对一策略拼；样本量上到十万级以上，训练时间会明显变长。所以我的选型原则是：样本量中等偏小、特征维度高、需要快速落地、对可解释性要求不极端，就上SVM；样本量巨大或者需要端到端语义理解，再考虑别的路线。

2. 核心细节解析与实操要点

2.1 文本向量化：TF-IDF是基本盘

文本进SVM之前必须变成数值向量。最常用的是TF-IDF，词频乘逆文档频率。TF衡量一个词在这篇文档里多重要，IDF衡量这个词在整个语料里多有区分度。一个词在这篇文档里出现得多、在别的文档里出现得少，TF-IDF就高，说明它对这个文档有代表性。

这里有个实操细节：TF-IDF的归一化方式要选对。sklearn里TfidfVectorizer默认用l2归一化，这个对SVM很友好，因为SVM的间隔计算对向量模长敏感，归一化之后不同长度文档可比。我试过不归一化直接喂，长文档会主导决策边界，短文档分类效果明显掉。

另一个细节是sublinear_tf参数。文本里词频往往长尾分布，一个词出现十次不代表比出现一次重要十倍。开sublinear_tf用1+log(tf)替代原始tf，能压住高频词的权重，实测在情感分类上通常有小幅提升。

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer( analyzer='word', ngram_range=(1, 2), min_df=2, max_df=0.9, sublinear_tf=True, norm='l2' ) X = vectorizer.fit_transform(corpus)

ngram_range设(1,2)是加二元词组，能捕捉“不 好”这种否定搭配，对情感分类很关键。min_df=2过滤只出现一次的词，降维同时去噪。max_df=0.9过滤掉出现在九成以上文档里的词，这些词基本没有区分度。

2.2 特征选择：给高维向量瘦身

词表五万维不代表五万维都有用。特征选择做得好，维度能砍掉一大半，训练速度上去，过拟合风险下来。常用的方法有两类：基于统计的卡方检验、基于模型权重的选择。

卡方检验衡量词和标签的相关性，计算每个词在正负类里的分布偏离独立假设的程度。sklearn的SelectKBest配chi2，选top-k个特征。k取多少？我的经验是从两万开始试，看验证集指标曲线，通常在一万到三万之间有个平台区。

from sklearn.feature_selection import SelectKBest, chi2 selector = SelectKBest(chi2, k=20000) X_selected = selector.fit_transform(X, y)

注意：卡方检验要求特征非负，TF-IDF正好满足。如果你用的是带负值的向量化方式，得先做平移或者换方法。

基于模型权重的选择，就是先训一个线性SVM，取权重绝对值最大的那些特征。这个方法更贴近最终模型，但计算量稍大。我一般先用卡方粗筛，再用线性SVM权重精筛，两步走。

2.3 核函数选择：线性还是RBF

核函数是SVM的灵魂。文本分类里最常纠结的是线性核和RBF核。

线性核适合特征维度已经很高、样本线性可分程度较好的场景。文本TF-IDF向量维度本来就高，很多时候线性核就够用，而且训练快、可解释性强，权重能直接看哪些词重要。

RBF核适合边界明显非线性的场景，但它有两个参数C和gamma要调，调参成本高，而且在高维稀疏数据上有时反而不如线性核稳。我的一般策略是：先跑线性核拿baseline，如果验证集指标明显低于预期，再上RBF核对比。

多项式核在文本里用得少，因为高维下计算量大且容易数值不稳定，除非你明确知道特征交互是关键。

2.4 类别不平衡的处理

文本分类任务里类别不平衡是常态。垃圾内容识别里正常样本远多于垃圾样本，工单分类里某些类别样本极少。SVM对不平衡敏感，因为最大间隔会被多数类主导。

处理手段有三个层次。第一层是class_weight='balanced'，让少数类样本的惩罚权重按类别频率反比放大，这是最省事的做法。第二层是调整C值，对少数类单独设更大的C。第三层是重采样，对多数类欠采样或对少数类过采样，但文本过采样要小心，简单复制容易过拟合，SMOTE在文本高维稀疏空间里效果也不稳定，我一般优先用class_weight。

from sklearn.svm import LinearSVC clf = LinearSVC( C=1.0, class_weight='balanced', max_iter=10000 )

提示：LinearSVC底层用liblinear，适合大样本高维，训练比SVC快很多。如果样本量在几万以内、要用核函数，再用SVC。

3. 实操过程与核心环节实现

3.1 数据准备与清洗的完整流程

拿到原始文本第一步不是急着向量化，是清洗。我按这个顺序走：去HTML标签、统一全半角、转小写、去多余空白、去重、标签校验。

去重特别重要。文本数据里重复样本很常见，尤其是爬来的数据。重复样本如果跨训练集和验证集，会造成指标虚高。我一般用文本哈希去重，完全相同的文本只保留一条。

标签校验是看标签分布和抽样人工核对。曾经有个项目标签是人工标的，抽了五百条发现大概百分之三标错，这部分噪声不处理，模型上限就被压住了。处理方式是抽样复核加规则兜底，比如明显矛盾的样本直接剔除。

import re import hashlib def clean_text(text): text = re.sub(r'<[^>]+>', '', text) text = text.replace(' ', ' ') text = text.lower() text = re.sub(r'\s+', ' ', text).strip() return text def dedup(texts, labels): seen = {} out_texts, out_labels = [], [] for t, l in zip(texts, labels): h = hashlib.md5(t.encode()).hexdigest() if h not in seen: seen[h] = True out_texts.append(t) out_labels.append(l) return out_texts, out_labels

3.2 训练集验证集划分的坑

文本分类划分数据集不能纯随机。如果数据有时间属性，比如工单按时间产生，随机划分会让未来信息泄漏到训练集。正确做法是按时间切，用早期数据训练、后期数据验证。

如果没有时间属性，用分层抽样保证训练集和验证集类别比例一致。sklearn的train_test_split加stratify参数就行。

from sklearn.model_selection import train_test_split X_train, X_val, y_train, y_val = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y )

random_state固定是为了可复现。我见过有人不固定随机种子，调参调了半天发现指标波动比调参带来的提升还大，白忙活。

3.3 参数寻优的实操路径

线性核主要调C。C是惩罚系数，C大对误分类惩罚重，容易过拟合；C小间隔大，容易欠拟合。我的做法是在对数尺度上网格搜索，从0.01到100，每十倍一档，先粗搜再细搜。

from sklearn.model_selection import GridSearchCV from sklearn.svm import LinearSVC param_grid = {'C': [0.01, 0.1, 1, 10, 100]} grid = GridSearchCV( LinearSVC(class_weight='balanced', max_iter=10000), param_grid, cv=5, scoring='f1_macro', n_jobs=-1 ) grid.fit(X_train, y_train)

评分指标选f1_macro而不是accuracy，因为类别不平衡时accuracy会被多数类带偏。f1_macro对每个类别一视同仁，更能反映少数类表现。

RBF核要同时搜C和gamma。gamma控制单个样本的影响半径，gamma大影响范围小，边界复杂容易过拟合；gamma小影响范围大，边界平滑。搜索空间同样是log尺度，C取[0.1,1,10,100]，gamma取[0.001,0.01,0.1,1]。

3.4 多分类策略的落地

SVM原生是二分类器，多分类要靠策略拼。sklearn的SVC和LinearSVC默认用一对多（one-vs-rest），每个类别训一个二分类器，预测时取置信度最高的类。另一种是一对一（one-vs-one），每两个类别训一个分类器，投票决定。

一对多的优点是分类器数量等于类别数，训练快，缺点是每个分类器的正负样本不平衡。一对一的优点是每个分类器只面对两个类，边界更清晰，缺点是分类器数量是类别数的组合数，类别多时训练慢。类别数在十个以内，一对一通常效果略好；类别数多，一对多更实用。

from sklearn.multiclass import OneVsOneClassifier from sklearn.svm import LinearSVC ovo_clf = OneVsOneClassifier( LinearSVC(class_weight='balanced', max_iter=10000) ) ovo_clf.fit(X_train, y_train)

3.5 概率输出与阈值调整

SVM不直接给概率，但业务上经常需要概率来做阈值控制。比如垃圾内容识别，你需要按风险等级分流，这时候得知道样本属于正类的概率。

sklearn的SVC加probability=True会用Platt scaling做概率校准，原理是在SVM输出分数上再拟合一个逻辑回归。代价是训练时间变长，因为要做内部交叉验证。LinearSVC不支持概率输出，需要自己套CalibratedClassifierCV。

from sklearn.calibration import CalibratedClassifierCV base = LinearSVC(class_weight='balanced', max_iter=10000) calibrated = CalibratedClassifierCV(base, cv=3, method='sigmoid') calibrated.fit(X_train, y_train) proba = calibrated.predict_proba(X_val)[:, 1]

有了概率就能调阈值。默认0.5不一定最优，要看业务对精确率和召回率的偏好。垃圾内容识别通常偏向高精确率，阈值往上调；意图识别偏向高召回率，阈值往下调。阈值在验证集上按业务目标扫一遍定下来。

4. 常见问题与排查技巧实录

4.1 指标虚高但线上拉胯

这是最典型的问题。验证集F1到0.9，上线掉到0.7。原因通常有三个：数据泄漏、分布漂移、评估方式不对。

数据泄漏最常见的是重复样本跨集合，或者特征里混入了标签相关信息。排查方法是检查训练集和验证集的文本哈希交集，以及看特征重要性里有没有明显异常的强特征。

分布漂移是训练数据和线上数据分布不一致，比如训练用的是半年前的语料，线上是当下的表达。排查方法是拿线上样本做一次无监督的分布对比，看词表覆盖率和OOV比例。OOV比例高说明线上出现了大量训练没见过的词，需要补充数据重训。

评估方式不对是指标选错。类别不平衡时用accuracy会虚高，必须看f1_macro或者各类别的precision/recall。

4.2 训练不收敛或报收敛警告

LinearSVC经常报ConvergenceWarning，意思是迭代次数不够没收敛。解决办法是加大max_iter，从默认1000提到10000甚至50000。如果加大还不收敛，检查特征是否做了归一化，未归一化的高维稀疏特征会让优化过程震荡。

另一个原因是C设得太大，优化目标太陡。先把C降到1试，收敛了再往上调。

4.3 新词和未登录词导致效果下降

文本是活的，新词天天冒。TF-IDF词表是训练时固定的，线上出现训练没见过的词，这些词直接被忽略，信息就丢了。缓解手段有两个：一是用字符级ngram做补充特征，字符级对未登录词更鲁棒；二是定期用新数据重训词表和模型。

字符级ngram的配置是analyzer='char_wb'，ngram_range=(2,4)。中文文本用字符级ngram效果往往不错，因为中文分词本身有误差，字符级绕开了分词问题。

char_vectorizer = TfidfVectorizer( analyzer='char_wb', ngram_range=(2, 4), min_df=2, sublinear_tf=True )

4.4 常见问题速查表

4.5 几个踩过的坑

第一个坑是停用词表用错。中文停用词表网上流传的版本很多，有的把“不”“没”这种否定词也放进去了，情感分类直接崩。停用词表必须按任务定制，否定词、程度副词绝对不能去。

第二个坑是TF-IDF在训练集上fit之后忘了在验证集上只transform。正确流程是fit_transform训练集，transform验证集，绝不能对验证集重新fit，否则验证集信息泄漏。

第三个坑是类别标签用了字符串直接喂模型。SVM要求数值标签，字符串标签要先LabelEncoder编码，预测完再解码回来。忘了编码会直接报错，但更隐蔽的是编码顺序和业务映射对不上，导致结果解读错误。

第四个坑是特征选择在划分数据集之前做。正确顺序是先划分训练验证集，特征选择只在训练集上fit，再应用到验证集。在全集上做特征选择等于用了验证集信息，指标会虚高。

5. 效果评估与迭代方向

5.1 评估指标怎么选才不误导自己

文本分类的评估不能只看一个数。我通常同时看四个：f1_macro、各类别precision/recall、混淆矩阵、以及业务侧的关键指标。

f1_macro看整体均衡表现。各类别precision/recall看短板在哪。混淆矩阵看哪些类别容易混，比如“咨询”和“投诉”经常混，说明这两类的特征区分度不够，需要针对性补特征。业务侧指标比如垃圾内容识别的误杀率，这个比模型指标更贴近真实价值。

交叉验证用分层k折，k取5。折数太少方差大，折数太多训练成本高。5折是性价比平衡点。

5.2 模型迭代的优先级

迭代优先级我按这个顺序：数据质量 > 特征工程 > 模型参数 > 换模型。

数据质量包括去噪、补标、平衡。特征工程包括ngram调整、特征选择、加字符级特征。模型参数就是调C和gamma。换模型放最后，因为前面三步的投入产出比通常更高。

我做过一个对比实验，同一个数据集，baseline是线性SVM加TF-IDF，f1_macro 0.82。只做特征工程优化（加二元词组、调min_df、加字符ngram），涨到0.86。再调C，涨到0.87。换RBF核，0.87。换梯度提升树，0.85。结论很清楚：特征工程的收益最大，换模型未必有提升。

5.3 线上部署的工程考量

模型训完要部署。SVM模型文件不大，线性核的权重矩阵就是特征维度乘类别数，几万维也就几兆。推理时把TF-IDF向量化器和模型一起打包，注意向量化器的词表要固定，线上不能重新fit。

推理延迟主要花在向量化上，SVM打分本身很快。如果QPS高，可以把向量化做成批量，或者用稀疏矩阵运算优化。我实测过单条推理在毫秒级，批量推理吞吐能到几千QPS，中小规模业务完全够用。

模型更新策略上，我建议定期重训，周期看数据漂移速度。快消类文本一个月重训一次，稳定领域三个月一次。重训前用新数据做一次评估，确认指标没有明显下降再替换线上模型。

6. 我个人在实际操作中的几点体会

做文本分类这些年，SVM给我的感觉是“老实”。它不会给你惊喜，但也很少让你失望。参数少、行为可预期、训练快，这些特性在工程落地时比多涨一个点更值钱。

我最深的一个体会是：文本分类的瓶颈几乎从来不在模型，而在数据和特征。你花三天调C和gamma，不如花三天把停用词表和标注质量梳理一遍。SVM的最大间隔准则已经足够优雅，它需要的是干净的输入，而不是更花哨的核。

另一个体会是关于“够用”的判断。很多团队一上来就想上预训练模型，觉得SVM太老。但如果你的任务边界清晰、样本量中等、延迟要求高，SVM加TF-IDF的组合在性价比上是碾压的。先把baseline跑通、把数据闭环建起来，比追新更重要。

最后分享一个小技巧：调参之前先把验证集指标的标准差算出来。如果五折交叉验证的f1标准差是0.02，那你调参涨0.01根本没有意义，纯属噪声。先看方差再看均值，能省掉大量无效调参时间。这个习惯我从做SVM开始养成，后来做任何模型都受用。