简介这份资源面向数据挖掘与自然语言处理入门者围绕朴素贝叶斯算法构建真假新闻分类模型帮助读者掌握从数据准备到模型评估的完整文本分类流程。压缩包共4个文件约27.2MB包含Fake.csv与True.csv两份新闻数据集、一份HTML格式实验报告以及一份可交互运行的ipynb代码文件覆盖数据清洗、停用词处理、词袋与TF-IDF特征提取、分类器训练及准确率、精确率、召回率、F1分数等评估环节。已有163人学习下载。读者可借助现成数据集与代码快速复现实验理解条件概率计算与泛化能力调优思路并在此基础上尝试交叉验证、正则化或集成方法改进模型适合作为课程设计、实战练习与文本分类入门的参考案例。1. 真假新闻分类模型从一条标题到一套可复现的朴素贝叶斯方案刷到一条“某地突发惊人事件”的推送点进去发现是三天前的旧闻换了张图做内容审核的朋友更头疼一天几千条投稿人工根本看不过来。真假新闻分类模型要解决的就是这件事给一段文本判断它更像真实报道还是编造内容。朴素贝叶斯算法在这个场景里是性价比极高的起点——训练快、样本需求小、可解释性强特别适合数据挖掘入门和中小规模文本二分类。这套“数据集代码”的组合核心链路是文本清洗、分词、向量化、朴素贝叶斯训练、评估与调参。适合有 Python 基础、想跑通第一个完整 NLP 分类项目的读者也适合需要快速搭一个内容初筛原型的工程师。下面按“先立住原理、再动手复现、最后讲坑”的顺序拆开讲。2. 朴素贝叶斯做文本分类为什么它还没被淘汰2.1 从贝叶斯公式到“朴素”假设朴素贝叶斯分类器的根是贝叶斯定理给定文本 (d)它属于类别 (c) 的概率正比于该类别的先验概率乘以该类别下出现这些词的条件概率。写成公式就是 (P(c|d) \propto P(c) \prod P(w_i|c))。那个“朴素”就落在连乘上——它假设每个词在给定类别下相互独立显然不成立但正是这个假设让计算量从指数级降到线性级。对真假新闻这种二分类任务这个假设带来的偏差往往可以接受。原因是新闻文本里真正有判别力的信号集中在少数关键词和短语上比如“据新华社”“官方通报”偏向真实“速转”“惊天”“删前速看”偏向可疑。朴素贝叶斯对这类强信号捕捉得很好反而不容易被无关词的组合噪声带偏。我一般会先跟新手强调不要因为“假设不成立”就跳过它。文本分类里朴素贝叶斯经常和逻辑回归、SVM 打得有来有回而训练时间可能只有后者的几十分之一。数据挖掘项目里先跑通基线比一上来追 SOTA 重要得多。2.2 三种变体怎么选多项式、伯努利、 complementscikit-learn 里常用的朴素贝叶斯变体有三个选错了效果会差一截。变体适用特征真假新闻场景建议MultinomialNB词频或 TF-IDF 值首选文本长度中等以上表现稳BernoulliNB二值特征词出现/不出现短文本、关键词稀疏时可用ComplementNB词频适合类别不平衡假新闻样本远少于真新闻时优先试真假新闻数据集通常真新闻偏多假新闻偏少属于类别不平衡。ComplementNB 就是为这种场景设计的它用补集类别的权重来修正决策边界。我的习惯是三个都跑一遍用交叉验证的 F1 值说话不要凭感觉选。2.3 文本向量化词袋和 TF-IDF 的取舍朴素贝叶斯吃的是数值特征文本得先转成向量。最直接的是词袋模型CountVectorizer统计每个词在文档里出现多少次。问题是“的”“了”“是”这类高频词会淹没真正有信息量的词。TF-IDFTfidfVectorizer用逆文档频率压制常见词通常效果更好。但 TF-IDF 也不是万能。如果假新闻的特征恰恰是某些高频口语词反复出现TF-IDF 的压制反而会削弱信号。我的做法是先用 TF-IDF 跑基线如果混淆矩阵显示假新闻召回率明显偏低再换回 CountVectorizer 对比。参数上max_features控制在 5000 到 20000 之间ngram_range从 (1,1) 开始效果不够再加到 (1,2) 捕捉“据 报道”这类二元短语。3. 从零跑通数据集准备与预处理代码3.1 数据集结构与读取这类“数据集代码”压缩包通常包含两个文件夹或两个 CSV一个放真新闻文本一个放假新闻文本。常见结构是True.csv和Fake.csv每行有title、text、subject、date等列。读取时先确认编码中文数据集常见 UTF-8 或 GBK英文数据集基本是 UTF-8。import pandas as pd # 读取真假新闻数据集注意编码 true_df pd.read_csv(True.csv, encodingutf-8) fake_df pd.read_csv(Fake.csv, encodingutf-8) # 打标签真新闻为 0假新闻为 1 true_df[label] 0 fake_df[label] 1 # 合并并打乱顺序 df pd.concat([true_df, fake_df], ignore_indexTrue) df df.sample(frac1, random_state42).reset_index(dropTrue) print(df.shape) print(df[label].value_counts())这段代码做了三件事分别读取两个类别、打上 0/1 标签、合并后随机打乱。random_state42保证每次运行顺序一致方便复现。value_counts()用来检查类别是否平衡如果假新闻只有真新闻的十分之一后面评估就不能只看准确率。3.2 文本清洗与分词原始新闻文本里混着 HTML 标签、URL、标点、数字。清洗的目标是去掉对分类无用的噪声但不要过度清洗把信号也删了。比如“”在假新闻里出现频率明显偏高可以保留URL 基本是噪声去掉。import re def clean_text(text): # 转小写 text text.lower() # 去掉 URL text re.sub(rhttp\S|www\S, , text) # 去掉 HTML 标签 text re.sub(r.*?, , text) # 去掉多余空白 text re.sub(r\s, , text).strip() return text df[clean_text] df[text].apply(clean_text) # 中文数据集需要分词英文用空格切分即可 # 中文示例import jieba # df[clean_text] df[clean_text].apply(lambda x: .join(jieba.cut(x)))clean_text函数按顺序做小写化、去 URL、去 HTML、压缩空白。中文数据集要多一步 jieba 分词把连续汉字切成空格分隔的词序列否则 sklearn 的向量化器会把整句当一个词。英文数据集不需要分词但要注意lower()之后专有名词信息会丢失如果发现效果下降可以去掉这一步。3.3 划分训练集与测试集划分之前要确认没有数据泄漏。如果同一个新闻的标题和正文被拆到不同集合模型会“作弊”。按行划分时用stratify保证训练集和测试集类别比例一致。from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( df[clean_text], df[label], test_size0.2, random_state42, stratifydf[label] ) print(f训练集: {X_train.shape[0]}, 测试集: {X_test.shape[0]})test_size0.2是常见起点数据量小于一万条时可以调到 0.3 让评估更稳。stratify参数在类别不平衡时必加否则可能出现测试集里假新闻只有个位数的情况评估结果没有统计意义。4. 训练朴素贝叶斯分类器管道、参数与评估4.1 用 Pipeline 串起向量化和分类器sklearn 的 Pipeline 把向量化和分类器绑在一起好处是交叉验证时向量化只在训练折上拟合避免测试集信息泄漏。这是很多人手写代码时容易翻车的地方。from sklearn.pipeline import Pipeline from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB pipeline Pipeline([ (tfidf, TfidfVectorizer( max_features10000, ngram_range(1, 2), min_df2, max_df0.95 )), (nb, MultinomialNB(alpha1.0)) ]) pipeline.fit(X_train, y_train)max_features10000保留 TF-IDF 值最高的 10000 个词控制内存和训练时间。ngram_range(1,2)同时看单词和二元短语能捕捉“据 报道”这类组合。min_df2丢掉只出现一次的词减少噪声。max_df0.95丢掉出现在 95% 以上文档里的词相当于自动停用词过滤。alpha1.0是拉普拉斯平滑防止某个词在训练集没出现导致概率为零。4.2 评估指标准确率不够要看 F1 和混淆矩阵真假新闻分类里把假新闻判成真新闻漏报和把真新闻判成假新闻误报代价不同。漏报会让假消息扩散误报会误伤正常内容。所以不能只看准确率。from sklearn.metrics import classification_report, confusion_matrix y_pred pipeline.predict(X_test) print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred, target_names[真新闻, 假新闻]))classification_report给出每个类别的精确率、召回率和 F1。如果假新闻的召回率低于 0.8说明模型漏掉太多假新闻需要调整。confusion_matrix的四个格子分别对应真判真、真判假、假判真、假判假一眼能看出模型偏向哪边。4.3 调参alpha 和特征数怎么定alpha是朴素贝叶斯最重要的参数。太小容易过拟合太大会把概率拉平导致欠拟合。我的经验是先在[0.01, 0.1, 0.5, 1.0, 2.0]里用网格搜索找最优再微调。from sklearn.model_selection import GridSearchCV param_grid { tfidf__max_features: [5000, 10000, 20000], nb__alpha: [0.01, 0.1, 0.5, 1.0] } grid GridSearchCV(pipeline, param_grid, cv5, scoringf1, n_jobs-1) grid.fit(X_train, y_train) print(grid.best_params_) print(grid.best_score_)cv5做五折交叉验证scoringf1关注正类假新闻的 F1。n_jobs-1用满 CPU 核数加速。网格搜索的结果要结合业务看如果最优参数是边界值比如 alpha0.01 最好说明搜索范围不够要往外扩。5. 避坑与排查真假新闻分类里最容易翻车的五件事5.1 现象测试集准确率 99%上线后一塌糊涂原因数据泄漏。常见情况是数据集里真新闻和假新闻的来源不同比如真新闻都来自某通讯社、假新闻都来自某网站模型学到的其实是来源特征而不是内容特征。另一个可能是标题和正文被拆到不同集合。解决检查数据集的采集方式如果两个类别的文本长度、来源、时间分布差异很大要做去偏处理。划分数据时按来源分组划分确保同一来源的样本只出现在一个集合里。5.2 现象假新闻召回率极低大量假新闻被判成真新闻原因类别不平衡。假新闻样本远少于真新闻时模型倾向于把大多数样本判成多数类。另一个原因是假新闻的特征词在训练集里被 TF-IDF 压制了。解决换用 ComplementNB或者在class_prior参数里手动设置类别先验。也可以对假新闻做上采样但要注意上采样后要重新划分验证集否则评估会偏乐观。5.3 现象训练时内存爆了或者训练时间特别长原因max_features设得太大或者ngram_range开到了 (1,3) 以上。三元组特征数量是单词的几十倍稀疏矩阵会撑爆内存。解决max_features控制在 20000 以内ngram_range先用 (1,1) 跑基线确认有效再加到 (1,2)。如果数据量超过十万条考虑用HashingVectorizer替代TfidfVectorizer它不需要维护词表内存占用固定。5.4 现象中文数据集效果远差于英文原因分词没做或者分词工具把关键短语切碎了。比如“据新华社报道”被切成“据”“新华社”“报道”二元组能部分补救但三元组才完整。解决中文必须分词jieba 的cut默认精确模式可以加自定义词典把“新华社”“官方通报”这类领域词固定住。分词后ngram_range至少设到 (1,2)有条件上 (1,3)。5.5 现象模型在验证集上表现很好换一批新闻就崩原因过拟合到训练集的词汇分布。新闻事件有周期性训练集里的热点词在测试时可能已经过时。解决按时间划分训练集和测试集用旧新闻训练、新新闻测试模拟真实上线场景。如果效果下降明显说明模型依赖时效性词汇需要引入更稳定的特征比如词性、句法结构或者用预训练词向量替代 TF-IDF。6. 进阶技巧用交叉验证和错误分析把模型再推一步跑通基线之后别急着换模型。我一般会先做两件事一是用交叉验证看模型稳不稳二是把预测错误的样本捞出来看规律。交叉验证用cross_val_score跑五折看 F1 的均值和标准差。如果标准差超过 0.05说明模型对数据划分敏感可能是样本量不够或者特征不稳定。这时候增加数据比调参更有效。from sklearn.model_selection import cross_val_score scores cross_val_score(pipeline, X_train, y_train, cv5, scoringf1) print(fF1 均值: {scores.mean():.4f}, 标准差: {scores.std():.4f})错误分析更直接把测试集里预测错的样本拿出来看它们的共同点。我做过的一次排查发现假新闻里带“网友爆料”的样本几乎全被判成真新闻原因是训练集里“网友爆料”在两类中都出现TF-IDF 权重被拉平了。解决办法是把这个短语加入自定义特征或者用CountVectorizer保留它的原始频次。另一个技巧是特征重要性分析。朴素贝叶斯的feature_log_prob_属性可以看每个词在两类下的对数概率差差值大的词就是判别力强的特征。把这些词打印出来既能验证模型学到了什么也能发现数据里的偏见。import numpy as np # 获取 TF-IDF 词表 feature_names pipeline.named_steps[tfidf].get_feature_names_out() # 获取两类下的对数概率 log_prob pipeline.named_steps[nb].feature_log_prob_ # 计算差值假新闻概率 - 真新闻概率 diff log_prob[1] - log_prob[0] # 取差值最大的 20 个词 top_fake np.argsort(diff)[-20:] top_true np.argsort(diff)[:20] print(假新闻特征词:, [feature_names[i] for i in top_fake]) print(真新闻特征词:, [feature_names[i] for i in top_true])这段代码输出的词表很有价值。如果假新闻特征词里出现大量情绪化词汇说明模型抓到了正确信号如果出现的是某个特定来源的专有名词就要警惕数据泄漏。我习惯把这份词表存下来每次换数据集都对比一下看模型关注点有没有跑偏。最后说一个我踩过的坑不要用测试集反复调参。测试集只能用一次调参要在训练集内部用交叉验证做。我见过太多人把测试集当验证集用最后上线效果和报告差一大截。把测试集锁在硬盘里直到模型定稿再拿出来跑最终评估。希望帮到你。本文还有配套的精品资源点击获取