EMNLP 2026 的 AI 审稿演示现场，出了一个挺尴尬的场面：大模型正在点评一篇论文的摘要，屏幕上生成了一句“该工作将准确率提升了 21.3%”，然后场下有观众立刻举手：“原文写的是 12.3%，你把数字读反了。”
演示者愣了两秒，调出原始摘要投到大屏，白纸黑字就是 12.3%。现场先是安静了一下，接着就炸开了——搞 NLP 的这群人太清楚这个现象了，但真正在官方场合、当着几百人的面被 AI 演示“翻车”，这还是头一回。
这个标题其实信息量很大，值得好好拆一下。EMNLP 是自然语言处理领域的顶尖会议，官方愿意把 AI 审稿搬到台面上演示，本身说明“用大模型辅助审稿”这条路已经被摆到正式议程上了；而“AI 把数字说歪”这个细节，恰好戳中了所有大模型应用的软肋——文本能力再强，一碰到数字就容易露馅。这篇文章我不打算只复述那段演示，而是想把它当成一个引子，把“为什么 AI 会把数字说歪”“这种现象会给实际工作造成多大麻烦”“我们到底该怎么防”这三件事讲透。不管你是做 NLP 研究的、用 AI 辅助写论文的，还是日常跟模型打交道要处理数据分析的，这篇内容应该都能对得上。
1. 官方演示现场：AI 审稿在台上把数据改了样
1.1 演示环节是怎么设计的
先还原一下现场。EMNLP 这类顶会这几年最头疼的问题，其实是投稿量年年暴涨，审稿人资源越来越不够用。2023 年就有人开始提“用大模型辅助审稿”的想法，到 2026 年官方终于把这套东西从幕后实验搬到了台前演示，背后推着的就是产能焦虑。
演示流程大致分三段：第一段跑投稿摘要自动分类，第二段生成初审意见草稿，第三段做稿件质量初筛。现场用的是开源模型、本地服务器部署，没有联网检索论文库。光这个设计就值得注意——官方特意把“离线运行”标出来，其实是提前给自己留了个解释空间：我们这版只是演示，不连外部数据。
前两段跑得都挺顺畅，分类准确率看起来也不赖。真正的意外出在生成初审意见草稿那一段。
1.2 当场翻车的具体瞬间
演示者上传了一篇已经公开发表的论文作为样例（做了脱敏处理），AI 生成的初审意见里出现了这么一句：
“该研究在扩大样本后统计显著性依然稳定，不过论文中报告的效应量偏低（ES = 0.02）。”
问题在于，原始论文里写的效应量是 0.20，小数点被挪了一位。更要命的是，AI 不是单纯抄错，它还真就基于“ES = 0.02”这个错误数值，往下推出了一条结论——“建议作者重点讨论效应量过小对结论稳健性的影响”——成了顺水推舟的自洽错。
台下那位观众指出问题后，现场工作人员做了一件事：把随机种子换掉，重新跑了一遍同样的生成流程。结果错误依然存在，而且错法几乎一模一样。就是说，这不是“运气不好碰到一次”，而是模型在这个任务上稳定输出错误数值。这个复现动作比错误本身更能说明问题——数字失真不是随机抖动，是系统性的。
回头看现场记录，AI 还干了几个让人皱眉的事：
- 原文说“准确率提升了 12.3%”，AI 写成了“提升了 21.3%”。
- 摘要里的“443 份有效问卷”，AI 在后续总结里引用成了“343 份”。
- 参考文献发布年份“2022”被顺手改成了“2024”。
- 更迷惑的是，AI 在样本量判断上“官方建议补充更多样本”，可原文的样本量是 5000，它大概率只“看”到了前面的 500。
前三条勉强还能用“抄错”来解释，最后一条意味着模型连数字背后的量级都没形成概念——五千和五百，差着一个数量级。
1.3 为什么官方要把这一幕公开演示出来
当时也有人疑惑：这么明显的翻车，官方为什么不剪掉，反而让它完整播出来？
我的理解是，这段演示的真实目的，恰恰就是向整个学术社区公开划定 AI 审稿的信任边界。这几年顶会审稿的质量争议一直没停过，作者抱怨审稿意见乱来，审稿人抱怨工作量爆炸。官方如果只展示 AI 审稿的光鲜一面，反而会被认为是在掩盖问题。当众演示一个“AI 已知的、可复现的、有机制解释的缺陷”，等于在说：我们清楚它的短板，也在研究如何规避它。这种公开方式，比一个“全对”的 demo 更有信息量。
当然，对旁观者来说，这一课是记下了：AI 审稿意见里的数字，不能直接信。
2. 数字为什么总被“说歪”：大模型处理数值的三层机制缺陷
标题里那句“AI 把数字说歪”，用得非常传神。“说歪”不是“算错”——算错至少说明在算；说歪是语感层面就不对，模型只是在顺着语言惯性往外吐词，数字在它那儿只是词的一种，不具备“量化”的语义。拆开看，这个缺陷至少来自三层机制。
2.1 第一层：数字进了 tokenizer 就被“肢解”了
所有基于 Transformer 的大模型，读文本前都要先把文本切成 token（词元）。问题是，分词器切分文本时，根本不知道哪些片段是数字、哪些是普通单词。数字一旦被切成碎片，数值的整体语义当场丢失大半。
拿“12.3%”举例。在常见 BPE 分词器里，它大概率会被切成类似["12", ".", "3", "%"]这样一组 token。模型看到的不是“一个数 12.3”，而是四个孤零零的碎片：12、小数点、3、百分号。人类读起来一目了然，模型得靠注意力机制自己去拼凑这串碎片的“数字关系”。
更隐蔽的是词汇表覆盖差异。像 100、2020 这种常见数字，词汇表里可能直接存了整段，模型一眼就能“认出来”。但换成 0.0387、1739 这种不太常见的数，就得被拆得稀碎，能利用的上下文线索也少，出错概率直线上升。这也能解释为什么 AI 把 12.3% 改成 21.3%：12 和 21 在 token 层面可能就隔着一个交换位置，模型采样时稍微跑偏，就选了倒序的写法。
2.2 第二层：生成数字靠“猜词”而不是“计算”
这是最容易让非技术背景用户误解的一点。大模型生成文本的方式，是每一步根据前面已经生成的内容，去预测下一个 token 的概率分布，再从中采样。它从头到尾没有一个“计算器”参与，也没在做算术。
那为什么让它算“23 加 45”有时候能算对？因为这种简单算式在训练语料里出现过太多次了，模型把“23+45=68”这个答案“背”下来了。可一旦换成稍微冷门一点、或者需要多步推理的数值计算，它就原形毕露——没有外部计算逻辑兜底，全靠语感去编。
所以现场那个效应量 0.02 的错误，本质是模型在“估摸”一个可能的数值，而不是在验证计算结果。它知道“0.02”和“0.20”长得像，都在语境里出现过，但它没有“区分量级”的压力。程序员朋友可以类比一下：错的不是显式运算逻辑，是“数据类型安全”——模型压根没把数字当数值类型对待。
2.3 第三层：长上下文里的注意力漂移
Transformer 的注意力机制在处理长文本时是稀疏的：模型不会对每一个词都均匀用力，而是优先关注在语义上“更显眼”的部分。问题恰恰出在这里——数字在文本里通常一点也不显眼。
尤其当一句话里同时出现多个数字时，注意力尤其容易串位。比如“我们招募了 5000 名患者，其中 3240 名接受了治疗，平均年龄 46.3 岁”——如果让模型复述这条信息，它会把年龄、人数、比例混着来，甚至把“3240”缩成“324”。“该研究扩大样本后效应量为 0.20”这种长句里，0.20 和目标动词“效应量”的距离一旦拉远，注意力就会在中间环节衰减掉，最终抄出一个相似但错误的数值。
现场演示里，摘要总共两三百字，AI 照样把 12.3 抄成 21.3。这说明问题跟上下文长度没有绝对关系，而是数字本身的“低显著性”决定了它很容易在注意力分配里被牺牲掉。
2.4 顺带说一句：为什么它错得毫无心虚
我注意到一个细节：AI 把数字改错之后，语气没有任何迟疑。这是大模型的另一个已知特点——它倾向于给自己生成的内容保持“高置信度”的表达方式，即使内容本身是错的。写出来的审稿意见依然专业、流畅、严密，仿佛那个 0.02 是经过严谨计算得到的。
这其实是最危险的地方。数字错了，但文本的“合理性”没跟着塌，读者很容易被这种专业感带节奏。后面我会专门讲怎么防这个问题。
3. 数字失真从演示台蔓延到工作台：真实应用场景只会更坑
会议演示翻车，说到底还在可控范围——毕竟现场有观众盯着，事后也会有更正。但同样的数字失真问题，放到日常工作流里，往往是悄无声息发生、悄悄产生后果，直到某天被上级或同行发现。
3.1 让 AI 把数据写成叙述段落时，最容易出错
我自己最常踩的坑，是让 AI 把表格数据改写成报告段落。有一回我要求模型把“Q3 营收同比增长 11.7%”扩写成一段业务分析，结果它输出“同比增长 17%”，并在后面接了一句语气非常笃定的解读：“这表明增长动能明显增强”。你看，它不但改了数字，还把解读也一并升级了。
如果不是我习惯性回数据源核对，这段内容很可能就直接进了周报。后来我总结出一条规律：AI 的“文本润色”能力越强，它包装错误数字的“能力”也越强。它并不是在故意骗人，而是在其语言模型的本能里，“数字+结论”搭配得越自然，整体生成概率越高。毕竟训练数据里，报告中的数字通常都支撑着某个结论，模型就学会了这种捆绑。
3.2 学术论文场景：数字错位可能直接导致退稿
学术论文里，数字是硬通货。受试者人数、p 值、置信区间、样本基线、模型参数，任何一处被改歪，后果都比业务报告严重得多。
我见过一个相当典型的“错误链”：作者用 AI 做英文润色，AI 把方法论部分的“5000 个样本”顺手抄成了“500 个样本”，作者没有逐段核对，直接提交。到了同行评审阶段，审稿人首先质疑的就是样本量与统计效力不匹配。作者一看傻了眼，只能撤稿澄清。像这种事故，本质不是模型产生了幻觉，而是模型在“复制—粘贴”的过程中，让数字穿越了量级。
更麻烦的是，AI 还会把数字错误扩散到结论。比如 AI 看着“样本量较小（500 人）”，就在讨论部分自动加了句“本研究样本量有限，结论推广需谨慎”——完全围绕一个错误的数字展开建议。这种“自洽性错误”在学术写作里尤其致命，因为它能骗过对原始数据不敏感的合著者。
3.3 连“检查 AI 有没有改数字”这件事，AI 自己都做不好
我尝试过用 AI 自己检查数字错漏，方法是让模型同时读原文和改写文，列出所有不一致。想法是好的，现实是崩溃的：初审没过，因为模型在抽取数字时又把 12.3% 和 21.3% 搞混了；它把“两个数字不一致”这件事本身报告成了“12.3% 和 12.3% 一致”。
不是说完全不能用，而是说不能把“数字核对”这个任务整体委派给同一个模型。它写错、检查错，错在同一个机制里，存在一种“盲区重叠”——模型不会看到自己视角之外的错误。所以真正靠谱的核对，要么走规则脚本，要么人类亲盯，不能只靠 AI 自查。
3.4 会议审稿场景的数字风险，比日常写作更大
回到 AI 审稿本身。审稿意见里的数字错误，比普通写作错误多一层风险：它会影响作者的信任感。人类审稿人偶尔也会引用错数据，但同样的问题放在 AI 身上，作者的容忍度会低很多——“你连我的数据都读不对，凭什么给我提意见？”
这也解释了 EMNLP 现场演示翻车为什么会引发大规模讨论：当 AI 从“辅助工具”变成了“审稿环节”的一部分，作者会本能地用更高的标准要求它。数字没有读准，其他建议再专业，也容易被打折扣。信任这种东西，建立起来需要一百次正确，摧毁一次就够了。
4. 我自己的防“数字翻车”排查流程：三步对照法
被坑的次数多了，我慢慢形成了一套固定的数字排查流程。不复杂，但能覆盖大部分场景。这里分享出来，可以直接拿去用。核心思路只有一句话：把 AI 输出里的数字，从流畅的叙述流里单独拎出来，跟源头信息逐项对齐。
4.1 第一步：先把 AI 输出里的数字“全量抽取”
不要靠肉眼去一句句扫，肉眼在长文本里很容易漏，而且注意力会被模型的流畅表达带偏。第一步应该是“机械提取”，让数字无处可藏。
我通常会先给 AI 发一条这样的指令：
请把上面这段内容里出现的所有数字、百分比、年份、统计量都单独列出来，每一项都要注明它出现在哪个句子里，并且标注它所属的类别（样本量/比例/年份/统计指标）。
命令 AI 先把数字剥离出来，相当于给后续核对造了一张“数字清单”。这一步建议让 AI 做粗提取，然后再用脚本兜底验一遍。
平时我用的脚本也很简单，Python 正则就行：
import re # 这里替换成你实际要检查的 AI 输出文本 ai_text = """ 该工作将准确率提升了21.3%，在443份有效问卷的基础上完成分析。 模型训练于2024年，参数量约为1.8B。 """ # 抽所有数字（含小数和百分号） digits = re.findall(r'\d+(?:\.\d+)?%?', ai_text) for d in digits: print(d)输出会是：
21.3% 443 2024 1.8B看着这么列出来，跟原文一比对，问题立刻无处遁形。正则的优势是不受模型情绪和语气影响，只认规则，绝不“改词”。
4.2 第二步：跟源文档逐项对齐
拿到数字清单之后，别急着往下走，要对齐源头数据。这一步我习惯建一个小表格，左边放源文本里的数字，右边放 AI 输出里的数字，中间放一个“是否一致”的结论。
| 源文本位置 | 源数字 | AI 输出数字 | 是否一致 | 不一致的影响 |
|---|---|---|---|---|
| 摘要第三句 | 12.3% | 21.3% | 否 | 结论夸大 |
| 方法—问卷 | 443 份 | 343 份 | 否 | 样本量描述错误 |
| 参考文献年份 | 2022 | 2024 | 否 | 引用信息错误 |
说实话，这一步是全场最枯燥的，但也是最有价值的。我见过很多“AI 用得很好”的朋友，就摔在这一步：嫌麻烦，跳过了，然后到交付环节被对方指出数字错误。如果觉得这个表太原始，也可以直接在文档里做高亮对比，关键是“逐项”，不是“大致看了看”。
4.3 第三步：对“衍生结论”单独复查
前两步只解决了“数字本身对不对”，第三步才是真正的坑，需要专门盯 AI 基于错误数字产生的“衍生结论”。
什么叫衍生结论？就是“建议补充更多样本”“效应量偏低，需讨论稳健性”“增长动能明显增强”这类判断性句子。这些句子通常不带数字，看起来人畜无害，但它们背后往往藏着某个数字依据。一旦那个数字是错的，整条结论就等于站在沙子上。
我的检查习惯是：对 AI 意见里每一个“建议类”句子，都反向要求它补充“依据数字”。它在审稿意见里说“建议补充更多样本”，我就回查它是不是因为把 5000 看成了 500。有时候模型给出的依据数字来源不明，那就得小心了——大概率是它自己脑补的，不是论文里写的。
4.4 给高危数字设置“禁区标记”
最后分享一个我实际用下来很有效的小技巧：对“碰都不能碰”的数字，在输入给 AI 之前就做特殊标记，让模型知道这是实体、不可改写。做法很简单，把关键数字用尖括号包起来：
该研究将准确率提升了
<12.3%>，使用了<443>份有效问卷，效应量为<0.20>。
加了标记之后，模型把数字当成类似“专有名词”的东西处理，改写它的概率会明显下降。原理也不复杂：普通数字在概率分布上像“自由词”，被替换的余地大；但一旦包进特殊格式里，模型往往倾向于原样保留这个“不透明 token 串”。这个技巧不能覆盖所有场景，但聊胜于无，尤其适合摘要润色、审稿意见整理这种“改写类”任务。
5. 对 AI 审稿的重新审视：能放心交出去的活，和必须留在人手里的活
EMNLP 官方演示里的 AI 审稿，不是说因为它会读错数字就一无是处。恰恰相反，我认为 AI 审稿的真实价值被“数字翻车”这一幕掩盖了不少。关键不在于“能不能用”，而在于“哪里能用、哪里不能用”。
5.1 AI 审稿真正擅长的领域
先说能放心交出去的部分。经过我的长期使用，以下四类审稿辅助工作，AI 做得相当稳：
- 结构完整性检查：摘要有没有交代背景、方法、结果、结论，AI 一眼就能看出缺哪块。
- 参考文献格式检查：这项本来就偏规则，模型做得比人快得多。
- 图表质量初步判断：分辨率、坐标轴标签、图例缺失这类明显问题，AI 比人眼扫得更全。
- 审稿人匹配：按主题关键词匹配合适的审稿人，模型基于语义相似度做排序，比纯关键词匹配靠谱不少。
以上这些短板不在数字上，而在结构、格式、匹配这类“文本特性”上，恰好是语言模型的主场。
5.2 AI 审稿绝对不能碰的雷区
但下面几件事，我认为现阶段无论如何都要留给人来做：
- 数值准确性核验：任何数字、统计量、百分比，都不该让 AI 当最后一道闸门。
- 统计学方法是否恰当：模型不了解实验设计背后的领域约束，很容易用“通用标准”套特殊场景。
- 创新性判断（novelty）：创新性本质上依赖领域内非常细的 prior work 理解，AI 很容易走极端——要么觉得啥都见过，要么觉得啥都新鲜。
- 最终录用建议：这个不分技术，纯属流程责任问题。录用决定必须有人类署名负责，不能甩给算法。
这些雷区的共同点，是它们都不适合“语言流畅度”来支撑，而需要真正的判断力。数字错误只是明面上的一个案例；暗处还有统计误读、方法误诊、创新性错杀，只是没那么容易被现场观众一眼抓到。
5.3 如果一定要用 AI 辅助审稿，我的用法是这样
我不会完全弃用 AI 审稿，但用法上会刻意留一道人工防线。核心原则是：把 AI 当“第一读者”，不作为“最终审稿人”。
具体流程可以这么搭：
- AI 先按固定 checklist 出审稿草稿。
- 人类审稿人拿到草稿后，只把它当作“线索清单”，逐项回原文验证。
- 所有带数字的句子，一律强制回原始数据源核对，不允许直接沿用 AI 的引用。
- 最终审稿意见里，AI 生成的句子必须经过两次人工确认才有资格保留；订单归属和学术判断责任，始终在人类身上。
- 如果面向作者回收审稿反馈，建议把 AI 痕迹去掉，只保留经过核验的最终意见。
这套流程不花哨，但能明显降低“数字说歪”这种问题流到作者手里的概率。说白了，AI 的作用是帮人先扫一遍、筛一遍，把人的精力聚焦到真正需要判断力的地方；它的“错误描述”可以被包容，只要人没有把判断权也一起让渡出去。
我在实际使用中的体会是：每次跟 AI 合作完一批内容，花十分钟做一次“数字线条检查”，大概率能逮住至少一处错误。这不是模型笨不笨的问题，而是模态本身的盲区。文本处理和数值校验，本来就是两套能力，现阶段不要指望一件事情全部打包交给大模型搞定。EMNLP 2026 那场演示，与其说是给 AI 审稿泼了盆冷水，不如说是在最合适的时机划下了一条使用边界——知道它会在哪儿栽跟头，你才能真正放心地把其余活儿交给它。
