ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

LLM为何不是AGI钥匙?从世界模型到具身智能的技术边界剖析

LLM为何不是AGI钥匙?从世界模型到具身智能的技术边界剖析

最近和几个做模型的朋友交流,大家不约而同聊到一个话题:LLM 确实是这几年最让人兴奋的技术突破,但越来越多的证据表明,它可能不是通往 AGI 的那把钥匙。这个判断听起来有点唱衰的味道,但真不是头脑一热得出的结论,而是我在一线调模型、拆案例、做落地产品之后逐步形成的务实想法。今天想把“为什么 LLM 无法带我们走向通用人工智能(AGI)”这件事完整拆开聊一聊,既讲技术底层的原因,也会带上一些从实际项目中看出来的边界,希望能帮大家把 LLM 的能力和天花板看得更清楚。

这篇文章适合正在做大模型训练的工程师、用 LLM 做产品的同学,也适合对 AGI 议题感兴趣但还没系统梳理过相关观点的读者。我会尽量把概念讲得通俗一些,把关键分歧点讲透,也会在最后聊聊我认为更值得投入的方向。如果你最近也在纠结“LLM 到底有没有智能”,这篇也许能给你提供一个相对完整的观察框架。

1. 先对齐一个基本问题:LLM 和 AGI 到底差在哪

1.1 LLM 的真实身份:一个概率语言引擎

很多人把 LLM 和“通用人工智能”划等号,是因为他们在聊天界面里看到了一个能写代码、能写诗、能回答各种问题的强大模型。这种体验确实容易让人产生“它什么都会”的错觉,但如果我们回到技术本质,LLM 做的事情其实非常单一:给定一串历史 token,预测下一个 token 的概率分布。

这个机制听起来简单,但工程上做出来的效果很惊人。参数量足够大、训练数据足够多之后,模型学会了语法、记住了海量事实、能够模仿多种写作风格,甚至在部分推理基准上超过了人类的平均水平。但注意,这些能力的来源依然是“统计模式的学习”,而不是“对世界的理解”。模型能写出苹果为什么会从树上掉下来,是因为训练语料里无数篇文章重复过这个因果关系,而不是因为它“亲身理解”了重力。

我在实际项目中有一个很直观的体验:模型对常见问题的回答非常流畅,但一旦涉及训练数据里非常少见的组合,比如一个冷门设备的特殊故障代码,它会立刻开始“编”,而且编得特别自信。这恰恰说明了 LLM 的本质——它是一个概率语言引擎,擅长在见过的模式里做统计插值,而不是一个拥有内部世界模型和推理机制的理解者。

1.2 AGI 的完整图景:不只是会说话

AGI,也就是通用人工智能,虽然没有公认的唯一标准,但行业里大致有一个共识框架:它应该能像人类一样,在没有专门训练的情况下,理解、学习、推理、规划,并把这些能力迁移到广泛的任务中。语言能力只是其中一块,不是全部。一个完整的 AGI 还需要具备感知能力、行动能力、长期记忆、目标设定、自我纠错,以及对现实世界的因果建模。

拿我们自己来类比:一个人类成年人,不仅能说话,还能走路、抓取物体、判断距离、规划路线、识别他人情绪、在意外发生时现场调整策略。这些事情里,语言只占很小一部分。更重要的是,人类具备“在真实环境里不断学习”的能力——你可以教会一个小孩做一道新菜,他不需要重装整个大脑,也不需要把之前学过的所有知识重新学一遍,他只需要在现有基础上增量更新。

LLM 做不到这一点。它的知识在学习完成之后就冻结在权重里,除非重新训练或微调,否则不会因为使用而增长。更麻烦的是,它没有“身体”,没有“连续的经验流”,它的全部输入就是离散的文本 token。你说它很擅长语言处理,我完全同意;你说它能靠语言处理走向通用智能,我持强烈的保留态度。因为通用智能需要的基本功,它几乎缺了大半。

2. 技术底层决定了 LLM 的天花板

2.1 从“下一个词预测”到“没有世界模型”

这里我想先引入一个概念:世界模型。简单说,世界模型就是大脑里对“外部世界如何运转”的模拟器。比如你推一个杯子,你能预判它会滑出去;你把球抛出去,你能预判它在重力作用下的抛物线。这些判断不需要用语言推导,你脑子里有一个基于物理直觉的动态模拟器。

LLM 有没有世界模型?从训练机制上看,它并不需要。它的训练目标非常简单:最大化下一个 token 的预测概率。它学习的是文本序列的统计相关性,而不是物理世界的因果结构。虽然很多研究发现,大模型内部会自发形成一些类似“空间位置”“时间顺序”的表征,但这些表征是工具性的、碎片化的,无法构成一个连贯、可操作的世界模拟器。

举个例子,我做测试的时候问过某个行业标杆模型这样一个问题:“如果一个房间里所有东西突然失重,你描述一下会发生的场景。”它可以写出非常符合物理直觉的一段描述。但换一个问题:“如果一个房间里只有左边一半失重,右边一半正常,桌子正好横跨中线,桌子上有一杯水,会发生什么?”这类需要实时构造物理模拟器的任务,模型的表现就开始崩坏了。它能复述训练文本中关于失重的常识,却无法实时推演一个动态物理过程。

核心原因就在于:文本序列本身是不连续的,关于物理过程的文本描述只是对真实过程的稀疏采样。模型在这个采样上做预测,可以模仿语言,但模仿不了真实的物理模拟。语言不是世界本身,语言只是世界的投影。

2.2 统计相关性不等于因果推理

因果推理是通用智能一个绕不开的能力。人类能区分“A 和 B 同时发生”和“A 导致 B”。比如某人同时吃巧克力又喝了海水,然后肚子疼了,人类会去判断到底是哪个因素导致的,会做对照实验,会在下一次只改一个变量来验证。这种因果推断能力,是科学思维的基础。

LLM 的能力本质上是相关性建模。训练语料里“喝海水”和“肚子疼”出现的频率足够高,模型就会把两者关联起来。但如果你给它一个训练语料中从未出现过的因果链条,比如“蚯蚓接触了某种特定频率的声波后食欲增强”,并问它“如果我们把这种声波关掉,会怎么样”,模型只能基于表面的语义相关性去“猜”,它不具备从因果关系出发做反事实推理的能力。

我在真实项目里见过更实际的案例。某团队在做智能客服系统,用 LLM 来回答设备故障排查建议。模型非常擅长回答那些 FAQ 里明确列出的问题,因为那是训练数据里大量出现的模式。但当用户描述了一个非常特殊的故障组合时,模型给出的“原因分析”看起来很合理,实际上完全错配——它把两个在语料中频繁共现、但并没有因果关系的现象强行关联了。用户按建议操作后故障加重。

这类问题不是“微调一下数据就能解决的”,而是底层推理范式的缺失。因果推理需要显式地建模干预、混淆变量、反事实,这与 LLM 的优化目标从根上就不匹配。你可以用大量数据“伪造”出因果推理的表象,但那只能覆盖已见过的模式,一旦跳出分布,就会露出统计模式的底色。

2.3 分布内与分布外:LLM 的泛化边界

一个在机器学习圈子里讨论了很多年的概念就是分布内和分布外。所谓分布内,就是测试数据的特征与训练数据基本一致;分布外,就是测试数据明显偏离了训练时见过的模式。传统机器学习模型算法工程师最怕的就是分布外数据,因为性能会断崖式下跌。

LLM 在分布内的表现堪称惊艳,但在分布外的表现经常让人无语。我做过一个有趣的实验:让模型写一个“三个脚趾的猫”的故事。它做到了——文章流畅、细节丰富。但对于“为什么猫有三个脚趾”这个问题,模型的回答就开始混乱,甚至一本正经地编出“某品种天然如此”。对,这就是典型的分布外:训练数据里有大量关于猫的描述,但几乎没有关于三趾猫的实质信息。

人类面对分布外情况会怎么做?我们会用已有的物理常识、因果推理和类比能力去建立一个新的模型。比如你告诉一个小孩“有一种猫有三个脚趾”,他会问“那还能抓老鼠吗?”这种追问表明他在试图把新信息纳入一个动态的世界模型中,并且用推理去填补空白。LLM 不会这样做,它能做的基本上是“语义近邻插值”——找到训练数据里与当前问题最相似的语言片段,然后照着揉出一个似是而非的答案。

泛化边界的本质是“归纳偏置”。人类智能有极强的结构先验——比如物体是持久的、因果关系是时间不对称的、空间是连续的。LLM 几乎没有显式地编码这些先验,它只能依赖从海量文本中隐式学到的弱相关性。一旦训练语料不足以覆盖某个点,它的“泛化”就会退化成“胡编”。这也是为什么大家越来越意识到:单纯靠堆数据、堆参数,无法突破分布外泛化这堵墙。

3. 认知科学视角下,LLM 缺了三块关键拼图

3.1 符号接地:语言必须连接到物理世界

“符号接地问题”是一个在认识论和人工智能领域讨论了很久的经典难题。简单来说,一个符号(比如“苹果”这个词)要真正有意义,必须与它所代表的事物之间存在某种联系。一个盲人可以从头背诵苹果的描述——红色、圆形、脆甜——但如果没有看见或触碰过苹果,这些描述对他而言只是符号组合,没有感性内容。

LLM 就是那个“熟背描述的盲人”。它看过数万亿个文本序列,里面反复提到“苹果”,但它从未见过苹果的发光、从未闻到过它的气味、从未感知过它的重量。它的“苹果”知识全部来自语言描述。这带来一个致命问题:语言描述在传递信息时是有损的,而且存在大量默认背景知识没有写进文本。

比如文本里说“他拿起苹果咬了一口”,不会专门写“苹果是硬的,牙能咬进去,汁液会流出来”,因为这些是作者的读者默认知道的。但 LLM 没有这些默认背景,它只能从文本中推断一个模糊的近似。结果就是,它在涉及物理常识、空间感知、颜色感知等与真实体验紧密相关的任务上,会表现出一种“看似正确实则空洞”的怪异感。符号接地的缺失,让 LLM 的知识悬浮在语言层,无法锚定到现实世界。

3.2 组合泛化:只会插值,不会外推

人类智能有一个非常突出的能力叫组合泛化:你学会了“红色的球”“蓝色的积木”,就能自动理解“蓝色的球”“红色的积木”,哪怕从未见过这两个组合。更进一步,人类可以在新语境下组合已有的概念,产生全新的理解。比如“把铅笔插进橡皮擦里”,你马上能想到一个新奇但合理的物理场景。

LLM 的部分能力看起来像组合泛化,但底层机制不同。它本质上是在高维空间中做语义插值。对于“红色的球”和“蓝色的积木”,它在训练数据里见过大量类似结构,所以可以生成“蓝色的球”这样的组合。但如果组合的偏离度稍微大一点——比如“一个会隐身的声音”,或者“一种只有红色和黑色两种颜色的彩虹”——它的表现就开始不稳定了。

这里有一个关键的区别:人类的组合泛化基于对对象的属性建模,我们知道颜色是附着在物体上的,知道隐身和声音是可以共存的属性,知道彩虹的颜色分布是连续的。这种知识是有结构的,可以在新场景下推导。而 LLM 的组合能力来自统计模式插值,它没有内在的“对象-属性”结构模型,所以面对训练数据中从未出现过的组合,它只能靠预测下一个 token 的概率来“蒙”。统计插值在有大量数据支撑时表现不错,但在真正的开放世界任务中,组合空间呈指数级增长,训练数据永远覆盖不完。

3.3 系统 2 思维:缺乏真正的多步深思

认知科学里有一个著名的双过程理论:系统 1 是快速、自动、感性的思维,比如你看到一张愤怒的脸会瞬间紧张;系统 2 是缓慢、刻意、逻辑的思维,比如你做一道复杂的数学证明题时会一步步推理。人类的大部分日常决策由系统 1 完成,但遇到复杂问题时,我们会启动系统 2,展开多步规划、检验、回溯。

LLM 更像是什么?它本质上是一种“流利的系统 1”。它生成文本的速度很快,反应非常自动,没有内部反思和验证循环。虽然现在有人用 prompt 技巧(比如“让我们一步步思考”)来引导模型生成中间推理步骤,或者在推理链上进行采样再投票选出最佳答案,但这些外部手段并没有真正改变模型的内部机制。模型依然是在逐个 token 地预测,而不是在一个内部模拟器中执行逐步规划的搜索过程。

我在项目里深有体会:用一个中等级别的 LLM 做逻辑题,三步以内的推理通常没问题,五步以上就开始出错,而且经常是“前两步对,第三步开始跑偏”。更典型的是,如果中间某一步算错了,模型极少能自觉发现并回溯修正——它没有反思回路,只能一路生成到结束。这和人类做数学题时的体验完全不同:人类会卡壳、会回头检查、会标注“这一步可疑”,这种非线性的认知操作,自回归模型的结构根本支撑不了。

真正意义上的系统 2 思维,需要模型具备:显式的状态追踪、可选路径的搜索、结果的自我验证与回溯。当前的 LLM 架构在这些方面几乎是空白。尽管某些研究试图通过“思维链”数据训练来弥补,但效果仍然有限,因为你训练的是“语言层面的推理外观”,而不是“计算层面的推理实质”。

4. 来自一线的工程观察:LLM 在真实任务中的极限

4.1 多步推理的稳定性问题

这一节聊点实战层面的东西。我在不少真实项目里用 LLM 处理过规则推理、数据分析、自动化流程生成之类的任务,最深的感受是:单步能力很强,多步能力断崖。比如让模型做一份“包含多个条件分支”的规则匹配任务——先判断设备类型,再根据设备类型判断可能的故障原因,再根据故障原因推荐维修策略——每一步单独看都做得不错,但串起来之后错误率急剧上升。

为什么?因为自回归模型在每一步推理中都会累积误差。假设每一步的准确率是 95%,五步串联起来的理论准确率只有 77%,十步就只有 60% 了。这不是某个模型的问题,而是自回归解码范式的结构性问题。模型没有显式的记忆缓冲区去保存“到这一步我已经确认了什么”,它所有的中间状态都只能通过 attention 机制从上下文中读取。一旦上下文变长、步骤变多,早期的关键信息就会被稀释或被遗漏。

我和某团队合作排查过一例:他们的 LLM 流程在单轮测试时全部通过,但在真实业务场景中,因为涉及多轮工具调用和状态更新,最终失败的案例里有一半以上是“模型在第三步时忘记了第一步给出的关键参数”。我们尝试了各种 prompt 技巧、状态压缩策略,效果都是有限改善而非彻底解决。这个现象让我越来越确信,如果未来的模型不从根本上改变推理机制,多步复杂任务的可靠性会成为一块绕不过去的短板。

4.2 幻觉不是 bug,而是统计模式的必然

“幻觉”应该是 LLM 落地中最让工程师头疼的问题了。很多人把幻觉理解成“模型偶尔犯个错”,但在我看来,幻觉不是偶然 bug,而是 LLM 本质机制的直接产物。模型的目标是生成“概率上最合理的下一个 token”,而不是生成“事实正确的 token”。当训练数据里没有对应的确切知识时,模型的最佳策略就是根据语义相似性“编一个最像样的答案”。

在我的测试用例里,模型可以针对一个虚构的科研课题给出完整的研究计划,包括引用文献、实验步骤、预期结果,整体看起来高度专业。但仔细核查后发现,文献是伪造的,步骤来自其他领域的模板拼接,结果完全站不住脚。你没法说模型“不智能”,因为它确实利用了大量有效的语言知识,只是缺乏事实锚点。

更难以处理的是置信度问题。模型在错误和正确的时候给出同样流畅、同样自信的回答,这让自动校验变得很困难。我在某个数据清洗项目里尝试用 LLM 标注异常记录,模型在常见错误模式上表现很好,但在罕见错误上会直接编造一个正常的解释,导致异常数据被“洗白”。这就是统计语言模型在事实核查任务里的系统性缺陷,不是换一个更大的模型就能彻底解决的。

4.3 任务框架敏感性:换个问法就崩

一个很困扰人的工程现象是 LLM 对 prompt 措辞的极端敏感。同一个问题,加一个“你是资深专家”的前缀,效果可能提升不少;改两个词,答案可能完全歪掉;重新组织一下提问顺序,推理路径也会跟着变。这种不稳定性背后依然是统计机制:模型把 prompt 和 answer 看作一个联合概率分布,prompt 的微小变化在语义空间里可能对应不同的近邻区域,从而引出完全不同的生成路径。

我在做模型评估的时候会刻意测试这种敏感性。有一类经典测法:把同一道逻辑题用三种方式表述——直接提问、加上明确假设条件、把条件放在问题内部。结果差异非常大。模型可能在一个版本里推理正确,在另一个版本里完全忽略关键条件。这说明模型并没有真正“理解”题目背后的逻辑结构,它是在匹配语言模式。

这种敏感性给产品开发带来巨大挑战。你无法保证用户会用你设计好的 prompt 模板提问,一旦用户措辞偏离预训练分布,模型的表现就会波动。为了缓解这个问题,我见过团队专门训练了一个“prompt 改写器”,先把用户输入转换成模型表现最好的格式,再接主模型。这确实有效,但也侧面说明:LLM 本身缺乏一个稳定的语义理解内核,它更像一个“流星般的能力场”,需要外部不断把它校正到正确频率上。

5. 如果 LLM 不是终点,AGI 的路在哪

5.1 LLM 在 AGI 拼图中的真实位置

讲了那么多局限性,并不是想说 LLM 没有价值。相反,我认为 LLM 是近年来在通往 AGI 道路上最有价值的推动力之一。问题在于,我们要认清它的定位:它是 AGI 拼图中非常重要的一块,但远远不是全部。

在我的设想里,未来的通用智能系统会是一个多组件架构:感知模块负责接收视觉、听觉、触觉等多模态信息;世界模型负责在内部模拟物理环境和事件演化;规划模块负责依据目标和当前状态生成行动序列;记忆系统负责存储和动态更新经验;而 LLM 在这个架构中更适合扮演“语言交互层”和“知识检索层”——负责把其他模块的内部表征转换成人类可读的语言,以及把人类指令转换成其他模块能执行的目标。

这种模块化架构与当前“把希望全部寄托在一个超大语言模型上”的思路有明显区别。不是说模型规模不重要,而是说单靠规模无法补上结构性的缺失。一个没有世界模型的系统,即使能流利对话,也无法真正在物理世界中行动;一个没有目标管理模块的系统,即使能完成任务,也无法主动选择“什么任务值得做”。LLM 解决的是“语言如何表达智能”这个子问题,而 AGI 需要解决的是“智能如何产生和运作”这个更大的问题。

5.2 可行的路线:世界模型、具身智能、混合架构

如果让我押注几个未来值得投入的方向,我会首选世界模型。所谓世界模型,是让机器学习系统不只是预测文本,而是预测环境状态的变化——比如观察一个视频片段,预测下一帧画面;或者在一个模拟器中执行一个动作,预测环境的反馈。世界模型能提供因果结构、物理常识和时空连续性,这些恰恰是 LLM 从文本中很难学到的。

第二个方向是具身智能。让智能体有一个“身体”,不管是真实的机器人还是高保真模拟器里的虚拟体。通过与环境的持续交互,智能体才能建立“物体持久性”“空间关系”“力与运动”等直觉知识。这些直觉是所有高层推理的地基。我们人类从来没有在真空中学会“一颗苹果的重量”,我们是在一次次拿起、放下、抛接中感知到的。如果一个系统没有这些体验,它的智能就很难接地。

第三个方向是混合架构,或者说神经符号结合。用神经网络处理模式识别、语言交互、感知等需要大规模学习的任务,用符号系统处理逻辑推理、规则约束、可解释的决策。LLM 可以作为两者之间的翻译器和知识接口。混合架构的目的不是把 LLM 丢掉,而是给它配上它不具备的理性推理引擎、记忆系统和规划模块。

5.3 务实心态与路线图建议

最后想聊一点心态层面的东西。这几年大模型热度很高,动辄看到“通用人工智能即将到来”“模型已经具备人格”之类的说法,但一线从业者越是深入,越会保持一份冷静。承认 LLM 的局限,不是否定它的价值,反而是为了更健康地推进研究。如果大家都把资源一股脑砸向“扩大参数量和训练数据”,而忽略了世界模型、具身智能、推理架构这些更基础的方向,我们可能会在“语言流畅度”这个指标上登峰造极,却在真正的通用智能上一无所获。

我个人对以后几年的预期是:大模型持续进化,作为基础设施融入各类产品;同时,更多人开始探索多模态感知、世界模型、记忆与规划系统的融合;最终,AGI 更可能出现在一个“多系统协作”的架构里,而不是某一个单一大模型的规模爬坡中。这条路更复杂、更慢,但可能更接近真相。

如果你的工作方向与 LLM 有关,我的建议是不要把全部技能点都押在 prompt 工程和微调技术上,多关注认知科学、多模态学习、强化学习与模拟环境的交叉知识。这些东西现在看来不是热门,但一旦行业发展从“语言模拟”切换到“世界模拟”,那些拥有更完整技术栈的人,会拿到下一阶段的入场券。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进