Agent 排行榜到底怎么看:2.1 亿次真实会话拆出的 5 个维度,前六名其实分不出胜负
数据截至 2026 年 10 月 11 日。Agent 行为数据取自 Arena AI 公开排行榜(arena.ai/leaderboard/agent),能力分取自 Artificial Analysis。数据由大模型选型平台 ModelSage(modelsage.cn)整理。
评价一个模型好不好用,最容易拿到的数字是综合能力分。但它回答不了 Agent 场景里最要命的几个问题:模型会老老实实说自己干完了吗?跑命令报错之后能不能自己救回来?你说「不是这样,改成另一个方案」它听得进去吗?会不会调用一个根本不存在的工具?
这四个问题,Arena 用真实会话数据给出了回答。它不看评测题的得分,而是分析用户在日常使用中留下的行为痕迹,覆盖 52 个模型、累计超过 2.1 亿次观测。本文把这套数据拆开,说明它每个维度在量什么、哪些结论站得住、哪些排名不值得当回事。
注:各维度分数是相对基准的偏移量,可正可负,越高越好。综合总榜是 5 个维度加权后的排名。
一、前六名之间没有可分辨的差距
先看总榜。榜首 Claude Opus 5.5(High)的综合分是 +14.3,第 6 名 GPT 6 Sol(Max)是 +9.9,看起来差了 4.4 分。但榜单同时给出了每个分数的置信区间,把区间画出来,前六名的区间是相互重叠的。
第 1 名的区间是 +12.2 到 +16.5,第 6 名是 +7.5 到 +12.3,两者重叠。榜单自己给出的最好/最差名次区间也说明了这一点:前 6 名的「可能最好的名次」都是第 1 名。真正与榜首拉开距离、可以确认落后的,是第 7 名及以后。
这个结果本身是有意义的:不是榜单算错了,而是这 6 个模型在真实会话里的表现确实处在同一水平线上。第 1 名和第 6 名之间的排序,用这份数据分不出来。
更值得注意的是样本量。综合分越靠前的模型,参与统计的会话反而越少:前六名的会话数在 6,100 到 15,500 之间,而全榜中位数是 38,000 次会话。DeepSeek V4.1 Flash 有 18.3 万次会话,置信区间只有 ±0.4;Claude Sonnet 5.5(Max)只有 6,780 次会话,区间宽到 ±3.3;同为第 5 名的 GPT 6.1 Sol(Max)8,200 次会话,区间 ±3.0。榜首那几个模型之所以排名看起来领先,恰恰是因为样本最少、误差最大。
二、同一个模型,在不同维度上能差 49 个名次
总榜把 5 个维度压成一个数,代价是把模型的结构性差异抹平了。把 5 个维度的名次单独拉出来对照,差别非常明显。
最极端的是 Gemini 4 Argon(High):在「好评 vs 差评」和「可操控性」上排第 1、第 2,在「Bash 纠错恢复」上排第 50,两个维度之间相差 49 个名次。
这个数据的读法不是「Gemini 不行」,而是它的能力分布不均衡:跟它对话、让它按你的要求改方向,体验会很好;但把它放进需要反复执行命令、排错的自动化流程里,它救回来的概率明显低于同档位的其他模型。GPT 6.1 Sol(Max)是另一种不均衡:工具幻觉排第 1、Bash 纠错排第 21,它不乱编工具,但命令跑砸了兜不回来。
反过来,Claude Opus 5.5(High)的五个维度全在前 6 名以内,最好与最差只差 3 个名次,是这张表里最均衡的一个。
结论很直接:选 Agent 模型时,先确定你的场景主要压在哪一两个维度上,再去那一列里挑,而不是看总榜名次。总榜第 1 和第 6 分不出胜负,但「Bash 纠错」第 1 和第 50 的区别是实打实的。
三、工具幻觉这一个维度,前排是平的
五个维度里,「工具幻觉」的样本量最大——1.9 亿次观测,是其他四个维度总和(2050 万次)的 9 倍多。但它的分数分布也最特殊。
排名前 15 的模型,分数全部落在 +42 到 +51 之间(榜单分数是相对基准的偏移量,为便于阅读全文按 ×100 展示),第 1 名与第 15 名只差 9 分。榜首自己的区间是 +48 到 +54,前 15 名里有 7 个的分数落在榜首的区间之内——换句话说,这一段的「第 1 名到第 15 名」在统计上是一团,不是一条队伍。差距要拉到第 16 名(+40)、第 20 名(+35)、第 32 名(+11)才开始变清楚,而第 51 名已经是 -3.9,最后一名 -18.6。
也就是说,「工具幻觉」这个维度上,头部的区分度接近为零,真正的信息在中后段。它更像一道及格线:过了线的模型之间没有可比较的差别,没过线的则迅速恶化。
值得注意的是,Kimi K3(Max)在总榜排第 17,在工具幻觉上排第 2;Step 5 Preview 总榜第 33,在工具幻觉上排第 5。这类「整体一般但某一项很干净」的模型,在纯对话场景里优势不明显,放在工具调用密集的流程里价值更大。
四、国产模型:一项领先,三项落后
52 个模型里有 18 个来自国内厂商(DeepSeek、月之暗面、腾讯、智谱、小米、阿里、阶跃星辰、MiniMax)。用中位数对比国内与海外模型在各维度上的名次:
国内模型在「任务确认完成」上略微领先,在其余四项上落后,其中「可操控性」和「Bash 纠错恢复」的差距最大:中位数相差 15 个名次左右。
分模型看,表现最好的是 DeepSeek V4.1 Flash(Max)和 Kimi K3(Max),总榜并列第 16、17 位,且两者的短板各不相同——DeepSeek V4.1 Flash 的强项在 Bash 纠错(第 8),Kimi K3 的强项在工具幻觉(第 2)。此外腾讯 Hy4 preview 第 18、小米 MiMo V2.6 Pro 第 19、智谱 GLM 5.2(Max)第 20,前 20 名里国内占 5 席。
需要说明的是,这些模型的会话样本量普遍很大(DeepSeek V4.1 Flash 18.3 万次、Kimi K3 13.3 万次),置信区间在 ±0.4 到 ±0.7 之间,比榜首那批模型窄得多。国产模型的名次虽然不靠前,但这部分数据的可信度反而更高。
五、这套排名,和综合能力分的排名并不一致
把 Agent 榜单和 Artificial Analysis 的 Agentic 指标放在一起对照,能匹配上 43 个模型。两者的名次相关系数是 0.73。
0.73 不算低,但也不足以互相替代。差异集中在几处:
- Muse Spark 1.3(Max):综合能力分口径下排在 Anthropic / OpenAI 的旗舰之前,Agent 榜只排第 15。
- GPT 6 Astra(Max):Agent 榜第 2,综合能力分口径下明显低于 Claude 的几个型号。
- Claude Sonnet 5(High):综合能力分口径下排在很后面,Agent 榜第 13。
原因在于两者测的不是一回事。Artificial Analysis 的指标来自标准化评测任务,考的是「给定题目能不能做对」;Arena 的 Agent 榜来自真实会话行为,考的是「在真实使用中,用户觉得你干完了没有、崩了之后能不能自己爬起来」。前者衡量能力上限,后者衡量使用体验。
两者都对,但不能互相推断。一个模型能力分高、Agent 榜表现平庸,通常意味着它做难题行、但过程让用户不省心;反过来则是能力上限一般、但用起来顺。选型时按场景取用:一次性难题交给前者,长期在线的自动化流程看后者。
六、数据和用法上的三点提醒
第一,名次在置信区间内浮动时,不要当排序看。榜单给出了每个模型的「最好 / 最差可能名次」,前 6 名的这个区间全部从第 1 名开始。真正有意义的比较,是看两个模型的区间是否重叠。
第二,样本量是判断一个名次可信度的第一指标。总榜前六名挤在一起,但它们的会话数从 6,100 到 15,500 不等,区间宽度从 ±2.0 到 ±3.3;到了第 15 名附近,会话数升到 7 万次,区间收窄到 ±0.7。名次相近的两个模型,样本多的那个才值得信。
第三,五个维度不能合成一个「好」。本文所有数据都来自同一份公开榜单,但每个维度的量纲、样本量和分布都不一样。把分数直接相加、或者用总榜名次去推断某一行代码场景下的表现,都会得出错误结论。
Agent 场景的模型选型,现在有了比综合分更贴近实际使用的一组数据。各模型在 5 个维度上的名次、置信区间和会话数,可以在大模型选型平台 ModelSage(modelsage.cn)的 Arena Agent 榜单中查看,数据每日自动更新。
数据来源:Arena AI 公开排行榜(arena.ai/leaderboard/agent,2026-10-11);Artificial Analysis(Agentic Index)。整理于 2026 年 10 月 11 日。