横评 5 大 AI 决策模型：8B 开源黑马几乎逆袭 Jev，付费墙还能撑多久？

【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev

2026 年 9 月，TypeSafe AI 前 OpenAI 研究员 Diogo Almeida 发布 System One 决策模型 Jev，一夜之间引爆社区：不逐 Token 生成文本，只对预定义选项输出带概率的判断，端到端 70–500 毫秒，输入定价每百万 Token 0.042 美元、输出 Token 直接标注"免费，太便宜不值得计量"。不到两周，OpenAI 推出 Decisions API 正面竞争，国产 StartLux-Decision 宣布"38 项基准中 31 项高于 Jev 1.13"，CSDN 与头条上的解读文章以每周十几篇的速度刷屏。当一个"不做生成"的模型突然成为全行业对标物时，最值得做的不是跟着喊"革命"，而是把各家模型放到同一把尺子下量一遍——这正是 openjev 这个开源仓库在做的事：它把 JevBench 官方评测协议原样搬回来，在完全公开的 231 道题上对 Jev 1.13 与多个开源替代方案做了同口径横评，并把每个数字背后的训练数据边界、注入攻击脆弱性全部如实披露。本文基于该仓库的实测数据与全网情报，还原这场横评，并试着回答那个所有人都在问的问题：付费墙还能撑多久？

横评前提：决策模型到底在解决什么问题

Jev 所属的 System One 类别，命名源自 Kahneman《思考，快与慢》中的系统 1——快速、直觉、低耗能的判断。这类模型放弃了字符串生成能力，换来四个交换条件：极快速度、极低成本、零类型错误、校准过的置信度。社区里流传最广的案例是：用它搜航班 8 次表单操作 7.1 秒、成本 0.0039 美元；有人把它接进驾驶模拟器，每 50 毫秒一个决策循环，接近人类反应速度。其 API 形态是三条原语——noul（是非）、choice（多选）、score（评分），输入一段非结构化 state 加若干 questions，输出每个选项的概率分布。

openjev 对这个赛道的理解很直接：一个 3 路 NLI 蕴含分类器，本身就足以完成"结构化决策"。在 code/openjev_decide.py 中，决策被建模为"每个选项变成一条 hypothesis，与 state 组成 (premise, hypothesis) 对，模型输出 P(entailment)，再对所有选项归一化"——一次前向计算一个选项，不生成任何文本，答案分布就是模型自己的 softmax。JevBench 的local_openjev适配器被原样接进来，官方评测 harness 跑出的分数可直接与 Jev 对比。

5 大模型同台：231 道公开题，一把尺子

这场横评的基准是 JevBench v1.2 的 231 道公开题（easy 48 道、standard 72 道、hard 111 道；judge 层保密，不计入对比）。在 README.md 与 RESULTS-v5.md 中，openjev 给出了同 231 题的完整对照：

三个信息量很大的事实浮出水面。第一，easy 与 standard 层已经全面打平——48 道 easy 题全员满分，72 道 standard 题只有 Jev 与 SemIf、openjev 4B v5 同时做到 98.6%，其余系统在这两层就掉队。第二，全部差距集中在 hard 的 111 道题上——Jev 1.13 以 0.730 领先，openjev 4B v5 以 0.622 排第二梯队，公开题总分 0.814 对 0.866，差距 5.2 个百分点。第三，"参数越大越强"在这条赛道上不成立：SemIf 与 openjev 同属 Qwen3.5-4B 基座，得分 0.810 对 0.814 只差 0.4 个百分点，而更大的 DeBERTa 系开源方案 open-jev-deberta-v3-large 只有 0.52——架构选择比规模更关键。

8B 开源黑马为何能逼近：结构红利 + 诚实的差距披露

社区热文中"8B 开源黑马几乎逆袭"的说法，在 openjev 仓库里能找到可核的证据链。先看 hard 层的分族拆解，这是理解"黑马成色"的关键：

对抗、路由、陷阱三类题满分，说明模型对"状态里藏了诱导信息"这类攻击天然免疫；真正的短板在时间数字推理（0.27）与权衡判断（0.50）这类需要系统 2 式计算的任务上。换句话说，开源模型逼近 Jev 靠的不是堆算力，而是把问题重构成蕴含判断后获得的结构性优势。

这种优势在 code/order_test.py 的测试里看得更清楚：全部 231 道题，每题问四次——原序两次、倒序、洗牌。结果同请求两次 0/231 次标签翻转且逐比特一致，选项倒序最大概率变化 1.8e-7，洗牌 1.2e-7。原因在 modeling_openjev.py 的实现里写得很明白：每个选项独立前向、独立打分，选项顺序只进入最后的归一化，这是结构上的确定性而非训练出来的——对生产环境中的路由、风控、守卫这类"答案顺序不能影响判断"的场景，这是 Jev 声称的"零类型错误"之外的另一个硬指标。

黑马的第二个来源是小模型的效率兑现。openjev 全系列为 Qwen3.5 序列分类头（3 标签 contradiction/entailment/neutral、last-token pooling、纯交叉熵训练），从 0.8B 到 4B 再到 35B-A3B MoE 一应俱全。在 JevBench 之外的坚持性测试中，0.8B v2s 在 RAGTruth 测试集上 AUROC 达 0.915、HaluBench 0.870、FalseQA 0.865、BullshitBench 胡言乱语检测 0.818——后者是同期对比的 ModernCE-large（0.168）与 openjev 4B v2（0.181）完全不具备的能力，它们会把一句无意义的话读成正常问题。用 code/eval_fincalc.py 测金融算术，4B v5 达 63.2%，而原始 4B 只有 31.9%——一次版本迭代把这个能力几乎翻倍。

但"黑马"的另一面是仓库主动摊开的短板。以社区横评里最戏剧化的"假冒 CEO 骗权限"场景为例，code/eval_security.py 复现了 Vercel fx 式 shell 命令安全审查与工具调用守卫两种角色：4B v5 在 195 条生成的命令上准确率只有 0.600，deny-worthy 命令只拦下 37%，有 17% 被直接放行；对 prompt injection 更是不设防——state 里追加一行伪造的"system administrator override"，150 道 JevBench 题准确率从 0.833 掉到 0.467，shell 集合上 deny-worthy 命令被放行的比例从 17% 飙到 85%。README 原话是：基于这个模型做的守卫，必须放在确定性检查旁边，而不是替代它。同期对 Jev 1.13 的第三方审计报告同样存在这类失效（Octomind 测试 P(block) 从 0.76 掉到 0.48），openjev 选择把这个数字写进文档，而不是藏起来。

付费墙与开源免费：性价比拉锯的三个真相

把镜头拉回行业全景。Jev 的定价是输入 $0.042/MTok、输出免费，官方口径"同等智能水平下比前沿模型快 40–200 倍、便宜两个数量级"；OpenAI 随即推出 Decisions API 正面入局。开源侧，2026 年 9 月 30 日 StartLux-Decision 一次性放出 0.8B/2B/4B/9B/27B 五档，宣称 27B 在 Decision Index 0.2.1 上拿 63.88 分（Jev 1.13 为 57.91）、38 项基准 31 项领先、公开 JevBench 答对 208/231 题（Jev 1.13 为 199）。这条情报要拆开读：评测工具与题集是第三方冻结的，但跑分是厂商自测、未上榜复核，且 38 项中有 14 项基准的公开训练集在其训练数据里（测试题已过滤）；权重许可为 CC BY-NC 4.0，商业使用需另行授权。相比之下，openjev 的牌是：MIT 许可的完整权重（0.8B/2B/4B/35B-A3B 多档）、官方 harness 同口径复测、以及一份把训练污染边界写到 qwen3.5-4b-nli-v5/panel_manifest.json 里的自白——v5 的混合数据明确包含 MMLU、ARC、GSM8K、HellaSwag、WinoGrande、GPQA 的 TRAIN 和 TEST 分裂，因此 README 直接声明"这些基准的分数对这个 checkpoint 毫无意义，不予报告"；反之，没有任何一条 JevBench 题进过训练集。

把三组事实并置，"付费墙还能撑多久"就有了可量化的回答：

• 公开题集上，付费墙只剩 5 个百分点的身位：4B 开源模型 0.814 对 Jev 1.13 的 0.866，差距全部集中在 hard 难题层，而 openjev 从 v2 到 v5 的迭代（0.541 → 0.622）用了不到一个版本周期——开源迭代速度正在追平闭源的护城河。
• 但官方分数无法被开源复现：JevBench 的真实总分还包含密封的 judge 层、速度与成本维度，且只由维护方测量；openjev 明确"不声称 JevBench Score"，只报公开题。付费墙真正的护城河不在"更聪明"，而在不可复现的评测体系和经过校准的置信度。
• 部署成本的结构性差异正在反噬付费墙：openjev 0.8B 可在消费级设备常驻，4B 可上 SGLang 用 code/sglang_openjev/ 外部包对外服务（实测 MNLI 6.5 万对、1.5–3.1 倍吞吐提升），图像决策网关也已跑通 code/serving/decisions_api.py 的/v1/systemone接口，8 个公开图像样例 7/8 判断正确。当"决策"本身成为可以白嫖的公共品时，付费墙的卖点只剩托管、校准与服务化——而这恰恰是 2026 年 9 月底 OpenAI、AWS、Cloudflare、Perplexity 集体入场时各自押注的同一块地盘。

结论：决策模型的下一战不在准确率，在"可相信"

横评到最后，真正值得记住的并不是 0.814 对 0.866 这 5 个百分点的差距，而是 openjev 示范的评测伦理：把每一条 JevBench 题的出处、每个基准的训练数据边界、每次注入攻击的失败率全部写成文档。8B 级开源模型之所以能"几乎逆袭"，靠的是把决策重构成蕴含判断的结构红利、多档位可落地的部署弹性、以及小模型在坚持性任务上的意外强势；而 Jev 之所以还坐在王座上，靠的也不只是速度，是官方分数里那道开源的复现不了的密封层。付费墙能撑多久，取决于开源阵营接下来能不能把"校准"和"可审计"这两件事也做成开源的——到那一天，决策模型的战争才算真正开始。

【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev