JEV-27B-VL 自托管 Agent 裁判实战：单次决策 0.1 秒，Plan-RewardBench 73.2% 登顶

【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VL

Agent 说"已下单"，页面上却没有订单。JEV-27B-VL 是 Apache-2.0 开放权重的多模态 Agent 裁判模型：给目标、轨迹、最终截图，一次前向传播输出可卡阈值的任务完成概率。Plan-RewardBench 宏平均73.2%居论文裁判榜榜首，1,302 条真实轨迹单卡约 4 分钟判完。

Agent 说"完成了"，谁来验收

三类情况：

1. 假完成。Agent 最后一条消息写"购买成功"，最终截图却还停在购物车页面。仓库自己的计算机操作演示就抓到过这类问题：只给元素编号框（不带元素文本）时，60 个任务成功率只有 10%，大量失败是模型提前宣布"任务完成"——逐集数据见 reports/demos/cu_results.json。
2. 打转轨迹。同一个文件里有个 episode：设置任务连续 10 步点击同一个元素（单步概率 0.94–0.97），步数从 3 涨到 10，任务始终没做完。这种轨迹不逐帧看状态就发现不了。
3. 验收不 scale。一批 1,302 条轨迹（AgentRewardBench 的规模），人工逐条看要几天；闭源 LLM-as-a-Judge 逐条调 API，每条轨迹一次计费，输出是"看起来完成"的自由文本，不是能卡阈值的数，整条流水线还依赖外部服务可用性。

所以裁判的要求很具体：输出概率、能自托管、单条成本 0.1 秒量级。下面是这套要求的落地方式。

两行命令起服务，批量验收就能跑

硬件下限：1 张80 GB 以上显存的 GPU（A100 / H100 / B200 级别），Linux。

git clone https://gitcode.com/hf_mirrors/autotrust/JEV-27B-VL bash JEV-27B-VL/serve.sh

serve.sh 内部运行 serve_decide.py：标准 vLLM OpenAI 接口，默认端口 8000，外加一条给决策头用的POST /v1/decide路由。默认上下文 32K，启动前设MAX_MODEL_LEN=262144可解锁完整 256K。

判断"任务是否完成"就是一个是/否决策：

curl localhost:8000/v1/decide -H 'Content-Type: application/json' -d '{ "kind": "noul", "state": "Goal: buy the blue backpack XL. Trajectory: click product card -> select XL -> Add to cart -> ...", "question": "Did the agent complete the task?"}'

返回示例（数值随输入变化）：

{"kind": "noul", "options": ["false", "true"], "probabilities": [0.12, 0.88], "choice": "true"}

state可以是字符串、JSON 对象，或文字与图片混排的列表（图片用 data URL 或 https URL，每请求最多 8 张）；question只问一件事。GET /v1/decide/info可查看选项上限和校准温度。

对流水线意味着：两行命令起步，任何 HTTP 客户端都能批量验收，每个请求的返回都是能直接进阈值判断的数。

同一套权重，两种用法：决策头与深度思考

JEV-27B-VL 在 Qwen3.8-27B（原生 256K 上下文）之上叠了一个 System 1 决策头（LoRA 适配器）：

【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VL