ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

SWE-bench-Live解出12/25:Tiel-Coder-35B-A3B-GGUF-MTP基准测试数据全解析,对标Opus 4.6到底什么水平

SWE-bench-Live解出12/25:Tiel-Coder-35B-A3B-GGUF-MTP基准测试数据全解析,对标Opus 4.6到底什么水平

【免费下载链接】Tiel-Coder-35B-A3B-GGUF-MTP

项目地址:https://ai.gitcode.com/hf_mirrors/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP
点击查看免费下载

Tiel-Coder-35B-A3B-GGUF-MTP 是基于 Ornith-1.5-35B-A3B MoE 模型、内置 MTP 投机解码头的 GGUF 量化版,专为本地部署的 agentic coding 而生。在 SWE-bench-Live 基准测试中它解出 25 题中的 12 题,与 Opus 4.6(medium)持平,速度稳居同级第一。本文把三组基准数据拆开讲清楚,告诉你它到底什么水平、量化档位怎么选。

一、Tiel-Coder 是什么:一把"磨过刀"的 35B 本地编码模型

一句话概括:Tiel-Coder-35B-A3B-GGUF-MTP = Ornith-1.5-35B-A3B(256 专家 MoE,每 token 路由 8 个)的动态量化重制版 + 内置 Sharp 对话模板 + MTP 头。

  • 4-bit 仅 23 GB(Q4_K_XL),35B 总参数、约 3B 激活,小显卡也能跑
  • 使用自建 imatrix 动态量化:4900 万字符校准语料,约四分之三偏代码,保证编码路径不被"量化粗糙化"
  • 附带 mmproj-BF16.gguf,视觉能力开箱即用
  • 每个档位额外携带 0.9 GB 的 MTP 头,用于投机解码提速

官方定位非常直白:干活选它,考试选别的。所有数据出处见 README.md。

🎯 二、SWE-bench-Live:12/25,与 Opus 4.6 同档

SWE-bench-Live 共 25 题,每题只跑一次,考察真实代码库的问题修复能力。Tiel 在 4-bit、23 GB 的体量下解出了12 题:

模型解出相对 Tiel
稠密 27B(如 Qwen3.8-27B)16领先(不同重量级)
Dirk(27B 稠密)15领先(不同重量级)
Tiel(4-bit)12—
Opus 4.6(medium)12持平
Nail9Tiel 多 3
Ornith-1.5 基座8Tiel 多 4
Sonnet 5(medium)8Tiel 多 4
原版 Qwen3.6-35B-A3B8Tiel 多 4

关键点:在 35B-A3B 这个量级的模型里 Tiel 排第一,排在它前面的只有稠密 27B 和 Opus 5。

速度维度:中位 8.6 分钟/题,尾部不拖后腿

模型解出单次尝试中位耗时
Qwen3.8-27B16/2550.2 分钟
Dirk15/2520.1 分钟
Tiel12/258.6 分钟
原版 Qwen3.6-35B-A3B8/255.5 分钟

Tiel 的中位耗时(8.6 分钟)比 Nail(7.2 分钟)略慢,但均值 12.3 分钟远好于 Nail 的 15.7——Tiel 没有昂贵重试构成的"尾巴"。批量跑 agentic coding 任务时,稳定比快更值钱。

🗣️ 三、Claw-Eval 多轮对话:67.2 分,本地模型里最好

各基于 114 轮评分对话:

模型得分
Tiel67.2
Ornith-1.5(基座)65.3
Nail60.5

有意思的是分数是怎么来的:Sharp 模板让回答更直接,回答质量比基座高 3.8 分,但澄清提问少 5.1 分。该基准按"回答:提问 = 4:1"加权,这笔交易划算——但如果你希望模型先追问模糊需求再动手,基座做得更到位。

📉 四、MMLU-Pro 73.7 分:知识短板不藏着

模型MMLU-Pro
原版 Qwen3.6-35B-A3B85.3
Nail(4-bit)84.0
Ornith-1.5 基座78.0
Tiel(4-bit)73.7

相对基座的 4.3 分差距可以拆清楚:量化本身无锅——同一份量化配上基座模板,得分与基座完全一致;差距来自 Sharp 模板"用简洁换知识"的取舍。这是这个构建存在的原因,属于有意为之的交易。考试型知识需求选 Nail(MMLU-Pro 高 10.3 分,选型对比见 README.md)。

⚡ 五、MTP 投机解码:是什么、怎么调

MTP(Multi-Token Prediction)头就是这个仓库存在的意义:它让模型提前起草一个 token,推理时一次前向验证多个 token,用算力换速度。

注意:不加--spec-type draft-mtp参数,llama.cpp 会完全忽略这个头,模型只是白白多出 0.9 GB。作者在 UD-Q4_K_XL 上的实测(同一硬件、同一模型,开关对比):

--spec-draft-n-max--spec-draft-p-mintok/s相对关闭接受率
—(关闭)—77.41.00x—
10.094.41.22x83.3%
30.089.91.16x59.9%
80.046.50.60x30.2%
10.885.31.10x96.0%

两条经验:

  1. 短起草更快:起草 1 个加速 1.22x,起草 8 个反而变慢到 0.60x
  2. 别看接受率,看 tok/s:接受率 96.0% 的配置比 83.3% 的还慢,最优参数随硬件而变,自己花几分钟扫一遍两个旋钮最稳妥

🧮 六、量化档位怎么选:一张表按内存匹配

下表"fits"指RAM+VRAM 合计可用(扣除系统和后台进程后):

文件大小适合说明
Q2_K_XL13.2 GB16 GB最后手段,2-bit 掉真实能力
IQ3_XXS14.1 GB16 GB16 GB 首选
Q3_K_XL17.7 GB24 GB3-bit 且上下文宽裕
IQ4_XS18.6 GB24 GB4-bit 中上下文余量最大
Q4_K_S21.8 GB24 GB紧凑 4-bit
Q4_K_XL23.3 GB24–32 GB从这里开始,基准测试所用档位
Q5_K_XL27.5 GB32 GB32 GB 首选
Q6_K_XL32.7 GB48 GB接近无损
Q8_K_XL39.4 GB48 GB参考档

建议:模型 + 上下文 KV 能装进 RAM+VRAM 总和时,优先 Q4 及以上档位并留足 131k–262k 长上下文(q8_0 KV),不要为了"整个塞进显存"降到 UD-Q4 以下——MoE 架构下 262k 上下文的 KV 只需 <5 GB 内存,根本没必要牺牲精度。

🚀 七、快速上手:两条命令跑起来

hf download peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP \ Tiel-Coder-35B-A3B-MTP-UD-Q4_K_XL.gguf mmproj-BF16.gguf --local-dir Tiel-MTP llama-server -m Tiel-MTP/Tiel-Coder-35B-A3B-MTP-UD-Q4_K_XL.gguf -ngl 99 --jinja \ --spec-type draft-mtp

采样参数:通用对话temperature 1.0 / top_p 0.95 / top_k 20;agentic coding 建议temperature 0.6。

⚖️ 八、局限性与一句话选型

  • ⚠️考试型知识是弱轴:MMLU-Pro 落后 Nail 10.3 分
  • 澄清提问比基座少 5.1 分:模糊需求会被直接回答而不是先追问
  • SWE-bench-Live 每题单次运行、MMLU-Pro 三个种子,小分差当噪声看
  • 仅中英双语(继承自基座)

一句话选型:agentic coding、必须持续有用的长对话 → Tiel;考试型知识与硬推理 → Nail;只看单位修复量 → Dirk(15/25 的稠密 27B)。干活场景下,Tiel 就是 4-bit 本地模型里"Opus 4.6 同档 + 最快同级"的那个。

【免费下载链接】Tiel-Coder-35B-A3B-GGUF-MTP

项目地址:https://ai.gitcode.com/hf_mirrors/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP
点击查看免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进