K2-Horizon-MoVA-36B-A4B-oQ4e 是把 IFM 团队的旗舰 MoE 大模型 K2-Horizon 转换为 MLX 格式、专为 Apple Silicon 优化的本地部署版本。实测单流吞吐量约48.1 TPS，峰值内存占用 22 GB——一台 24GB 起步的 Mac 就能跑起这款 512K 上下文的前沿推理模型。本文基于仓库内 README.md 中的实测数据，拆解它的速度、内存与真实能力，帮你判断它值不值得部署。

K2-Horizon 是什么：36B 总参数、4B 激活的稀疏 MoE

在谈速度之前，先理解"为什么 MoE 模型在 Mac 上特别香"：

• 稀疏激活：36B 总参数，但每个 token 只激活约4B参数。计算量按 4B 算，能力按 36B 走，速度自然快于同激活量级的稠密模型。
• MoVA 注意力：Mixture-of-Values 设计，注意力侧另有64 个 value 专家、每 token 激活 4 个（见 config.json 中的mova_num_experts/mova_num_experts_per_tok）。
• 超长上下文：max_position_embeddings为 524288，即512K tokens原生上下文，本地模型里属于第一梯队。
• oQ4e 量化：imatrix 增强的混合精度 4-bit（基础 4-bit，按层混入 5/6/8-bit 敏感层，group_size为 64）。校准报告 oq_imatrix_report.json 显示使用了1024 条多语言代码样本做校准，专家激活覆盖率达96.97%，量化质量有保障。

一句话：这是一台"用 4B 的饭量，吃 36B 的饭"的推理引擎。

实测吞吐量：48.1 TPS 与 20.9 ms 单字延迟

下面是仓库中 oMLX 单流测试的关键数据，对比对象为同量级的 Qwen 3.6 35B A3B：

📊 几个关键解读：

1. 48 TPS 是什么水平：TPOT 20.9ms 对应理论生成速度 1000 ÷ 20.9 ≈ 47.8 tok/s，与实测 48.1 TPS 吻合。对于 4B 激活参数的 MoE 模型，这个速度已足够日常对话与 Agent 任务流畅使用。
2. 为什么比 Qwen 慢约 1.8 倍：Qwen 激活参数仅 3B（K2 为 4B），且支持 MTP（多 token 预测）。K2 是拿吞吐换质量——这一点在下文的基准对比里会得到验证。
3. TTFT 6.3 秒偏高：长 prompt 下的首 token 等待明显，长上下文场景下建议配合流式输出改善体感。

内存占用分析：22 GB 峰值从哪来

22.0 GB 的峰值内存由三部分构成：

• 4-bit 量化权重：36B 参数 × 约 0.5 字节 ≈ 18 GB，这是大头；
• KV Cache：512K 上下文的模型 KV Cache 随对话长度线性增长，短对话下占比小，长对话下是主要变量；
• 激活值与运行时开销：单次前向的临时内存。

💡 部署建议：

• 24GB 统一内存的 Mac：可跑，但长对话、多轮 Agent 任务下余量偏紧；
• 32GB 及以上：推荐配置，能同时容纳权重与较大 KV Cache，跑长上下文更从容；
• 权重文件按 5 个分片存放（如 model-00001-of-00005.safetensors），索引文件 model.safetensors.index.json 记录了完整映射。

速度之外：能力实测，8 项基准赢下 7 项

如果只看 48 TPS，K2 似乎"不够快"。但它的定位是本地 Agent 与结构化输出，基准成绩说明速度换来的质量回报很可观：

榜单成绩

与 Qwen 3.6 35B A3B 正面交锋（均分 82.4 vs 73.4，K2 赢 7/8）

K2 的优势集中在工具调用可靠性、结构化输出、信息抽取与安全——恰好是本地 Agent 流水线最在意的维度；Qwen 仅在推理与数学上小胜 2 分，且支持原生多模态。

在 Mac 上快速跑起来：三步上手

第一步：安装 mlx-lm

pip install -U mlx-lm

第二步：命令行生成（最快验证）

python3 -m mlx_lm.generate \ --model hermitdave/K2-Horizon-MoVA-36B-A4B-oQ4e \ --prompt "Explain why long-context evaluation is difficult." \ --max-tokens 512 --temp 1.0 --top-p 0.95

第三步：开启高质量推理

K2-Horizon 是推理模型，官方建议始终使用reasoning_effort="high"。通过 OpenAI 兼容接口（如 oMLX 本地服务）调用时：

response = client.chat.completions.create( model="hermitdave/K2-Horizon-MoVA-36B-A4B-oQ4e", messages=[{"role": "user", "content": "Explain quantum entanglement."}], extra_body={"chat_template_kwargs": {"reasoning_effort": "high"}}, )

⚠️一个容易踩的坑：如果你用 oMLX 作为服务框架，需要v0.6.4+ 且包含 K2-Horizon 支持补丁的版本（新增k2_horizon模型类型、<ifm|think>推理块解析、工具调用解析与多轮对话支持）。版本不对时会直接报错：ValueError: Model type k2_horizon not supported。

仓库关键文件导读

结论：48 TPS 的 K2-Horizon 值不值得跑

🏁总结：K2-Horizon-MoVA-36B-A4B-oQ4e 用48.1 TPS / 22 GB的资源账单，换来了 8 项基准 7 胜、平均 82.4 分的本地 Agent 能力。如果你的 Mac 是 24GB 以上统一内存，且更在意回答质量与工具调用可靠性而非极限速度，它就是目前 Apple Silicon 上最值得部署的 MoE 推理模型之一。