本文带你完整走一遍GLM-4.7-Flash 服务端部署全流程：从量化模型选型，到 vLLM 与 SGLang 双框架的推理服务启动，再到利用 MTP / EAGLE 推测解码实现吞吐量大幅提速。GLM-4.7-Flash 是智谱推出的 30B-A3B MoE 模型，以极低的激活参数换取旗舰级能力，是当下本地化、私有化部署的高性价比之选。本仓库由 Unsloth 提供了全套 GGUF 量化版本，方便不同显存规模的设备使用。

一、为什么 GLM-4.7-Flash 适合部署？

GLM-4.7-Flash 采用MoE（混合专家）架构：总参数约 30B，但每次推理仅激活约 3B 参数（30B-A3B），因此推理速度接近小模型，而智能水平却能比肩更大的旗舰模型。

官方公布的基准测试成绩（摘自 README.md）：

可以看到，在代码（SWE-bench Verified）和智能体（τ²-Bench）类任务上，它大幅领先同级别模型，非常适合用作 Coding Agent 与 Tool-Calling 场景的推理后端。

💡 部署建议：vLLM 与 SGLang 目前仅在其 main 主分支上支持 GLM-4.7-Flash，请务必使用最新开发版安装，旧版稳定版会报架构不支持。

二、量化版本怎么选？

本仓库提供从超轻量到近无损的全套 GGUF 量化，核心文件都在仓库根目录：

• 全精度基线：BF16/GLM-4.7-Flash-BF16-00001-of-00002.gguf、BF16/GLM-4.7-Flash-BF16-00002-of-00002.gguf
• 高质量量化：GLM-4.7-Flash-Q8_0.gguf、GLM-4.7-Flash-Q6_K.gguf
• 均衡之选：GLM-4.7-Flash-Q4_K_M.gguf、GLM-4.7-Flash-IQ4_XS.gguf
• 低显存方案：GLM-4.7-Flash-Q3_K_M.gguf、GLM-4.7-Flash-UD-IQ2_M.gguf、GLM-4.7-Flash-UD-TQ1_0.gguf
• 量化校准文件：imatrix_unsloth.gguf_file（IQ 系列量化依赖的 imatrix 校准数据）

按显存规模的选型经验（30B MoE 模型的估算参考，KV Cache 与运行框架还会额外占用）：

⚠️ 提示：llama.cpp 已修复旧版循环输出的 bug，2026 年 1 月 21 日之前的旧量化文件建议重新下载，新版输出质量明显更好。

三、vLLM 一键部署：开启 MTP 推测解码

安装最新版本

pip install -U vllm --pre --index-url https://pypi.org/simple --extra-index-url https://wheels.vllm.ai/nightly pip install git+https://github.com/huggingface/transformers.git

启动推理服务

vllm serve zai-org/GLM-4.7-Flash \ --tensor-parallel-size 4 \ --speculative-config.method mtp \ --speculative-config.num_speculative_tokens 1 \ --tool-call-parser glm47 \ --reasoning-parser glm45 \ --enable-auto-tool-choice \ --served-model-name glm-4.7-flash

关键参数解读：

• --tensor-parallel-size 4：4 卡张量并行，按 GPU 数量调整；
• --speculative-config.method mtp：MTP（Multi-Token Prediction）推测解码的核心开关，利用模型自带的多 token 预测头每步"猜测"下一个 token，验证通过后一次性接受多个 token，解码速度显著提升；
• --tool-call-parser glm47+--reasoning-parser glm45：分别启用工具调用与深度思考（Reasoning）的结构化解析，是 Agent 场景的必配项。

启动后即可通过标准 OpenAI 兼容接口调用服务，客户端只需把 base_url 指向http://localhost:8000/v1，模型名填glm-4.7-flash即可。

四、SGLang 部署：EAGLE 推测解码实战

SGLang 侧同样支持官方推理服务方式，并采用EAGLE 草案模型方案做推测解码：

python3 -m sglang.launch_server \ --model-path zai-org/GLM-4.7-Flash \ --tp-size 4 \ --tool-call-parser glm47 \ --reasoning-parser glm45 \ --speculative-algorithm EAGLE \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --mem-fraction-static 0.8 \ --served-model-name glm-4.7-flash \ --host 0.0.0.0 \ --port 8000

推测参数说明：

💡 MTP 与 EAGLE 殊途同归：两者都属于"推测解码"——用小成本生成候选 token，再让主模型一次前向批量验证，把原本串行的一次一个 token 变成一次验证多个 token，实测可将生成吞吐提升数倍，且输出分布与直接采样完全一致，不损失质量。

五、生成参数推荐：避免重复输出的正确姿势

README 中给出了官方推荐的采样参数，服务端部署时建议直接照抄：

• 通用对话：temperature=1.0，top_p=0.95
• 工具调用：temperature=0.7，top_p=1.0
• 必须关闭重复惩罚：repeat_penalty设为 1.0（或禁用）。这是 GLM 系列模型的关键特性，误开会导致输出质量下降；
• 若用 llama.cpp 跑 GGUF 量化版，请额外设置--min-p 0.01（其默认值 0.05 偏高）。

六、常见问题排查

1. vLLM / SGLang 报"不支持的架构"旧版发行版尚未合入 GLM-4.7-Flash 的 MoE 支持。请升级到 main 主分支 nightly 版本（参考第三节的安装命令）。

2. 输出开始循环重复优先检查是否误开了repeat_penalty；其次确认 GGUF 是 1 月 21 日之后重新下载的新版本。

3. 显存不够 OOM先降量化档位（Q4_K_M → Q3_K_M），再考虑把 MoE 专家层放到 CPU 或用更小的 UD 系列量化（如 GLM-4.7-Flash-UD-Q2_K_XL.gguf）；推测解码本身也会额外占用显存，显存紧张时可先关闭推测参数验证基线。

总结

GLM-4.7-Flash 凭借 30B-A3B 的 MoE 架构，在 30B 级模型中实现了性能与部署成本的最佳平衡。核心部署要点三句话：

1. 框架要新：vLLM / SGLang 必须用 main 分支最新版本；
2. 推测解码必开：vLLM 用 MTP、SGLang 用 EAGLE，吞吐可提升数倍；
3. 采样参数照抄官方：温度 1.0 / top-p 0.95，并关闭 repeat_penalty。

配合本仓库的 GGUF 量化（推荐 GLM-4.7-Flash-Q4_K_M.gguf 起步），无论是消费级显卡实验还是多卡生产服务，都能找到合适的部署方案。更多细节可查阅仓库的 README.md。