1. 为什么要在 GPUStack 上折腾 DeepSeek-V4-Flash-DSpark如果你最近在关注开源大模型的推理部署大概率会刷到 DeepSeek-V4-Flash-DSpark 这个名字。简单说它是在 DeepSeek-V4-Flash 的基础上挂载了投机解码Speculative Decoding模块的增强版本——权重还是那份权重额外加了一个轻量的投机模块让吞吐和首 Token 时延同时变好。对于手里有单卡或几卡、又想跑长上下文推理的人来说这个组合的吸引力很直接不用换硬件吞吐就能往上抬一截。而 GPUStack 是一个把推理后端、模型权重、服务注册都收进 Web 界面的部署平台内置了 SGLang 推理后端。你不需要手写一堆 docker run也不用自己维护 systemd点几下就能把模型拉起来。把 DSpark 放到 GPUStack 上跑等于把「投机解码的收益」和「平台化部署的省心」叠在一起。这篇内容适合谁手里有 1 到 8 张卡、想复现 DSpark 吞吐翻倍效果、又不想从零搭推理服务的同学。我会从模型权重挂载、GPUStack 服务注册到 SGLang 启动参数逐项拆开给出可复制的 config.toml 骨架和吞吐对比验证动作。实测下来单并发 1K/1K 场景 TPS 从 96 提到 195长上下文 64K/3K 十并发从 198 提到 338首 Token 时延降到原来的一半左右。下面按步骤来。2. 前置准备TaoToken 与 GPUStack 环境在正式动 GPUStack 之前先把两件事理清楚一是模型权重从哪来、怎么挂二是如果你后面要接 API 做对比压测或长期跑 AgentKey 从哪拿。GPUStack 本身支持从 ModelScope 直接拉模型所以权重这块不用你手动下载再 scp。但如果你想把推理服务对接到上层应用或者用统一入口做多模型路由就需要一个 API Key。我平时用的是 TaoToken 的模型对话和 API Keys 管理注册后在控制台生成 Key接入文档里有标准的 OpenAI 兼容格式填 base_url 和 key 就能用。具体入口官网https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI 地址https://taotoken.net/api模型对话https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewriteAPI Keyshttps://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite注意TaoToken 在这里的角色是统一 API 入口不是推理后端。GPUStack 负责把 DSpark 跑起来TaoToken 负责让你在应用侧用标准接口调用。两者不冲突各管一段。硬件侧我这次用的是 8 卡 H20-141G单卡 141G 显存。如果你只有单卡或双卡后面参数里的--tp-size和--ep-size要按你的卡数改投机解码的收益依然在只是绝对吞吐会低一些。3. 在 GPUStack 上注册 SGLang 的 dspark 版本GPUStack 内置了 SGLang 后端但默认版本不一定带 DSpark 的投机模块。所以第一步是给 SGLang 加一个支持 DSpark 的镜像版本。整个过程在 Web 界面上完成。3.1 编辑 SGLang 推理后端左侧菜单进入「推理后端」找到 SGLang 卡片点右上角菜单里的「编辑」。这一步是改后端定义不是改某个具体部署。3.2 添加 dspark 版本在版本配置里点「添加版本」新增一个名为dspark的版本。镜像名称填swr.cn-north-4.myhuaweicloud.com/desaysv/gpustack/sglang-dspark:v1.0框架选 CUDA。覆盖镜像入口命令为sglang serve执行命令为--model-path {{model_path}} --host {{worker_ip}} --port {{port}}这里的{{model_path}}、{{worker_ip}}、{{port}}是 GPUStack 的占位符平台会自动替换成实际值你不用手动改。3.3 新建部署并选模型回到「部署」页面点右上角「部署模型」来源选 ModelScope。模型搜索并选择deepseek-ai/DeepSeek-V4-Flash-DSpark后端选 SGLang后端版本选刚才添加的dspark。3.4 配置后端参数在「高级」里逐项填入后端参数。以 8 卡 H20-141G 为例完整参数如下--context-length 1000000 --trust-remote-code --tp-size 8 --ep-size 8 --moe-runner-backend flashinfer_mxfp4 --speculative-moe-runner-backend flashinfer_mxfp4 --speculative-algorithm DSPARK --speculative-eagle-topk 1 --speculative-num-steps 1 --mem-fraction-static 0.85 --cuda-graph-max-bs 32 --max-running-requests 32 --disable-overlap-schedule逐项解释一下关键参数方便你按自己环境调参数作用调整建议--tp-size张量并行卡数单卡填 1双卡填 28 卡填 8--ep-size专家并行数通常与 tp-size 一致MoE 模型建议开启--moe-runner-backendMoE 计算后端flashinfer_mxfp4 适配量化权重--speculative-algorithm投机解码算法固定 DSPARK这是 DSpark 的核心--speculative-eagle-topk投机候选 topk1 是保守值显存紧就保持 1--speculative-num-steps投机步数1 起步稳定后可试 2--mem-fraction-static静态显存占比0.85 较稳OOM 就降到 0.8--cuda-graph-max-bsCUDA Graph 最大 batch与 max-running-requests 对齐3.5 设置环境变量添加一个环境变量确保依赖正确安装键PYPI_PACKAGES_INSTALL 值-U distro -i https://mirrors.aliyun.com/pypi/simple/这一步是为了让容器内 pip 走镜像源装 distro 包避免因为网络问题卡在依赖安装。3.6 启动并观察日志提交后模型开始拉起。日志里你会依次看到 CUDA Graph capture、Application startup complete以及 Uvicorn 监听在推理端口上。等实例状态变成 Running部署就完成了。4. 可复制的 config.toml 骨架与启动验证如果你不想在界面上点或者想把配置固化下来做版本管理可以用一份 config.toml 骨架。GPUStack 支持通过配置文件描述部署下面这份可以直接改卡数和模型路径后复用。[server] host 0.0.0.0 port 40048 [model] name DeepSeek-V4-Flash-DSpark source modelscope model_id deepseek-ai/DeepSeek-V4-Flash-DSpark [backend] type sglang version dspark image swr.cn-north-4.myhuaweicloud.com/desaysv/gpustack/sglang-dspark:v1.0 entrypoint sglang serve [backend.args] context-length 1000000 trust-remote-code true tp-size 8 ep-size 8 moe-runner-backend flashinfer_mxfp4 speculative-moe-runner-backend flashinfer_mxfp4 speculative-algorithm DSPARK speculative-eagle-topk 1 speculative-num-steps 1 mem-fraction-static 0.85 cuda-graph-max-bs 32 max-running-requests 32 disable-overlap-schedule true [env] PYPI_PACKAGES_INSTALL -U distro -i https://mirrors.aliyun.com/pypi/simple/启动后先在 GPUStack 的「试验场」里随便对话两句右下角会实时显示吞吐。我这边看到的是输出 185.94 Tokens/s单并发 TPS 稳定在 200 左右。如果要直接压测点开实例详情能看到推理服务的 IP 和端口比如10.91.3.213:40048。5. 用 bench_serving 验证吞吐翻倍光看试验场的数字不够硬用 SGLang 自带的bench_serving做两组对比压测才能确认投机解码真的生效。5.1 场景一1K / 1K 单请求HF_ENDPOINThttps://hf-mirror.com python3 -m sglang.bench_serving \ --backend sglang --port 40048 \ --dataset-name random --random-input-len 1024 --random-output-len 1024 \ --random-range-ratio 1.0 --num-prompts 1 \ --max-concurrency 1 --request-rate inf --host 推理服务器IP传统 DSV4F 的结果Output throughput 96.20 tok/sTTFT 300.45 msAccept length 2.71。DSpark 的结果Output throughput 195.18 tok/sTTFT 129.34 msAccept length 4.42。单并发 TPS 从 96 到 195约 2 倍首 Token 时延从 300ms 降到 129ms约 0.43 倍。5.2 场景二64K / 3K 十请求HF_ENDPOINThttps://hf-mirror.com python3 -m sglang.bench_serving \ --backend sglang --port 40048 \ --dataset-name random --random-input-len 64000 --random-output-len 3000 \ --random-range-ratio 1.0 --num-prompts 10 \ --max-concurrency 1 --request-rate inf --host 推理服务器IP传统 DSV4FMTPOutput throughput 198.60 tok/s投机接受率 20.91%Acceptance length 1.21。DSparkOutput throughput 338.17 tok/sAccept length 4.90。长上下文场景 TPS 从 198 到 338约 1.7 倍。数据汇总如下场景指标传统 DSV4FDSpark提升1K / 1KOutput TPS96.20195.18≈ 2.0×1K / 1KTTFT (ms)300.45129.34≈ 0.43×1K / 1KAccept length2.714.42—64K / 3KOutput TPS198.60338.17≈ 1.7×64K / 3KAccept length1.214.90—Accept length 从 2.71 涨到 4.42、从 1.21 涨到 4.90说明投机模块的接受率确实上去了这才是吞吐翻倍的根因。6. 本篇常见错排查部署和压测过程中最容易卡在下面几个地方。启动就 OOM。优先降--mem-fraction-static从 0.85 降到 0.8 甚至 0.75。如果还不行把--cuda-graph-max-bs和--max-running-requests一起降到 16。投机模块本身占显存卡数少的时候尤其明显。日志里没有 DSPARK 相关输出。检查后端版本是不是选成了默认 SGLang 而不是dspark。镜像名写错、版本名对不上都会导致平台回退到不带投机模块的默认镜像。Accept length 一直很低。先确认--speculative-algorithm是DSPARK再确认--speculative-moe-runner-backend和--moe-runner-backend一致。两者不一致时投机模块和主模型的计算后端对不上接受率会掉。bench_serving 连不上。确认--host填的是实例详情里的推理服务 IP不是 GPUStack 控制台的 IP。端口也要用实例详情里显示的那个不是默认 8000。依赖装不上。检查PYPI_PACKAGES_INSTALL环境变量有没有生效镜像源地址有没有写错。容器内网络受限时这一步最容易卡住。多卡 tp-size 和实际卡数不匹配。8 卡填 84 卡填 4填错会直接启动失败。ep-size 一般跟 tp-size 保持一致。7. 接入与长期使用建议模型跑起来之后怎么用起来是下一步。如果你只是做单次验证GPUStack 的试验场够用。但如果你要把 DSpark 接进自己的应用或者长期跑编码类 Agent建议走统一 API 入口。短期验证模型效果用模型对话页面直接试https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite需要生成 Key 接入自己的代码去 API Keys 页面https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite接入格式和参数说明看文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite如果你打算长期跑编码任务或 Agent 工作流Coding Plan 会更合适https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewriteAPI 地址统一用https://taotoken.net/api最后说个实际经验DSpark 的收益在长上下文和高并发下更明显1K/1K 单请求能翻倍64K/3K 十并发能到 1.7 倍。如果你的业务是短输入短输出、并发也不高收益会打折。部署前先想清楚自己的典型场景再决定要不要上投机解码。参数调优上--speculative-num-steps从 1 试到 2 往往还有空间但显存会紧建议在稳定运行后再逐步加。