• 人工智能
• 大模型
• 基础模型
• 多模态
• 模型量化
• 推理模型

Step-5-Preview NVFP4 如何用 SGLang 部署？本文针对 StepFun 旗舰 MoE 模型 Step 5 Preview 的 NVFP4 量化权重，逐项拆解 SGLang 在 B300 与 H200 上的高性能推理配置——从并行策略、MoE 后端、KV Cache 到 EAGLE 推测解码，帮你快速跑通 OpenAI 兼容 API 服务。

一、先认识 NVFP4 版 Step-5-Preview：它和标准版有什么不同

Step 5 Preview 是阶跃星辰面向 Agent 场景的旗舰模型：600B 总参数、27B 激活参数的稀疏 MoE 架构，支持最长1M tokens 上下文，擅长软件工程和金融等专业知识工作。本仓库（Step-5-Preview-NVFP4）提供的是NVFP4 量化版权重，相比 BF16 版本显著降低了显存占用，是 B300 / H200 单机部署的主力格式。

几个值得了解的量化细节（可在 hf_quant_config.json 与 config.json 中查证）：

• ⚡NVFP4 并非"全模型 4-bit"：lm_head、词嵌入embed_tokens、前 3 层注意力/FFN、各 MoE 层的共享专家（share_expert）与门控（gate）、视觉编码器均保持高精度，避免量化伤精度；
• 💡 每个被量化的投影层都携带weight_scale、weight_scale_2、input_scale等 FP4 缩放张量（见 model.safetensors.index.json），由推理框架在加载时自动消费，无需手动处理；
• ✅ 权重按层切分为model-layer-000~model-layer-091等 safetensors 分片，完整性校验值见 SHA256SUMS。

二、部署前准备：镜像、权重与并行策略速览

1. 拉取官方 SGLang 镜像（该镜像已内置 Step 5 Preview 的推理解析、工具调用与推测解码支持，见 README.md）：

docker pull lmsysorg/sglang:step-5-preview

2. 权重落盘：将本仓库目录（含全部 safetensors 分片与 chat_template.jinja、tokenizer_config.json）挂载到容器内，启动前建议先校验：

sha256sum -c SHA256SUMS

3. 理解 TP 与 EP：TP（Tensor Parallelism）把注意力等张量切到多卡；EP（Expert Parallelism）把 352 个专家分散到多卡。MoE 模型上TP+EP 组合是标准做法——注意力用 TP，专家路由后按 EP 落到对应卡上执行。

三、B300 启动命令逐项详解（TP4/EP4，4 卡）

B300 是 Blackwell 架构，可以原生消费 NVFP4 权重并启用MegaMoE专家并行通信，这是 B300 配置的性能核心。完整命令（摘自 README.md）：

export CUDA_VISIBLE_DEVICES=0,1,2,3 python -m sglang.launch_server \ --trust-remote-code \ --model-path stepfun-ai/Step-5-Preview \ --served-model-name step5 \ --tp 4 \ --ep-size 4 \ --moe-runner-backend flashinfer_trtllm \ --moe-a2a-backend megamoe \ --attention-backend fa4 \ --page-size 64 \ --kv-cache-dtype bfloat16 \ --mem-fraction-static 0.9 \ --swa-full-tokens-ratio 0.03 \ --chunked-prefill-size 16384 \ --max-running-requests 64 \ --cuda-graph-backend-prefill breakable \ --flashinfer-allreduce-fusion-backend trtllm \ --speculative-algorithm EAGLE \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --enable-multi-layer-eagle \ --reasoning-parser step5 \ --tool-call-parser step5 \ --host 0.0.0.0 \ --port 30000

注意：--model-path请替换为你挂载的本地 NVFP4 权重目录；如使用平台仓库模型 ID，可保持stepfun-ai/Step-5-Preview。

参数逐项拆解

① 模型与并行

② MoE 计算与通信（B300 专属优化）

③ 注意力与 KV Cache（长上下文的省显存关键）

Step 5 Preview 的 92 层主干采用"滑动注意力 + 全局注意力"交替布局（见 config.json 的layer_types），SWA 层的 KV 只需保留窗口内的 token——这正是--swa-full-tokens-ratio能省出大量显存的原因。

④ 调度与图优化

⑤ EAGLE 多头推测解码

⑥ Step 5 Preview 专属解析器

• 人工智能
• 大模型
• 基础模型
• 多模态
• 模型量化
• 推理模型