NVIDIA-Nemotron-Labs-Teacher-Competition-Coding是 NVIDIA 推出的 Nemotron 3 Ultra 家族中的竞赛编程专用教师模型：总参数 550B、激活仅 55B 的 LatentMoE 混合架构，支持最高 1M tokens 上下文，在竞赛编程、算法推理与代码验证方面表现出色，还可作为蒸馏教师为其他模型提供训练信号。本文将从架构、训练、部署三个维度帮你一文看懂它。

📌 一、模型概览：关键信息一览

💡 一句话理解：它是一个"专精打算法竞赛"的大模型，NVIDIA 把它单独开源，是因为它本身就是一个足够强的编程模型。

🏗️ 二、核心架构解析：为什么 550B 模型"用起来"只有 55B？

1. LatentMoE 混合架构

模型采用了 NVIDIA 自研的LatentMoE（潜在混合专家）架构，核心特点是：

• Mamba-2 层 + MoE 层交错排布，并周期性插入 Attention 层
• 专家路由与计算发生在更小的潜在维度（latent dimension）上，提升每字节参数带来的精度
• 每个 token 会路由到 512 个专家中的部分专家，每次仅激活约 10% 的参数，这就是"55B 激活"的由来

在配置文件 config.json 中可以直接看到层排布规律：mamba与moe成对交替，每 7 层插入一层attention。而 config.json 中的关键参数也很直观：

"n_routed_experts": 512, // 512 个路由专家 "num_experts_per_tok": 22, // 每个 token 激活 22 个专家 "n_shared_experts": 1, // 外加 1 个共享专家 "hidden_size": 8192 // 隐藏层维度

2. Multi-Token Prediction（MTP）

模型内置多 Token 预测层（见 config.json 的mtp_layers_block_type），带来两大好处：

• 原生投机解码：推理时一次"打草稿"多个 token，速度显著提升
• 更高质量的训练信号：让模型在训练时学会预测更远的未来

3. NVFP4 量化配方

模型采用NVFP4 量化感知预训练：大部分线性层以 NVFP4 精度存储权重，保证在新硬件（Blackwell 系列）上获得最大吞吐；关键层（嵌入、注意力投影、MTP 层）保持 BF16/MXFP8 以保证训练稳定性。这也是它能在 4 张 B200 上跑起来的关键。

🎓 三、训练流程：四阶段"竞赛特训"

该模型的训练分为四个阶段（详见 README.md）：

第④阶段尤其值得注意：模型先在**大规模执行验证过的解题代码与思维链（CoT）上做监督微调，再用"编译通过 + 测试通过"作为强化学习奖励信号。最终，它与另外 10+ 个领域教师模型一起，为 Nemotron 3 Ultra 提供多教师在线策略蒸馏（MOPD）**的训练信号。

🚀 四、快速部署指南：三种后端任选

官方推荐vLLM / SGLang / TensorRT-LLM三种推理后端，最低配置为4×B200 单节点。以 vLLM 为例，核心启动命令如下（完整参数见 README.md）：

docker run -d --name nemotron-ultra-vllm \ --gpus all --network=host \ -v $MODEL_CKPT:/model:ro \ vllm/vllm-openai:v0.22.0 /model \ --port 8000 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --kv-cache-dtype fp8 \ --max-model-len 262144 \ --enable-chunked-prefill \ --reasoning-parser nemotron_v3 \ --speculative-config '{"method": "nemotron_h_mtp", "num_speculative_tokens": 5}'

几个新手需要注意的要点：

• 📏默认 256k 上下文；想用到 1M，需设置环境变量VLLM_ALLOW_LONG_MAX_MODEL_LEN=1并将--max-model-len设为1048576
• 🧠MTP 投机解码通过speculative-config开启，5 个投机 token 可明显提升生成速度
• 🖥️ 多节点部署推荐使用Ray作为后端（Ray v2，需ray[cgraph]）

🔧 五、如何调用：OpenAI 兼容 API + 推理开关

部署完成后，模型提供标准OpenAI 兼容接口，用任意 SDK 即可调用：

from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") response = client.chat.completions.create( model="nvidia/nemotron-3-ultra", messages=[{"role": "user", "content": "用 Python 解这道 LeetCode 动态规划题……"}], temperature=1.0, top_p=0.95, extra_body={"chat_template_kwargs": {"enable_thinking": True}} ) print(response.choices.message.content)

推理模式三种玩法：

1. enable_thinking: True（默认）：先生成推理轨迹，再给出最终答案，适合高难度算法题
2. enable_thinking: False：关闭思考，回答更快，适合简单问答
3. medium_effort: True：中等思考强度，消耗 token 更少，推荐作为调参起点

⚠️ 做编程 Agent 时，建议在 API 调用中加上extra_body={"chat_template_kwargs": {"force_nonempty_content": True}}，避免推理轨迹过长时返回空内容。

思考内容的解析由仓库中的 ultra_v3_reasoning_parser.py 实现，它会正确处理"关闭思考模式"和"推理未正常结束"等边界情况。

📁 六、仓库文件结构导读

整个仓库就是一个标准的 Hugging Face 模型检查点，225 个 safetensors 分片保存全部权重。核心文件如下：

如需获取权重，可通过命令下载（镜像地址）：

git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-Competition-Coding

✅ 七、总结：谁适合用它？

• 🏆竞赛选手 / 算法工程师：生成经验证的竞赛编程解法，附带完整推理轨迹
• 🏭AI 工程师：将其作为蒸馏教师，为自己的小模型生成高质量编程训练数据
• 📚研究者：研究 Mamba-MoE-Attention 混合架构、LatentMoE 与 MTP 的前沿实践

550B 总参数保证能力上限，55B 激活保证推理效率，1M 上下文支持超长代码仓库分析——这正是这个模型"又大又快"的设计哲学。如果你正在寻找一个能独立部署、可商用的强竞赛编程模型，NVIDIA-Nemotron-Labs-Teacher-Competition-Coding 值得放进你的技术清单。