• 人工智能
• 大模型
• 基础模型
• 多模态
• 语音

MiMo-V2.6-Flash-MOPD是小米 MiMo 团队开源的旗舰级多模态大模型：采用稀疏 MoE（混合专家）架构，总参数 309B，但每个 token 前向时只激活约 15B 参数；支持文本、图像、视频、音频全模态输入，并提供 1M（约一百万）token 超长上下文。本文带你快速看懂它的架构设计、专家路由原理和 MOPD 蒸馏升级点，适合想部署或研究该 MoE 大模型的新手。

一图读懂 MiMo-V2.6-Flash-MOPD 核心规格 📋

主模型配置可参考 config.json，完整说明见 README.md。

图：MiMo-V2.6 架构总览——全模态编码器 + 混合 SWA 主干 + MTP 推测解码块

稀疏 MoE 专家路由：256 个专家为何只激活 8 个？

这是本模型最核心的设计。传统 Dense 模型的每一层对所有 token 都执行同一个大 FFN；而 MoE 把 FFN 拆成多个"专家"（expert），由一个路由器（gate）决定每个 token 走哪几个专家。

MiMo-V2.6-Flash-MOPD 的做法是：

• 每层 256 个路由专家，中间维度 2048，单个专家约 25M 参数；
• 每个 token 只选 8 个专家（num_experts_per_tok: 8），按 sigmoid 打分 + top-k 归一化加权求和；
• 不设共享专家（n_shared_experts为 null），路由更纯粹；
• 第 0 层例外：用 Dense FFN 打底（moe_layer_freq首位为 0），保证底层表征稳健。

📐参数账本（近似计算）：单层专家组 ≈ 256 × 25M ≈ 6.4B 参数，47 个 MoE 层累计约 303B，加上注意力层与词表嵌入（152576 × 4096）刚好凑足 309B 总参数；而每个 token 只流经 8 个专家（约 200M/层），48 层累加约 15B 激活参数。这就是"309B 容量、15B 开销"的答案——用大参数容量换知识广度，用稀疏激活换推理速度。

路由门控的实现见 modeling_mimo_v2.py，权重按专家分片存放在model_pp0_ep0_shard0.safetensors~model_pp0_ep127_shard0.safetensors这 128 个分片中（每片承载每层 2 个专家），便于按 EP（专家并行）切分到多卡。

混合 SWA 注意力：1M 长上下文的秘密 🧠

全注意力（Full Attention）在百万级上下文下，KV Cache 与计算量都会爆炸。MiMo-V2.6 采用39 层滑动窗口注意力（SWA，窗口仅 128）+ 9 层全局注意力（GA）交替排布（见 config.json 中的hybrid_layer_pattern）：

• SWA 层只关注局部窗口，KV Cache 占用极小；
• GA 层负责长程依赖与全局信息汇聚；
• SWA/GA 使用不同的 RoPE 基频（10000 vs 10000000）与 KV 头数（8 vs 4），细节见 MiMoV2RotaryEmbedding。

组装逻辑很直观：MiMoV2DecoderLayer 根据hybrid_layer_pattern[layer_idx]决定本层是 SWA 还是 GA，是 MoE 还是 Dense FFN。

多模态编码器：图像、视频、音频如何接入？

模型把三种非文本模态的编码结果，替换到输入序列中对应的占位 token 位置上（逻辑见 _get_multimodal_embeds）：

视频直接复用视觉编码器，按 2 token/秒采样，无需单独训练视频塔。

MTP 推测解码：5 层草稿模型提速生成 ⚡

MoE 模型虽然单步激活少，但逐 token 自回归生成仍是瓶颈。MiMo-V2.6 在主干之外挂了一个DFlash 风格的 5 层 SWA 草稿模型：

• 它从主干第 0/11/23/35/47 层抽取中间特征作为上下文（见 dflash/config.json 的target_layer_ids）；
• 一次前向并行起草7 个后续 token（block_size=8），由主干并行验证，命中即整块接受；
• 实现见 dflash/dflash.py 中的DFlashDraftModel，权重单独存放在model_mtp.safetensors。

部署时用 SGLang 的--speculative-algorithm EAGLE --enable-multi-layer-eagle即可启用，配合 DP 注意力（--enable-dp-attention）进一步摊薄开销。

MOPD 蒸馏：专治"工具调用复读机" 🩺

本版本是MiMo-V2.6-Flash-RL 的 MOPD 升级版。MOPD2 把多个领域专家教师模型"融合蒸馏"进同一个学生模型，覆盖三类更新流：

1. Standard MOPD：mixRL 教师监督完整自主 rollout（适合可验证任务）；
2. Teacher-Prefix OPD：用教师轨迹做前缀，学生续写一轮再由教师打分；
3. SFT-Prefix OPD：用合成演示做前缀，学生自续写（适合奖励难设计的开放域任务，如长周期游戏开发、科研、具身智能）。

另一大亮点是修复了 V2.6 发布后最显眼的 Agent 缺陷——工具调用重复：模型反复发出相同或高度相似的 tool call，"看起来很忙却没进展"。MOPD 阶段用一小段专项教师训练即可快速收敛。

图：响应级重复率对比——MOPD 后在各上下文长度与 Agent 框架下均显著下降

快速上手部署：如何最快跑起来 🚀

权重采用 FP8 量化（128×128 分块）+ MXFP4 存储，o_proj等敏感层保持高精度（配置见 config.json 的quantization_config）。推荐 SGLang 或 vLLM 部署，采样建议temperature=1.0、top_p=0.95：

sglang serve --trust-remote-code \ --model-path XiaomiMiMo/MiMo-V2.6-Flash-MOPD \ --tp 8 --dp 2 --enable-dp-attention \ --speculative-algorithm EAGLE --enable-multi-layer-eagle

完整启动参数（含多模态 DP 编码器、chunked prefill 等）见 README.md 的 Deployment 章节。

关键文件速查 📁

• 主模型配置：config.json
• 模型实现（注意力/MoE/多模态）：modeling_mimo_v2.py
• 推测解码草稿模型：dflash/
• 音频 Tokenizer 权重：audio_tokenizer/
• 架构总览图：assets/architecture.png

总结

MiMo-V2.6-Flash-MOPD 是一份"工程与算法双满分"的开源答卷：309B 稀疏 MoE 只激活 15B 参数控制推理成本，SWA+GA 混合注意力撑起 1M 上下文，5 层 MTP 草稿模型加速生成，再用 MOPD2 多教师蒸馏补齐 Agent 场景的工具调用重复问题。对于想研究大规模 MoE 架构、长上下文工程或投机解码机制的同学，这个仓库的配置文件与模型源码是非常好的实战样本。

• 人工智能
• 大模型
• 基础模型
• 多模态
• 语音