• 人工智能
• 大模型
• 基础模型
• 多模态
• 计算机视觉

Ling-3.0-flash-VL 是蚂蚁开源的原生多模态大模型：124B 总参数，但每生成一个 token 只激活 5.5B 参数。这个"124B 的容量、5.5B 的开销"之所以成立，核心就在它的MoE 稀疏路由机制——每层 512 个专家、每个 token 只选 Top-8、用 sigmoid 独立评分。本文带你拆解这套路由的完整设计逻辑 🧠

一、先搞懂 MoE：为什么"专家"能省算力

传统大模型的每一层 FFN 都要处理所有 token；而 MoE（Mixture of Experts，混合专家）把 FFN 拆成几百个"专家"，再由一个轻量**路由网络（Router）**为每个 token 挑选少数几个专家参与计算。

Ling-3.0-flash-VL 的关键数据（来自 config.json 的text_config）：

二、512个专家的分布：40层MoE + 2层Dense + 共享专家

打开 model.safetensors.index.json 可以核实专家的物理分布：

• 模型共42 层Transformer，first_k_dense_replace=2表示前 2 层用普通 Dense FFN，第 3~42 层（共 40 层）才是 MoE 层；
• 每个 MoE 层除 512 个可路由专家外，还有 1 个常驻的共享专家（shared_experts），每层每个 token 都会经过它，保证"公共知识"不依赖路由运气。

单个专家的规模很小：hidden_size=2560、moe_intermediate_size=768，一个专家 = 3 个矩阵（gate / up / down），约5.90M 参数。

三、一个token如何选到8个专家：三阶段路由流程

这是整篇文章的核心。Ling-3.0-flash-VL 的路由采用业界先进的"分组限定 Top-K + sigmoid 评分"方案（DeepSeek-V3 同款设计思路）👇

1️⃣ sigmoid 独立评分：为什么不用 softmax？

路由矩阵先给每个 token 算出 512 个原始打分，再逐元素过sigmoid，得到 0~1 之间的独立分数。

• softmax 的问题：所有专家分数被归一化成一个概率分布，专家之间"此消彼长"——某个专家分数升高会压低其他所有专家；
• sigmoid 的优势：512 个分数互相独立，评分只反映"该专家对这个 token 有多合适"，再配合 Top-K 排序选择，既不损失表达能力，也让分数可以直接叠加偏置（见第 3 步）。

这正是配置中score_function: "sigmoid"的用意。

2️⃣ 分组 Top-K：先选组、再选人，防止"偏科"

512 个专家被均分为8 组（n_group=8），每组 64 个。选择分两步：

1. 选组：按组内最高分选出最活跃的4 组（topk_group=4）；
2. 选人：只在这 4 组（256 个候选）里挑出总分最高的8 个专家（num_experts_per_tok=8）。

这种"组间覆盖"机制能避免 8 个名额全部落在同一类专家上，强制模型从不同"专业方向"取知识，提升专家利用的均衡度。

3️⃣ 专家偏置（Expert Bias）：免辅助损失的负载均衡

再多的选择策略也挡不住训练初期"热门专家越来越热"的马太效应。Ling-3.0-flash-VL 启用了moe_router_enable_expert_bias: true：为每个专家维护一个可学习的偏置项，热门专家偏置被压低、冷门专家偏置被抬高，最终让 512 个专家的负载趋于均衡——无需额外辅助损失函数。

四、保住"5.5B"的四个工程细节

路由评分只是第一步，以下细节决定了推理既准又稳：

• router_dtype: fp32：即使权重是 bfloat16，路由打分强制用 fp32 计算，避免精度丢失导致"选错专家"；
• routed_scaling_factor: 2.5：sigmoid 分数天然小于 1，乘 2.5 放大路由专家的输出贡献，让"被选中的专家"说话更有分量；
• norm_topk_prob: true：对选中的 8 个专家分数重新归一化，保证加权融合时权重和为 1；
• SwiGLU 限幅：配置末尾的expert_swiglu_limit_list显示，最后 6 层对专家激活值做了 ±4（共享专家 ±5/±7）限幅，抑制深层激活值爆炸，提升长训稳定性。

相关默认参数可在 configuration_bailing_moe_v3_vl.py 的BailingMoeV3Config中查阅。

五、算一笔账：5.5B 激活参数是怎么来的？

用 config.json 里的数字直接推导：

也就是说：124B 总参数中约 98% 都堆在 2 万多个专家权重上，而每个 token 实际只点亮其中1/512 多一点的专家——这就是 Ling-3.0-flash-VL 能"124B 容量、5.5B 成本"支撑 256K 长上下文多模态推理的底层原因。

六、想动手看完整配置？最快入口清单 📌

• MoE 全部参数：config.json（text_config字段）
• 配置类定义与默认值：configuration_bailing_moe_v3_vl.py
• 专家权重物理分布（40 层 × 512 专家 × 3 矩阵 = 61440 个张量）：model.safetensors.index.json
• 模型能力与推理部署说明：README.md

一句话总结：Ling-3.0-flash-VL 用 sigmoid 独立评分解决了"分数互踩"，用 8 组选 4 组的分组 Top-K 解决了"专家偏科"，再用 fp32 路由和专家偏置守住精度与负载均衡——512 个专家里只叫醒 8 个，124B 的大脑就只付出了 5.5B 的代价。

• 人工智能
• 大模型
• 基础模型
• 多模态
• 计算机视觉