MULTIMODAL
NeurIPS 2026
Fusion or Confusion?
多模态复杂≠更强大
19种方法×9个数据集，一次“反复杂化”统一复测
复杂的模型真的融合得更好吗？
/FUSION OR CONFUSION
近几年来，多模态学习越来越像一场“结构军备竞赛”：新的融合模块、更复杂的跨模态交互、额外的梯度调节机制不断叠加。但是这篇文章提出了一个更加基本的问题：复杂的程度是否能带来可以重复得到的效果呢？作者把19 种高影响力的多模态方法放到统一协议之下，在9 个真实的 数据集，最多 23 种模态上重新比较。结果不是简单的“一定赢”，而更加值得我们警惕的是：复杂的架构并没有稳定的胜过一个调得足够认真的简单的基线。
1
先把比较做公平
FAIR EVALUATION BEFORE NOVELTY
Fig. 1｜多模态方法分类及SimBaMM基线结构
论文核心信息
论文标题：Fusion or Confusion? Multimodal Complexity Is Not All You Need
作者：Tillmann Rheude、Roland Eils、Benjamin Wild
单位：德国柏林健康研究所 / 柏林夏里特医学院（Charité—柏林大学医学中心）、复旦大学智能医学研究院、德国柏林自由大学论文链接：
https://arxiv.org/abs/2512.22991v3
代码链接：
https://github.com/TillmannRheude/simple_mml_baseline
一句话概括：这不是再造一个更复杂的融合器，而是用统一实验协议检验“复杂多模态设计到底值不值”。
这篇论文为什么值得仔细阅读呢？
论文将近几年来多模态的方法按照修改的位置分成了MissingData、Encoder、Fusion、Head、Gradient五种并指出现有一段时间以来的一个比较误区：不同的论文经常把数据划分、超参数预算、初始化以及优化器都改变了。这样一来，“新模块带来的提高”和“实验条件更佳”的关系很难划分。作者的主要行为就是把所有的干扰因素都尽量地锁定起来，然后再来看结构创新还有多少可以得到的利益。
SimBaMM：把多模态学习压回到一个简单的Late Fusion基线上
SimBaMM 的想法很简单：每一个模态都会先经过自己编码器，然后再投影到共同的隐藏空间中去，之后把各个模态的 token 送入一个 Transformer 头进行late fusion。缺少模态不会增加复杂的补全模块，而直接用attention mask控制可见的token。虽然这个基线看起来很简单，但是它为所有的复杂方法提供了一条相同的“起跑线”。只有在相同的编码器、相同的初始化、相同的训练/调参预算下仍然能够保持稳定的差距，才更像是一种真正的来自于方法本身的好处。
每一个样本都只包含目前可以使用的模态集合 𝓜ᵢ，所以该框架自然地使得不同的样本具有不同的模态组合。
首先由模态专用编码器提取出表示，然后投影到共享的d维空间中；在比较不同的融合方法的时候，编码器是相同的。
融合头只在可用模态之间进行注意力计算，之后由任务头给出预测。
01
统一协议，并不只是把网络统一起来
作者对于所有的算法都使用相同的优化和初始化规则，而且会给基线做一个系统性的分析。Bayesian hyperparameter optimization；比较时再用Bayesian hierarchical analysis with ±1% ROPE把“真正好”、“真正坏”以及“实际上一样”的区别开来。比起只看一个平均值来得要严格一些，多出了几个点。
02
当数据规模差距拉大之后，再去考察方法是否还能够成立
9 个真实的 数据集 覆盖了视频、音频、语言、X-ray、CT、EHR、ECG、代谢组、蛋白组等多种类型的异构输入，规模从小到大分别为从 2,199 个样本到 488,131 个样本模态数从2个一直增加到23 个。所有的结果都用subject-wise 5-fold cross-validation的方法来得到，并且尽量避免同一个受试者在不同的折中泄漏。
03
原来的论文中提到的“评测缺口”有多大呢？
作者统计所复现的方法原论文中评测设置的情况：0% 报告系统超参数调优，0% 使用统计显著性分析，只有 11% 使用交叉验证、21% 给出误差条但是82%的人提供了单模态基线，但是这些基线通常没有得到和新的方法一样大的调参力度。该数据本身也是本文最需要探讨的背景之一。
先看数据，后说“复杂度红利”
把19种方法都搬到了统一协议之下之后，作者就不再只是问“哪个模型排行榜第一”了，而是要问：**差异是否大于±1%的实践等价区间？**该问题改变的是结论口径——一些看上去领先的小差距，在统计层面上更适合作为“差不多”的解释。真正要引起注意的是，在不同的数据集和不同的模态上都能够重复出现的收益。
表 1统一评测涵盖了9个真实的数据库，最大的UKB包含488131个样本、23种模态（论文第4页）
表 2最近多模态方法原始评测协议统计：调参、统计显著性、交叉验证等等控制不一
2
复杂的没有稳定的赢：结果到底应该怎么读呢？
COMPLEXITY ≠ RELIABLE GAIN
19 种复杂的算法，并没有哪一种算法可以一直拉开 SimBaMM
Figure 2 将各个方法相对于SimBaMM-CLS在9个数据集上进行比较：绿色表示该方法比SimBaMM-CLS好，红色表示SimBaMM-CLS的效果比较好。灰色表示落在±1%ROPE范围之内。最引人注目的是某一个模型的一点优势，并不是没有任何一种复杂的办法，在不同的数据集上都能得到稳定的优势。对于最激烈的几种竞争对手，贝叶斯分析更倾向于支持**“实践上等价”**不是说“复杂的办法比简单的方法要好很多”。
图 2｜跨 9 个数据集的聚合森林图；绿色=方法更好，灰色=实践等价，红色=SimBaMM-CLS 更好
表 3贝叶斯层级比较：最强的竞争方法更多的时候是实践等价而不是稳定显著胜出
图 3MIMIC Symile 效率分析：训练时间、FLOPS、参数量和AUROC之间的权衡
图 4当缺失模态的比例由原来的5%增加到了现在的50%，各个方法都会出现不同程度的下降，而复杂的算法也没有能够保持稳定的胜出
1
性能稍微低一点，但是算账的话可能会出现一个数量级的误差
在MIMIC Symile上，C-Mamba的AUROC是0.6603SimBaMM 为0.6545但是训练的时间分别是253s/epoch 和 14.6s/epoch论文中给出的换算关系是 SimBaMM 约快 17×。IMDer还需要408GFLOPS、203s/epoch，但是只有0.6170AUROC。换句话说，“更复杂”的至少要同时回答性能收益是否稳定、这个收益值是否值得付出计算成本的问题。
2
缺少模态和案例研究：公平协议会改变结论
在缺失模态实验中，SimBaMM 和专门针对缺失模态的方法随着缺失率的增大而降低，复杂的机制仍然没有稳定的拉开差距更重要的就是 CREMA-D 案例：原来的设置只是把 train 和 test 分开，在 test 上参与模型的选择，并且划分不是 subject-independent 的。存在subjectleak的情况。作者改成受试者独立划分、统一调参之后，AUG 对单模态视频仍然有提升的空间，但是多模态相比简单的基线优势已经不存在了。该案例表明：评测协议并不是“附带细节”，它将会直接影响到我们如何去理解方法的贡献。
图 5CREMA-D 案例：原始数据协议和修正后的受试者独立协议都会影响到SimBaMM和AUG之间的相对表现
总结
论文本身也明确限制了结论范围：不包括Early Fusion、大规模预训练、对比学习以及部分领域的专用结构但是并不宣称“复杂的结构总是没有用处的”。真正可以被复用的结论就是：首先要建立一个强有力的、简单的基准模型，然后用同样的参数调整预算、受试者独立交叉验证以及统计比较来证明新模块带来的收益。如果复杂的机制真的有效的话，在这样的控制之下也应该能够站得住脚。
往期精彩推荐
