When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation
- 摘要
- 关键词
- 1 引言
- 2 相关工作
- 3 问题分析
- 3.1 一个意外发现：对齐质量不匹配下的融合失败
- 3.2 跨分辨率多模态数据中的隐藏噪声
- 3.3 融合网络采取贪婪捷径
- 3.4 结论与讨论
- 4 方法
- 4.1 框架概述
- 4.2 轻量轴向上下文编码器
- 4.3 模态间空间尺度协调
- 4.4 模态偏差校准融合
- 5 实验
- 5.1 数据集与实现细节
- 5.2 比较方法与评估指标
- 5.3 定量结果与分析
- 5.4 定性视觉分析
- 5.5 消融研究
- 6 局限性与未来工作
- 7 结论
- 致谢
Multi-Modal Medical Image Segmentation
Yuchen Pei ycpei@ccnu.edu.cn 华中师范大学 武汉，中国
Xiaoyu Hu xiaoyu_hu@mails.ccnu.edu.cn 华中师范大学 武汉，中国
Yixiong Zou yixiongz@hust.edu.cn 华中科技大学 武汉，中国
Dingwen Hu 20231110467@stu.gzucm.edu.cn 广州中医药大学 广州，中国
Hui Chu chuhui2019@163.com 广州中医药大学 广州，中国
Yutao Ma ytma@ccnu.edu.cn 华中师范大学 武汉，中国
Shijun Qiu qiushijun1961@gzucm.edu.cn 广州中医药大学第一附属医院 广州，中国
Gang Li gang_li@med.unc.edu 北卡罗来纳大学教堂山分校 教堂山，美国
摘要
多模态医学图像分割利用互补的诊断信息，然而当空间对齐的输入在质量上存在差异时，融合的表现可能不如单模态基线。在此，"腐败"主要指由分辨率引起的退化，而非错位或完全缺失模态，合成噪声仅作为辅助设置进行评估。我们发现了一个关键的优化-推理不一致性：退化的模态可能获得较弱的训练更新，却对预测产生实质性影响，表明其对融合存在主动干扰。我们将这一失败归因于重采样引起的特征腐败和优化偏差，其中噪声特征通过跳跃连接传播，并促使不可靠的模态选择。因此，我们提出了 CoReFuse-Med，一个腐败感知的重平衡融合框架，在特征传输过程中抑制腐败，并在
