ECCV 2026
先融合，后进行时间建模
DRT-VF：一步扩散的红外-可见光视频融合
导读
红外-可见光图像融合已经很卷了，但是从一张图片变成一段视频之后，问题就变了：这一帧看起来还不错，不代表下一幅就不会突然闪一下；单张图片的细节非常清晰，但是这并不意味着移动的目标边缘就不会产生拖影。
DRT-VF 把矛头指向了某个流程上的问题：很多的方法会在每一个模态内进行时间建模之后再进行跨模态融合。当低照度、遮挡、运动模糊或者红外闪烁使得单一模态运动估计出现失真时，错误就会被一路带入到融合的结果中去。
作者的答案是Fusion First，Temporal Second首先使红外线和可见光线相互补充，然后再在更加可靠的时间一致性的基础上进行工作。顺序的变化就是整篇论文最核心的一条主线。
核心信息
论文标题：Degradation-Robust and Temporally Consistent Infrared–Visible Video Fusion via One-step Diffusion Framework
作者：Songcheng Du*, Haoyuan Xu*, Xingyuan Li, Yang Zou, Jinyuan Liu, Yunpeng Bai†, Ying Li†**单位：**西北工业大学；大连理工大学；浙江大学
论文链接：https://eccv.ecva.net/virtual/2026/poster/5285
01
(研究动机)
DRT-VF·INFRARED-VISUAL VIDEO FUSION
退化场景、Temporal-First范式和Fusion-First范式比较
传统的思路大概就是：红外视频先自己看前后帧，可见光视频也先自己看前后帧，然后把两个模态处理后得到的结果进行融合。问题就出在这里面默认了“单模态可以先对运动进行判断”。
现实中并不一定如此。可见光夜间低照、遮挡、运动模糊的时候，光流或者对齐就很容易出现错误；红外序列中也有可能出现传感器噪声以及闪烁现象。如果前面的时间估计有误，那么这个错误就会传递到后面的时间融合中。
DRT-VF的核心假设为：跨模态互补的方式是先做好观测，然后再进行时间建模。Fig.1 中最核心的部分并不是网络的具体情况，而是在把两个步骤之间的先后顺序全部颠倒过来。
这篇论文到底修改了些什么呢？
第一，流程由原来的Temporal-First改为Fusion-First。时间模块不先吃掉两个容易被削弱的单模态表示，而是吃已经被补充好的联合表示。
第二，时间一致性的划分成了两个标准：GTC 负责全局闪烁LMC 负责局部运动边界。作者并没有要求一个模块来解决亮度波动、几何错位以及边缘模糊的问题。
第三，一步RectifiedFlow/DiT负责生成式细节恢复，不把传统的多步扩散直接搬到视频管线中去。由于论文没有提供FPS表，所以不能把“一步”直接等同于已经验证过的实时。
02
(核心方法)
DRT-VF·INFRARED-VISUAL VIDEO FUSION
DRT-VF总体结构。Stage 1 建立融合表示，Stage 2 进行全局和局部时间一致性的建模。
Stage I: MCA + one-step DiT
可见光先经过预训练VAE编码，红外则使用轻量级可以训练的adapter。两路特征进入Modality-Collaborative Attention（MCA）拼接之后产生一个共享的Query，然后分别对可见光和红外的Key/Value做注意力。
共享Query可以理解为：在确定“这一帧目前真正缺少的是什么”的时候，就分别从可见光纹理和红外热目标中获取信息。它比简单的concat更加积极地利用了互补性。
需要记住的是：作者并不是简单的“加扩散”，而是在第一步推理中就把生成先验压了。Stage I 首先要为后面的阶段建立一个更加纯净的空间基础。
Stage II：GTC+LMC
GTC(Global Temporal Consistency)放在低分辨率联合latent上，利用连续三帧的通道统计来抑制整帧亮度和对比度的变化，不需要显式的空间对齐。
LMC(Local Motion Compensation)放在解码器最后面的一层中，在全分辨率下对移动的目标进行处理。首先使用DCN对齐相邻的帧，然后用Context Aggregation来聚合上下文、Boundary Refinement专门去修复运动边界。整个设计方案可以用一句话来概括：大范围闪烁由低分辨率统计来完成，小范围运动边界用高分辨率几何补偿来处理。
03
(实验结果)
DRT-VF·INFRARED-VISUAL VIDEO FUSION
论文在HDO、M3SVD、NOT-156和VFBench处理后得到的VTMOT子集中进行测试。每个数据集选择17个视频进行测试，其他的用来训练；每一个测试序列都选取前50帧。空间质量用MI、VIF、SSIM来表示，时间稳定性的评价指标是BiSWE和MS2R，其中BiSWE和MS2R值越小越好。
从空间指标来看，在四个数据集的MI/VIF/SSIM中，DRT-VF一直排在前面两位。NOT-156 和 VTMOT 三項空間指標均為表格內最大值。并不是所有的指标都是第一比如HDO的VIF小于UniVF、M3SVD的SSIM不是最高。
HDO、M3SVD、NOT-156、VTMOT 四个数据集的定性结果
Table 1：四个数据集空间融合的质量指标
时间指标可以更好的体现出DRT-VF的目标。HDO上BiSWE/MS2R为6.232/0.210；M3SVD 为 6.479/0.222；NOT-156 是 7.542/0.574。三组都在表中最好的或者并列最好的。
在VTMOT上，DRT-VF的MS2R是0.332，为表中最优的结果；但是BiSWE 4.822并不是第一，TemCOCO和UniVF更低。
消融：最重要的就是“顺序”、“分层”
最有趣的是把结构恢复为Temporal-First。在 M3SVD 上，完整的模型MI/VIF/SSIM分别为3.373、0.934、0.712，而Temporal-First降为3.152/0.883/0.651；BiSWE/MS2R 也由原来的 6.479/0.222 变成了现在的 7.854/0.283。
也就是说，Fusion-First 不仅仅是把流程图箭头的方向换一下但是它也提高了之后的时间建模所用到的表示的质量。
M3SVD 和 NOT-156 上的消融实验
另外一个很重要的现象来自于w/o Stage II：单帧的空间指标会稍微高一些，但是时间指标却非常糟糕。NOT-156 上，w/o Stage II 的 MI/VIF/SSIM 为 4.466/0.939/0.653，但是它对应的BiSWE/MS2R为9.684/0.725；完整的模型是 4.449/0.934/0.642 和 7.542/0.574。
这就意味着视频融合不能仅仅盯着每一个画面：单帧更加锐利，并不意味着整个视频都好。去掉GTC之后主要就是全局亮度波动的问题，而去掉LMC之后就容易出现动态区域模糊和重影的情况。
各个模块对于跨帧连续性的不同影响
下游跟踪：稳定的融合也可以服务于机器视觉
作者在NOT-156上用冻结的YOLOv11n+ByteTrack做零样本目标跟踪。DRT-VF 的AUC、DP@20、SR@0.5、SR@0.75分别为0.244、0.236、0.248、0.116四者均为表格中最大的一项。
这部分可以解释为：更加稳定融合的视频可以为之后的检测、跟踪提供更为连续的结构信息而应该把DRT-VF看作一个新的跟踪模型。
这篇工作是怎样的呢？
DRT-VF 最重要的是不要把MCA、GTC、LMC这几个模块的名字记住了，而要记住的是它改变了问题的因果关系：首先通过跨模态互补来提升当前帧的可靠性，然后利用前后的两帧来提高时间稳定性。
对于真实的场景来说，这个思路非常自然：可见光可能会突然变暗，红外可能会突然闪烁，两种模态不一定同时出现故障。先融合，就是说先让两个传感器互相兜底。
边界也要明确一下：目前论文主要研究的是红外-可见光视频融合；GTC/LMC 用的是三个帧局部时间窗口；测试统一取每段前50帧；正文并没有提供FPS或者端到端时延表。因此更合适把贡献理解为“融合顺序+分层时间一致性”而不能直接宣传成已经验证了实时系统的说法。
往期推荐
END
