文章目录
- 论文主要贡献
- 论文创新点
- 问题
- 方法
- SSVOD整体框架：基于师生网络端到端架构
- Flow-warped Feature Set Generator（光流扭曲特征集生成器）
- 鲁棒伪标签筛选
- 损失函数
- 实验
- 消融实验
- 结论
论文信息
- 论文题目：SSVOD: Semi-Supervised Video Object Detection with Sparse Annotations
- 论文作者：Tanvir Mahmud,Chun-Hao Liu,Burhaneddin Yaman, Diana Marculescu
- 发表会议：WACV 2023
- 代码链接：https://github.com/enyacgroup/SSVOD.git
论文主要贡献
本文提出了SSVOD，这是一个端到端的半监督视频目标检测框架，它利用视频的运动动态，通过稀疏注释来利用大规模未标记帧。为了在多组帧中选择性地整合稳健的伪标签，本文引入了来自邻近帧的光流扭曲预测，用于时间一致性估计。具体而言，本文在一组估计预测上分别引入了基于跨交并比（cross-IoU）和跨KL散度（cross-KL-divergence）的选择方法，以分别获取用于边界框和类别标签的稳健伪标签。为了平衡伪标签中的确认偏差和不确定性噪声，本文提出了基于置信度阈值的硬伪标签和软伪标签组合方法。该方法在ImageNetVID、Epic-KITCHENS和YouTube-VIS数据集上相比现有方法取得了显著的性能提升。
论文创新点
- 提出一个端到端的
半监督视频目标检测框架 SSVOD：利用视频的运动动态特性，结合稀疏标注来利用大规模未标注帧。 - 引入来自邻近帧的
光流扭曲预测，用于时间一致性估计。 - 引入了基于
跨交并比（cross-IoU）和跨KL散度（cross-KL-divergence）的选择方法，以分别筛选出用于边界框和类别标签的稳健伪标签。 - 提出基于置信度阈值的
硬伪标签和软伪标签组合方法，平衡伪标签中的确认偏误和不确定性噪声。
问题
1.监督式视频目标检测的良好性能高度依赖标注帧的数量；
2.尽管视频帧间存在很强的关联性，但为每个视频的大量帧标注数据，不仅成本高、耗时长，而且往往存在冗余；
3.现有的静态图像半监督技术，难以利用视频本身固有的时间运动动态特征。三种训练策略对比，直观展示了视频目标检测在不同标注方式下的差异，以及 SSVOD（图 c）的核心思路
a 密集标注：性能最好，绿色块输出最准确稳定，但成本高
b 稀疏标注：有监督训练策略，未标注的关键帧完全不参与训练，也不利用参考帧的运动信息，性能差，绿色块数量少，输出不稳定
c 稀疏标注：通过光流扭曲生成伪标签，让模型也学习这些帧的特征，成本低，性能好
方法
半监督视频目标检测（SSVOD）概述
SSVOD整体框架：基于师生网络端到端架构
- 教师由学生的EMA权重更新，对弱增强的未标注帧生成原始伪标签；
- 学生同时训练强增强的未标注帧和标注帧；
- 核心通过光流扭曲挖掘视频时间特征，经三重筛选得到硬/软伪标签，实现伪标签的精准生成。
Flow-warped Feature Set Generator（光流扭曲特征集生成器）
SSVOD中「光流扭曲特征集生成器」的详细流程图，展示如何把视频的运动信息变成模型能利用的特征，是SSVOD区别于静态图像方法的核心模块。
- 光流估计（Flow Estimator）
- 输入：关键帧
t+ 参考帧t-10/t+10。 - 操作：用光流估计器计算关键帧与参考帧之间的运动轨迹（彩色的光流图）
- 特征扭曲（图中的
W模块）
- 输入：
- 参考帧的视觉特征。
- 上一步得到的光流场。
- 操作：根据光流，把参考帧的特征移动到关键帧的对应位置，得到光流扭曲关键特征。
- 参考特征聚合（Reference Aggregator）
- 输入：
- 得到的扭曲后关键特征。
- 所有参考帧的原始特征集合 。
- 操作：将“扭曲后的关键特征”与“原始参考特征”进行聚合，融合多帧信息。
- 输出：最终的Flow-warped Feature Sets（光流扭曲特征集）
- 每个特征集都包含：关键帧自身特征 + 对齐后的参考帧特征。
- 训练阶段每组帧仅使用2个参考帧，控制计算开销，不会无限制引入大量参考帧。
鲁棒伪标签筛选
经初始置信度阈值过滤后，通过三阶段筛选生成高质量硬/软伪标签：
- 跨IoU筛选：计算关键帧与参考帧预测框的平均IoU，保留高重叠度的伪边界框；
x I o U ( k ) = 1 2 i ∑ j = − i i I o U ( o k t , o k t + j ) xIoU(k)=\frac{1}{2 i} \sum_{j=-i}^{i} IoU\left(o_{k}^{t}, o_{k}^{t+j}\right)xIoU(k)=2i1j=−i∑iIoU(okt,okt+j)
o k t o_{k}^{t}okt代表t tt时刻关键帧第k kk个物体；o k t + j o_{k}^{t+j}okt+j是参考帧扭曲后匹配到的对应物体；2 i 2i2i为参考帧总数量。计算得到平均跨I o U IoUIoU，当x I o U > ζ I o U xIoU>\zeta_{IoU}xIoU>ζIoU，保留该伪边界框。 - 跨KL散度筛选：对上述边界框计算类别概率的平均散度，保留低差异的类别标签，得到硬伪标签；
x D i v ( k ) = 1 2 i ∑ j = − i i D K L ( o k t , o k t + j ) xDiv(k)=\frac{1}{2 i} \sum_{j=-i}^{i} D_{KL}\left(o_{k}^{t}, o_{k}^{t+j}\right)xDiv(k)=2i1j=−i∑iDKL(okt,okt+j)
通过跨I o U IoUIoUd得到候选框之后，计算类别分布之间KL散度平均值。当x D i v < η d i v xDiv < \eta_{div}xDiv<ηdiv，代表多帧类别预测高度一致，生成硬伪标签。 - 置信度感知软筛选：对未通过前两步但置信度达标的预测，生成软伪标签。
L s o f t t = D K L ( P s t d , c l s t , P s o f t t ) \mathcal{L}_{soft }^{t}=D_{KL}\left(P_{std,cls }^{t}, P_{soft }^{t}\right)Lsoftt=DKL(Pstd,clst,Psoftt)
P s t d , c l s t P_{std,cls}^{t}Pstd,clst：学生网络输出类别概率；P s o f t t P_{soft}^{t}Psoftt教师输出软伪标签概率分布；使用 KL 散度做蒸馏，不使用强one‑hot监督。
损失函数
L = L c l s s u p + L b b o x s u p + L c l s u n s u p + L b b o x u n s u p + L s o f t u n s u p \mathcal{L}=\mathcal{L}_{cls }^{sup }+\mathcal{L}_{bbox }^{sup }+\mathcal{L}_{cls }^{unsup }+\mathcal{L}_{bbox }^{unsup }+\mathcal{L}_{soft }^{unsup }L=Lclssup+Lbboxsup+Lclsunsup+Lbboxunsup+Lsoftunsup
学生网络的总损失融合标注集监督损失（类别+边界框）、未标注集硬标签损失（类别+边界框）和未标注集软标签蒸馏损失（KL散度），通过多损失协同训练，保证检测精度与泛化能力。
实验
在稀疏标注场景下，对比 SSVOD（Ours）与其他半监督 / 监督方法的性能，直观证明 SSVOD 的优越性
消融实验
不同视频目标检测器的消融实验。SSVOD方案在各种检测器上均比有监督基线有持续改进。
不同损失组件对伪标签影响的消融研究。三者协同效果显著
不同数量未标记关键帧影响的消融研究。性能随未标注帧数量增加而提升
在 SSVOD 框架下，额外引入大规模无标注静态图像数据，可在原有基础上进一步提升 1.9 个 mAP。
进阶组件消融实验，核心验证：升级光流估计器与基础检测器，可进一步提高 SSVOD 的性能。
结论
本文中提出了一种新颖的半监督学习框架（SSVOD），以克服现有有监督视频目标检测方法在稀疏标注方面的局限性。与在最先进的视频检测器上简单集成现有半监督图像技术不同，SSVOD利用帧组的时间特征空间，基于运动一致性来搜索稳健的伪标签。此外，SSVOD被证实具有检测器不变性，能够通过改进的有监督基线来提升性能。我们提出的用于边界框回归、硬标签分类和软标签蒸馏的三阶段伪标签选择，在很大程度上促进了最终的性能提升。通过有效利用视频中的未标记帧，SSVOD仅使用超过95%的稀疏标注就能达到密集监督性能的约98%，显著优于其他基线。
