文章目录
- 1 论文信息
- 2 论文主要贡献
- 3 论文创新点
- 4 方法
- 4.1 整体框架
- 4.2 具体模块
- （1）基础检测器与离线自训练模块
- （2）时间翻转增强与测试时增强（Time-Flip TTA）
- （3）基于双向跟踪的伪标签过滤与轨迹补框
- （4）Soft Anchor Assignment（软锚点分配）
1 论文信息
论文题目：LEOD: Label-Efficient Object Detection for Event Cameras
论文作者：Ziyi Wu, Mathias Gehrig, Qing Lyu, Xudong Liu, Igor Gilitschenski
发表单位：多伦多大学、Vector Institute、苏黎世大学
发表会议期刊：CVPR 2024
代码链接：https://github.com/Wuziyi616/LEOD
2 论文主要贡献
本文针对事件相机目标检测中人工标注成本高、未标注事件数据利用不足、伪标签质量不可靠等问题，提出了 LEOD（Label-Efficient Object Detection for Event Cameras）框架。
事件相机具有较高的时间分辨率，但对每个时间步进行人工标注的成本很高，现有数据集通常只在部分时间点提供标注，导致大量未标注事件数据无法充分利用。直接采用自训练方法生成伪标签，又容易受到漏检、误检和定位不准确的影响。
本文通过离线伪标签生成、时间翻转测试时增强（TTA）、双向跟踪和 Soft Anchor Assignment，分别提高伪标签的召回率、过滤时间上不一致的检测结果，并降低不可靠伪标签对模型训练的负面影响。同时，论文统一了弱监督和半监督事件目标检测的训练框架，并在 Gen1 和 1Mpx 两个公开数据集上进行了验证。
3 论文创新点
提出事件视觉中的标签高效目标检测任务，并设计相应的实验评估协议。分别考虑弱监督目标检测（WSOD）、半监督目标检测（SSOD）和全监督设置，研究不同标注比例下的检测性能。
提出 LEOD 统一框架，实现有限标注条件下的事件目标检测。采用自训练范式，将有限标注数据与模型生成的伪标签结合起来训练检测器。
在两个公开数据集的多种标注设置下持续优于基线方法。通过时间翻转增强、跟踪后处理和软锚点分配，提高伪标签质量与最终检测性能。
证明该框架在全监督设置下仍然有效，并且能够扩展到更大规模的检测器。即使已有全部人工标注，利用额外生成的伪标签仍然能够进一步提升性能。
4 方法
4.1 整体框架
LEOD 采用两阶段离线自训练框架，整体流程为：首先使用有限标注数据训练初始检测器；随后对未标注事件序列进行离线推理，通过 TTA 提高检测召回率，再利用前向和后向跟踪过滤时间上不一致的检测框，生成伪标签；最后结合真实标签与伪标签重新训练检测器，并可重复执行伪标签生成与再训练，以进一步提升性能。
与在线伪标签方法不同，LEOD 在生成伪标签时处理较长的完整事件序列，而不是只处理训练批次中的短序列。因此，它能够利用当前时间点之后的信息，改善对运动缓慢、事件稀疏或短时间内难以检测目标的识别。
图 3. 我们 LEOD 流程的概述。 ⓪ 我们首先在标签有限的事件流上预训练一个基于事件的目标检测器。① 为了利用时序信息，我们对无标签事件流应用时间翻转测试时增强（TTA），并对模型预测进行集成。② 然后我们应用前向和后向跟踪来识别时序上不一致的边界框，即与短轨迹相关联的框。③ 为了处理噪声标签，我们设计了一种软锚点分配策略，以忽略不可靠伪标签（红框）上的检测损失。④ 我们可以通过在可靠伪标签（蓝框）上自训练并重复 ①～④ 来提升模型性能。
文中未提到使用的跟踪器，采用受 SORT 等 tracking-by-detection 方法启发的跟踪模块，以线性运动预测和 IoU 贪婪匹配建立轨迹，并通过前向、后向轨迹长度筛选伪标签。
4.2 具体模块
（1）基础检测器与离线自训练模块
本文采用 RVT（Recurrent Vision Transformer）作为基础检测器，，本文使用的是 RVT 内部的 YOLOX 检测头，而不是直接将完整 YOLOX 作为基础模型。
训练首先利用有限的真实标注数据得到初始检测器，然后在完整的未标注事件序列上离线生成伪标签。经过筛选后，使用真实标签和伪标签重新训练检测器，形成自训练闭环。离线方式能够利用更长的时间上下文，避免在线伪标签生成仅观察短序列而遗漏目标的问题。
（2）时间翻转增强与测试时增强（Time-Flip TTA）
本文利用时间翻转增强改善不同运动方向下的检测效果。训练阶段，模型加入额外的时间翻转数据增强，使其能够适应反向时间序列；伪标签生成阶段，分别对原始事件序列和时间反转后的事件序列进行推理，并融合两种推理结果。此外，作者还使用水平翻转 TTA 进一步提高检测效果。
**原始方向的推理更有利于检测远离摄像头的目标，反向推理则有利于检测接近摄像头的目标。**两种方向结合可以利用完整序列中的未来信息，提高检测召回率。这里的 TTA 主要服务于未标注训练数据的伪标签生成，并非仅用于验证集评估；推理时不更新模型参数。
（3）基于双向跟踪的伪标签过滤与轨迹补框
TTA 虽然能够提高检测召回率，但也可能引入更多误检。为此，LEOD 采用 tracking-by-detection（基于检测的跟踪）范式，在前向和后向两个时间方向分别建立轨迹。跟踪器利用目标在时间上的持续性，判断检测结果是否具有稳定的轨迹支持。
具体而言，每个检测框关联到一条轨迹，轨迹记录边界框、估计速度、轨迹 ID、当前轨迹长度和轨迹分数。跟踪器基于线性运动假设预测已有轨迹的位置，再通过预测框与当前检测框之间的成对 IoU 进行贪婪匹配：优先选择 IoU 最大的候选配对，完成关联后再处理剩余配对。未匹配的新检测框会初始化为新轨迹；未匹配的已有轨迹则降低分数，匹配成功后分数恢复。轨迹分数过低时，该轨迹会被删除。
论文使用前向与后向跟踪共同判断轨迹长度，只有当某个检测框在两个方向所关联的轨迹长度都低于阈值时，才会因轨迹过短而被过滤。补充材料中使用的最小轨迹长度阈值为T t r k = 6 T_{\mathrm{trk}}=6Ttrk=6。因此，并不是要求一个检测框必须在两个方向都得到相同的轨迹 ID，而是分别检查它在两个方向上是否具有足够的时间连续性证据。
对于较长轨迹中间出现的漏检，作者使用线性运动预测补齐缺失时间点的边界框（inpainting）。例如，汽车在连续多帧中被检测到，但中间某帧漏检，跟踪器可以根据已有轨迹和估计速度预测该帧的位置。需要注意，补出来的框并不直接作为完全可靠的正样本训练，而是作为不确定标签，在后续训练中忽略相关锚点的损失，避免模型被可能不准确的预测框错误监督。
这里的跟踪方法是 LEOD 中的跟踪后处理模块，核心为线性运动预测与 IoU 贪婪匹配。虽然论文引用了 SORT 相关工作，但不能简单认为本文直接使用了完整的标准 SORT 跟踪器。
（4）Soft Anchor Assignment（软锚点分配）
经过 TTA 和跟踪过滤后，伪标签仍然可能存在定位误差、低置信度检测和其他噪声。传统方法通常使用单一高置信度阈值过滤检测框，但阈值过高会导致大量真实目标被漏掉，阈值过低则会保留过多误检。
LEOD 采用两个阈值处理这一矛盾。首先使用较低的硬阈值τ h a r d \tau_{\mathrm{hard}}τhard过滤初始检测结果，以尽可能保留真实目标；然后在训练阶段使用较高的软阈值τ s o f t \tau_{\mathrm{soft}}τsoft判断伪标签的可靠程度。置信度达到软阈值的伪标签可以作为正样本进行监督，而低于软阈值的伪标签、短轨迹相关标签以及线性运动补出的框，则被视为不确定标签。
对于与不确定标签关联的锚点，模型不计算相应的检测损失，而不是将其直接作为背景进行监督。
图 (a)、(b) 分别呈现了车辆类别和行人类别下，伪标签的精确率与召回率随阈值的变化规律。
图 ©、(d) 分别展示了车辆类别和行人类别下，每个预测框的预测置信度得分，与其对应真值框的真实交并比（IoU）的分布对应关系。
