摘要

视频目标检测（VID）近年来成为了一个日益受到关注的研究方向。VID 的一个核心问题是由于快速运动导致的视频帧外观退化。对于单个帧而言，这一问题本质上是病态的。因此，从其他帧中聚合特征成为一个自然的选择。现有的方法主要依赖光流或递归神经网络进行特征聚合。然而，这些方法更侧重于时间上相邻的帧。在本研究中，我们认为在全序列级别聚合特征将为视频目标检测提供更具区分性和鲁棒性的特征。为此，我们设计了一种新颖的序列级语义聚合（SELSA）模块。我们进一步展示了所提出的方法与经典的谱聚类方法之间的密切关系，为理解 VID 问题提供了新的视角。我们在 ImageNet VID 和 EPIC KITCHENS 数据集上测试了所提出的方法，并取得了最新的最佳结果。我们的方法不需要复杂的后处理步骤，如 Seq-NMS 或 Tubelet 重评分，从而保持了流程的简洁和清晰。