摘要

TASED-Net 是一种用于视频显著性检测的三维全卷积网络架构。该架构由两个基本模块组成：首先，编码器网络从连续多帧的输入片段中提取低分辨率的空间时间特征；然后，后续的预测网络在空间上解码这些编码特征，同时聚合所有的时间信息。因此，从多个帧的输入片段中生成一个单一的预测图。通过以滑动窗口的方式将 TASED-Net 应用于视频，可以逐帧预测显著性图。本方法假设任何一帧的显著性图都可以通过考虑有限数量的过去帧来预测。我们对视频显著性检测进行了广泛的实验，结果验证了这一假设，并证明了我们的具有时间聚合方法的全卷积模型的有效性。TASED-Net 在视频显著性检测领域的三个主要大规模数据集（DHF1K、Hollywood2 和 UCFSports）上的表现均显著优于先前的最佳方法。通过对结果进行定性分析，我们观察到我们的模型特别擅长关注显著移动物体。