摘要

由于不同帧之间的多种运动，学习有效的时空表示以实现准确的视频显著性预测（VSP）极具挑战性。为了解决这一问题，我们开发了一种专门针对VSP的高效时空特征对齐网络，主要包含两个关键子网络：多尺度可变形卷积对齐网络（MDAN）和双向卷积长短期记忆（Bi-ConvLSTM）网络。MDAN 学习以从粗到精的方式将相邻帧的特征对齐到参考帧，从而能够很好地处理各种运动。具体而言，MDAN 拥有金字塔式的特征层次结构，首先利用可变形卷积（Dconv）在帧间对齐低分辨率特征，然后聚合这些对齐后的特征以对齐高分辨率特征，逐步从顶层到底层增强特征。MDAN 的输出随后被送入 Bi-ConvLSTM 进行进一步增强，后者通过捕捉沿前向和后向时间方向的有用长时间序列信息，有效引导复杂场景变换下的注意力方向变化预测。最后，增强后的特征被解码以生成预测的显著性图。所提出的模型无需任何复杂的后处理即可进行端到端训练。在四个 VSP 基准数据集上的广泛评估表明，该方法在性能上优于现有最先进的方法。我们将发布源代码和所有结果。