摘要

视频摘要旨在生成视频的简洁表示，捕捉其核心内容和关键时刻，同时减少整体长度。尽管一些方法采用了注意力机制来处理长期依赖关系，但它们往往无法捕捉帧中固有的视觉重要性。为了解决这一局限性，我们提出了一种基于卷积神经网络（CNN）的空间时间注意力（CSTA）方法，该方法将单个视频中的每一帧特征堆叠形成图像样的帧表示，并对这些帧特征应用二维卷积神经网络（2D CNN）。我们的方法依赖于CNN来理解帧间和帧内的关系，并通过利用其在图像中学习绝对位置的能力来发现视频中的关键属性。与之前通过设计额外模块以关注空间重要性而牺牲效率的工作不同，CSTA所需的计算开销极小，因为它使用CNN作为滑动窗口。在两个基准数据集（SumMe和TVSum）上进行的大量实验表明，我们提出的方法在比以往方法具有更少的乘加运算（MACs）的情况下实现了最先进的性能。代码可在https://github.com/thswodnjs3/CSTA 获取。