摘要

本文提出了一种新颖的无监督视频摘要模型，该模型无需人工标注。所提出的模型称为Cycle-SUM，采用了新的循环一致性对抗LSTM架构，能够有效最大化摘要视频的信息保留性和紧凑性。该模型由一个帧选择器和一个基于循环一致性学习的评估器组成。选择器是一个双向LSTM网络，用于学习包含视频帧之间长距离关系的视频表示。评估器定义了原始视频与摘要视频之间的可学习信息保留度量，并“监督”选择器识别最具信息量的帧以形成摘要视频。特别地，评估器由两个生成对抗网络（GANs）组成，其中前向GAN被训练用于从摘要视频重建原始视频，而后向GAN则学习逆向处理过程。这种循环学习输出之间的一致性被用作视频摘要的信息保留度量。我们展示了互信息最大化与这种循环学习过程之间的密切关系。在两个视频摘要基准数据集上的实验验证了Cycle-SUM模型的最先进性能及其相对于先前基线方法的优势。