摘要

视频摘要旨在自动生成视频的概要（故事板或视频精简版），这有助于大规模视频检索和浏览。现有的大多数方法都是针对单个视频进行摘要生成，忽略了相似视频之间的关联。然而，这些关联对于视频理解和摘要生成同样具有重要价值。为了解决这一局限性，我们提出了一种基于层次变压器的视频联合建模方法（VJMHT）用于协同摘要生成，该方法考虑了跨视频的语义依赖关系。具体而言，VJMHT 包含两层变压器：第一层从相似视频的各个镜头中提取语义表示，而第二层则在镜头级别上进行视频联合建模，以聚合跨视频的语义信息。通过这种方式，可以显式地建模和学习完整的跨视频高层次模式，从而为单个视频的摘要生成提供支持。此外，引入了基于变压器的视频表示重建方法，以最大化摘要与原始视频之间的高层次相似性。大量的实验验证了所提出的模块的有效性和 VJMHT 在 F 值和基于排名评估方面的优越性。