摘要

多模态摘要的目标是从不同模态中提取最重要的信息，以形成输出摘要。与单模态摘要不同，多模态摘要任务明确利用跨模态信息来生成更可靠和高质量的摘要。然而，现有的方法未能充分利用不同模态之间的时序对应关系，并忽略了不同样本之间的内在关联。为了解决这一问题，我们引入了对齐和注意多模态摘要（A2Summ），这是一种统一的基于变压器的多模态模型，能够有效地对齐和关注多模态输入。此外，我们提出了两种新颖的对比损失函数，用于建模样本间和样本内的相关性。在两个标准视频摘要数据集（TVSum 和 SumMe）以及两个多模态摘要数据集（Daily Mail 和 CNN）上的广泛实验表明，A2Summ 在所有数据集上均表现出优越性，并取得了最先进的性能。此外，我们还收集了一个大规模的多模态摘要数据集 BLiSS，其中包含直播视频及其转录文本，并附有标注的摘要。我们的代码和数据集已公开发布于 \url{https://boheumd.github.io/A2Summ/}。