摘要

密集视频字幕生成（Dense Video Captioning）是一项旨在从未剪辑的视频中定位有趣事件，并为每个定位到的事件生成相应文本描述（字幕）的任务。以往大多数密集视频字幕方法仅依赖视觉信息，完全忽略了音频内容。然而，对于人类观察者而言，音频信息——尤其是语音——在理解环境方面具有至关重要的作用。本文提出一种新的密集视频字幕方法，能够灵活利用任意数量的模态信息进行事件描述。具体而言，我们展示了音频与语音模态如何提升密集视频字幕模型的性能。通过应用自动语音识别（ASR）系统，我们获得与语音内容在时间上对齐的文本描述（类似于字幕），并将该文本作为独立输入，与视频帧及对应的音频信号共同输入模型。我们将字幕生成任务建模为机器翻译问题，并采用近期提出的Transformer架构，将多模态输入数据转换为连贯的文本描述。我们在ActivityNet Captions数据集上验证了所提模型的性能。消融实验表明，音频与语音模态带来了显著的性能提升，表明这些模态包含与视频帧高度互补的信息。此外，我们还通过利用原始YouTube视频中获取的类别标签，对ActivityNet Caption的生成结果进行了深入分析。代码已公开：github.com/v-iashin/MDVC