摘要

密集视频字幕生成旨在从视频中自动生成多个与时间位置相对应的字幕。以往的方法通常采用复杂的“定位-描述”两阶段范式，严重依赖大量手工设计的组件。本文提出了一种简单而有效的端到端密集视频字幕框架——并行解码密集视频字幕（Parallel Decoding for Dense Video Captioning, PDVC），通过将密集字幕生成建模为集合预测任务，实现了高效统一的建模。在实践中，通过在Transformer解码器顶部堆叠一种新提出的事件计数器（event counter），PDVC能够在整体理解视频内容的基础上，精确地将视频分割为若干事件片段，显著提升了生成字幕的连贯性与可读性。相较于现有方法，PDVC具有以下显著优势：（1）无需依赖启发式非极大值抑制（non-maximum suppression）或循环事件序列选择网络来消除冗余，PDVC可直接输出规模适中的事件集合；（2）与传统的两阶段范式不同，本文将事件查询的增强表示并行输入到定位头与字幕生成头，使两个子任务在优化过程中深度耦合、相互促进；（3）在不依赖复杂组件的前提下，基于ActivityNet Captions和YouCook2数据集的大量实验表明，PDVC能够生成高质量的字幕结果，在定位准确率与现有最先进两阶段方法相当的情况下，仍能实现超越。代码已开源，地址为：https://github.com/ttengwang/PDVC。