摘要

将语言查询在视频中定位的目标在于识别出与语言查询在语义上相关的时段（或时刻）。解决这一具有挑战性的任务需要理解视频和查询的语义内容，并对它们之间的多模态交互进行细粒度推理。我们的核心思想是将这一挑战转化为算法图匹配问题。借助最近在图神经网络领域的进展，我们提出利用图卷积网络来建模视频和文本信息及其语义对齐。为了实现跨模态的信息互换，我们设计了一种新颖的视频-语言图匹配网络（VLG-Net），用于匹配视频和查询图。其关键组成部分包括分别基于视频片段和查询标记构建的表示图，用于建模单模态内部关系。采用图匹配层进行跨模态上下文建模和多模态融合。最后，通过融合增强后的片段特征，使用掩码时刻注意力池化生成时刻候选。我们在三个广泛使用的数据集上展示了该方法在语言查询引导的视频时刻时间定位任务中的优越性能：ActivityNet-Captions、TACoS 和 DiDeMo。