摘要

在视频字幕生成任务中，生成语法和语义均正确的字幕是一项极具挑战性的任务。现有方法生成的字幕往往存在逐词生成的问题，难以满足语法结构要求，或遗漏输入视频中的关键信息。为解决上述问题，本文提出一种新颖的全局-局部融合网络，其中包含全局-局部融合模块（Global-Local Fusion Block, GLFB），该模块能够对不同词性（Part-of-Speech, POS）成分的特征与视觉空间特征进行编码与融合。我们创新性地设计了多种POS成分的组合，分别用于监督四个POS子模块：限定词+主语（Det + Subject）、助动词（Aux Verb）、动词（Verb）以及限定词+宾语（Det + Object）。所提出的全局-局部融合网络结合POS模块，有效实现了视觉特征与语言描述之间的对齐，从而生成语法正确且语义准确的字幕。在MSVD和MSRVTT两个基准数据集上的大量定性与定量实验表明，所提方法在生成字幕的语法与语义准确性方面显著优于现有方法，达到了新的最先进水平。对POS模块及GLFB的消融实验进一步验证了各组成部分对整体性能的贡献。