摘要

为生成准确的视频字幕，推理过程需识别相关语义概念，并关注其中的空间关系以及视频片段中的时间演变过程。本文提出的端到端编码器-解码器视频字幕框架融合了两种基于Transformer的架构：一种是用于联合时空分析的改进型Transformer，另一种是基于自注意力机制的解码器，以实现更高质量的文本生成。此外，我们引入了一种自适应帧选择策略，在训练两个Transformer模型时，有效减少输入帧的数量，同时保留关键内容信息。同时，我们通过聚合每个样本的所有真实字幕（ground truth captions），估算出对视频字幕生成具有重要意义的语义概念。实验结果表明，该方法在MSVD数据集以及大规模的MSR-VTT和VATEX基准数据集上，均在多个自然语言生成（NLG）评价指标上达到了当前最优水平。进一步的多样性评估分析也表明，所生成字幕在结构表达上具有更高的丰富性与多样性。