摘要

近年来，视觉问答（Visual Question Answering, VideoQA）方法主要依赖大规模标注数据集。然而，对视频内容进行人工标注问题与答案的过程既繁琐又成本高昂，严重制约了数据集的可扩展性。为此，本文提出一种无需人工标注的方案，通过利用自动化的跨模态监督机制，构建大规模视频问答训练数据集。我们采用在文本数据上预训练的问答生成Transformer模型，将其应用于视频字幕文本，自动生成问题-答案对。基于带有旁白的视频内容，我们进一步自动构建了HowToVQA69M数据集，包含6900万条视频-问题-答案三元组。为应对该数据集中答案词汇的开放性（open vocabulary）问题，我们提出一种基于视频-问题多模态Transformer与答案Transformer之间对比损失（contrastive loss）的训练方法。我们引入了零样本（zero-shot）视频问答任务，并在该任务上取得了优异表现，尤其在罕见答案的识别方面表现突出。此外，我们在MSRVTT-QA、MSVD-QA、ActivityNet-QA和How2QA等多个基准数据集上验证了本方法显著优于现有最先进水平。为进一步开展细致评估，我们构建了iVQA——一个新型视频问答数据集，其特点在于显著降低了语言偏见（language bias），并配备了高质量的冗余人工标注。本文所涉及的代码、数据集及训练模型均已开源，访问地址为：https://antoyang.github.io/just-ask.html。