摘要

近年来，基于图像的问答（QA）任务引起了越来越多的兴趣。然而，由于数据限制，针对视频的问答研究相对较少。本文介绍了TVQA，一个基于6部热门电视剧的大规模视频问答数据集。TVQA包含来自21,793个片段的152,545个问答对，涵盖了超过460小时的视频内容。问题设计具有组合性质，要求系统在片段中共同定位相关时刻、理解基于字幕的对话并识别相关的视觉概念。我们提供了对该新数据集的分析以及几种基线方法和一个多流端到端可训练神经网络框架，用于TVQA任务。该数据集已公开发布，访问地址为http://tvqa.cs.unc.edu。