摘要
现有的视频理解数据集大多聚焦于人类交互场景，对在真实户外环境中录制的“野外”视频关注甚少。为此，我们提出了WILDQA——一个专为户外场景视频设计的视频理解数据集。除了视频问答（Video QA）任务外，我们还引入了一项新任务：针对给定的问题与答案，识别其对应的视觉证据（Video Evidence Selection）。通过在多种基准模型上进行广泛评估，我们证明了WILDQA为视觉与语言研究领域带来了全新的挑战。该数据集现已开放获取，地址为：https://lit.eecs.umich.edu/wildqa/。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| video-question-answering-on-wildqa | T5 (text + video) | ROUGE-1: 33.1 ± 0.3 ROUGE-2: 17.3 ± 0.4 ROUGE-L: 31.9 ± 0.2 |
| video-question-answering-on-wildqa | T5 (text) | ROUGE-1: 33.8 ± 0.2 ROUGE-2: 17.7 ± 0.1 ROUGE-L: 32.4 ± 0.3 |
| video-question-answering-on-wildqa | Multi (text + video, IO) | ROUGE-1: 34.0 ± 0.5 ROUGE-2: 18.8 ± 0.7 ROUGE-L: 32.8 ± 0.6 |
| video-question-answering-on-wildqa | T5 (text, zero-shot) | ROUGE-1: 0.8 ± 0.0 ROUGE-2: 0.0 ± 0.0 ROUGE-L: 0.8 ± 0.0 |
| video-question-answering-on-wildqa | Multi (text + video, SE) | ROUGE-1: 33.8 ± 0.8 ROUGE-2: 18.5 ± 0.7 ROUGE-L: 32.5 ± 0.8 |