SoldanMattia ; PardoAlejandro ; AlcázarJuan León ; HeilbronFabian Caba ; ZhaoChen ; GiancolaSilvio ; GhanemBernard
摘要
近年来，视频语言研究领域的兴趣日益增加，推动了大规模数据集的开发，这些数据集使得数据密集型机器学习技术得以实现。相比之下，对于这些数据集在视频语言对齐任务中的适用性评估却投入较少。近期的研究开始揭示这些数据集中存在的显著局限性，表明当前最先进的技术通常会过度拟合到数据集中的隐性偏差。在这项工作中，我们提出了MAD（Movie Audio Descriptions），这是一个全新的基准测试，它不同于以往通过为现有视频数据集添加文本注释的方法，而是专注于爬取和对齐主流电影中可用的音频描述。MAD包含超过384,000个自然语言句子，覆盖了超过1,200小时的视频，并且在目前诊断出的视频语言对齐数据集偏差方面表现出显著减少。MAD的数据收集策略使得视频语言对齐任务有了一个新的、更具挑战性的版本，在这个版本中，需要在长达三小时的多样化长视频中准确地对齐短暂的时间片段（通常持续几秒）。我们已在https://github.com/Soldelli/MAD发布了MAD的数据和基线代码。
代码仓库
Soldelli/MAD
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| natural-language-moment-retrieval-on-mad | VLG-Net | R@1,IoU=0.1: 3.50 R@1,IoU=0.3: 2.63 R@1,IoU=0.5: 1.61 R@10,IoU=0.1: 18.32 R@10,IoU=0.3: 15.2 R@10,IoU=0.5: 10.18 R@100,IoU=0.1: 49.65 R@100,IoU=0.3: 43.95 R@100,IoU=0.5: 34.18 R@5,IoU=0.1: 11.74 R@5,IoU=0.3: 9.49 R@5,IoU=0.5: 6.23 R@50,IoU=0.1: 38.41 R@50,IoU=0.3: 33.68 R@50,IoU=0.5: 25.33 |
| natural-language-moment-retrieval-on-mad | Random Chance | R@1,IoU=0.1: 0.09 R@1,IoU=0.3: 0.04 R@1,IoU=0.5: 0.01 R@10,IoU=0.1: 0.88 R@10,IoU=0.3: 0.39 R@10,IoU=0.5: 0.14 R@100,IoU=0.1: 8.47 R@100,IoU=0.3: 3.80 R@100,IoU=0.5: 1.40 R@5,IoU=0.1: 0.44 R@5,IoU=0.3: 0.19 R@5,IoU=0.5: 0.07 R@50,IoU=0.1: 4.33 R@50,IoU=0.3: 1.92 R@50,IoU=0.5: 0.71 |
| natural-language-moment-retrieval-on-mad | CLIP | R@1,IoU=0.1: 6.57 R@1,IoU=0.3: 3.13 R@1,IoU=0.5: 1.39 R@10,IoU=0.1: 20.26 R@10,IoU=0.3: 14.13 R@10,IoU=0.5: 8.38 R@100,IoU=0.1: 47.73 R@100,IoU=0.3: 36.98 R@100,IoU=0.5: 24.99 R@5,IoU=0.1: 15.05 R@5,IoU=0.3: 9.85 R@5,IoU=0.5: 5.44 R@50,IoU=0.1: 37.92 R@50,IoU=0.3: 28.71 R@50,IoU=0.5: 18.80 |