摘要

学习文本-视频嵌入通常需要一个包含手动提供字幕的视频片段数据集。然而，这样的数据集创建成本高昂且耗时，因此难以大规模获取。在本研究中，我们提出了一种替代方法，即从具有现成自然语言注释的视频数据中学习这些嵌入，这些注释以自动转录的叙述形式存在。本研究的贡献有三个方面。首先，我们引入了HowTo100M：这是一个大规模的数据集，包含1.36亿个视频片段，源自122万个带有叙述的指导性网络视频，展示了人类执行和描述超过23,000种不同的视觉任务。我们的数据收集过程快速、可扩展且无需任何额外的手动注释。其次，我们证明了在这种数据上训练的文本-视频嵌入在指导性视频数据集（如YouCook2或CrossTask）上的文本到视频检索和动作定位任务中达到了最先进的结果。最后，我们展示了这种嵌入可以很好地迁移到其他领域：在通用YouTube视频（MSR-VTT数据集）和电影（LSMDC数据集）上进行微调的表现优于仅在这类数据集上训练的模型。我们的数据集、代码和模型将在以下网址公开发布：www.di.ens.fr/willow/research/howto100m/。