摘要

从视频中检索描述动作的副词是实现细粒度视频理解的关键步骤。我们提出了一种框架，用于视频到副词（及反向）的检索，该框架在联合嵌入空间中将视频嵌入与其匹配的组合式副词-动作文本嵌入对齐。组合式副词-动作文本嵌入通过残差门机制学习，并结合由三元组损失和回归目标组成的新颖训练目标。我们的方法在五个最近的视频-副词检索基准测试中取得了最先进的性能。此外，我们在MSR-VTT Adverbs和ActivityNet Adverbs数据集的部分子集上引入了数据集分割，以评估未见过的副词-动作组合的视频-副词检索性能。对于从未见过的副词-动作组合中检索副词的一般化任务，我们提出的框架超越了所有先前的工作。代码和数据集分割可在https://hummelth.github.io/ReGaDa/ 获取。