摘要

本文提出了一种可学习的视频比较与对齐方法。我们的网络架构基于并重新审视了神经网络中的时序匹配核（temporal match kernels）：提出了一种新型时序层，通过最大化两组向量序列之间的得分来实现时序对齐，其依据是一种在傅里叶域中参数化的时序敏感相似性度量。我们采用一种时序提议策略来训练该层，通过最小化一个结合了定位精度与识别率的三元组损失（triplet loss）实现优化。我们在视频对齐、视频复制检测和事件检索任务上对所提方法进行了评估。在与现有方法在相同实验设置下的对比中，该方法在时序视频对齐和视频复制检测数据集上均取得了优于当前最先进水平的性能。此外，在特定事件检索任务中，该方法也取得了目前报道的最佳结果，同时实现了高精度的视频对齐。