摘要

在长视频（20-120分钟）中定位特定时刻是一个巨大的挑战，类似于在haystack中寻找needle。现有的短视頻（5-30秒）定位方法应用于这一问题时表现不佳。由于大多数现实生活中的视频，如YouTube上的视频和AR/VR内容，都是较长的，因此解决这一问题至关重要。现有方法通常分为两个阶段：片段检索和定位。然而，这种分离的过程限制了检索模块对细粒度事件的理解，而这种理解对于特定时刻的检测至关重要。我们提出了RGNet，该网络将片段检索和定位深度整合到一个单一的网络中，能够处理长视频并将其分解为多个粒度级别，例如片段和帧。其核心组件是一种新颖的变压器编码器——RG-Encoder，通过共享特征和相互优化统一了这两个阶段。编码器结合了一种稀疏注意力机制和注意力损失来联合建模不同粒度。此外，我们引入了一种对比片段采样技术，在训练过程中更贴近长视频的实际场景。RGNet超越了先前的方法，在MAD和Ego4D数据集上展示了最先进的长视频时间定位（LVTG）性能。