HyperAIHyperAI

Command Palette

Search for a command to run...

RGNet:一种用于长视频的统一片段检索和定位网络

Hannan Tanveer ; Islam Md Mohaiminul ; Seidl Thomas ; Bertasius Gedas

摘要

在长视频(20-120分钟)中定位特定时刻是一个巨大的挑战,类似于在haystack中寻找needle。现有的短视頻(5-30秒)定位方法应用于这一问题时表现不佳。由于大多数现实生活中的视频,如YouTube上的视频和AR/VR内容,都是较长的,因此解决这一问题至关重要。现有方法通常分为两个阶段:片段检索和定位。然而,这种分离的过程限制了检索模块对细粒度事件的理解,而这种理解对于特定时刻的检测至关重要。我们提出了RGNet,该网络将片段检索和定位深度整合到一个单一的网络中,能够处理长视频并将其分解为多个粒度级别,例如片段和帧。其核心组件是一种新颖的 Transformer 编码器——RG-Encoder,通过共享特征和相互优化统一了这两个阶段。编码器结合了一种稀疏注意力机制和注意力损失来联合建模不同粒度。此外,我们引入了一种对比片段采样技术,在训练过程中更贴近长视频的实际场景。RGNet超越了先前的方法,在MAD和Ego4D数据集上展示了最先进的长视频时间定位(LVTG)性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RGNet:一种用于长视频的统一片段检索和定位网络 | 论文 | HyperAI超神经