HyperAIHyperAI

Command Palette

Search for a command to run...

在视频中识别时间精确的细粒度事件

James Hong Haotian Zhang Michaël Gharbi Matthew Fisher Kayvon Fatahalian

摘要

我们介绍了在视频中检测时间上精确、细粒度事件的任务(即检测事件发生的确切时刻)。精确检测要求模型在全球范围内对动作的整个时间尺度进行推理,并在局部识别出帧间细微的外观和运动差异,以确定这些动作中的事件。令人惊讶的是,我们发现此前在视频理解任务中表现最佳的解决方案,如动作检测和分割,并不能同时满足这两个要求。为此,我们提出了E2E-Spot,这是一种紧凑的端到端模型,在精确检测任务上表现出色,并且可以在单个GPU上快速训练。我们证明了E2E-Spot显著优于从视频动作检测、分割和检测文献中改编而来的近期基线方法。最后,我们为几个细粒度体育动作数据集贡献了新的注释和划分,使这些数据集适用于未来在精确检测方面的研究工作。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
在视频中识别时间精确的细粒度事件 | 论文 | HyperAI超神经