HyperAIHyperAI

Command Palette

Search for a command to run...

密集回归网络用于视频定位

Zeng Runhao ; Xu Haoming ; Huang Wenbing ; Chen Peihao ; Tan Mingkui ; Gan Chuang

摘要

我们研究了从自然语言查询中进行视频定位的问题。该任务的关键挑战在于,一个训练视频可能只包含少数几个可用于模型训练的标注起始/结束帧。大多数传统方法直接使用这种不平衡数据训练二分类器,因此导致结果较差。本文的核心思想是利用视频片段内各帧与真实起始(结束)帧之间的距离作为密集监督信号,以提高视频定位的准确性。具体而言,我们设计了一种新颖的密集回归网络(Dense Regression Network, DRN),用于回归每个帧到由查询描述的视频片段起始(结束)帧的距离。此外,我们还提出了一种简单而有效的交并比(Intersection over Union, IoU)回归头模块,显式考虑了定位结果的质量(即预测位置与真实位置之间的IoU)。实验结果表明,我们的方法在三个数据集上显著优于现有最佳方法(即Charades-STA、ActivityNet-Captions和TACoS)。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
密集回归网络用于视频定位 | 论文 | HyperAI超神经