HyperAIHyperAI

Command Palette

Search for a command to run...

边界去噪在视频活动定位中的应用

Mengmeng Xu Mattia Soldan Jialin Gao Shuming Liu Juan-Manuel Pérez-Rúa Bernard Ghanem

摘要

视频活动定位旨在理解长未剪辑视频中的语义内容并检索感兴趣的行动。检索到的行动及其起始和结束位置可用于生成精彩片段、时间动作检测等。不幸的是,学习活动的确切边界位置极具挑战性,因为时间活动在时间上是连续的,且动作之间通常没有明显的过渡。此外,事件的起始和结束定义具有主观性,这可能会混淆模型。为了解决边界模糊问题,我们提出从去噪的角度研究视频活动定位问题。具体而言,我们提出了一种名为DenoiseLoc的编码器-解码器模型。在训练过程中,从真实标签中随机生成一组带有可控噪声尺度的动作跨度。然后我们通过边界去噪尝试逆转这一过程,使定位器能够预测具有精确边界的活动,并实现更快的收敛速度。实验表明,DenoiseLoc在多个视频活动理解任务中取得了进展。例如,在QV-Highlights数据集上,平均mAP提高了12.36%,在THUMOS'14数据集上的mAP@0.5提高了1.64%。此外,DenoiseLoc在TACoS和MAD数据集上实现了最先进的性能,但其预测次数远少于其他当前方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
边界去噪在视频活动定位中的应用 | 论文 | HyperAI超神经