摘要

本文提出了一种弱监督视频动作定位框架——D2-Net，旨在仅利用视频级别标签实现动作的时间定位。本文的主要贡献在于提出了一种新颖的损失函数设计，该设计能够同时提升潜在特征嵌入的判别能力，并增强模型对弱监督带来的前景-背景噪声的鲁棒性。所提出的损失函数由判别性损失项与去噪损失项两部分构成，以协同提升时间动作定位性能。判别性损失项结合分类损失，并引入自顶向下的注意力机制，增强潜在前景与背景特征嵌入之间的可分性；而去噪损失项则通过自底向上的注意力机制，同时最大化视频内与视频间的互信息，显式地抑制类别激活中的前景-背景噪声。由此，前景区域的激活得到强化，而背景区域的激活被有效抑制，从而实现更鲁棒的预测结果。在多个基准数据集（包括THUMOS14和ActivityNet1.2）上进行了全面的实验验证。实验结果表明，D2-Net在所有数据集上均优于现有方法，在THUMOS14数据集上于IoU=0.5条件下，mAP指标最高提升达2.3%。相关源代码已开源，地址为：https://github.com/naraysa/D2-Net。