4 个月前

3C-Net:类别计数和中心损失在弱监督动作定位中的应用

3C-Net:类别计数和中心损失在弱监督动作定位中的应用

摘要

时间动作定位是一个具有众多实际应用的挑战性计算机视觉问题。现有的大多数方法都需要繁琐的帧级监督来训练动作定位模型。在本研究中,我们提出了一种称为3C-Net的框架,该框架仅需视频级别的监督(弱监督),即动作类别标签及其对应的计数。我们引入了一种新的公式来学习具有增强定位能力的判别性动作特征。我们的联合公式包含三个部分:一个分类项以确保所学动作特征的可分离性,一个改进的多标签中心损失项以增强动作特征的判别力,以及一个计数损失项以区分相邻的动作序列,从而提高定位精度。我们在两个具有挑战性的基准数据集THUMOS14和ActivityNet 1.2上进行了全面实验。我们的方法在这两个数据集上均实现了弱监督时间动作定位的新最先进水平。在THUMOS14数据集中,所提出的方法在平均精度均值(mean average precision, mAP)方面相比现有最先进方法绝对提升了4.6%。源代码可在https://github.com/naraysa/3c-net 获取。

代码仓库

naraysa/3c-net
官方
pytorch
GitHub 中提及

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
3C-Net:类别计数和中心损失在弱监督动作定位中的应用 | 论文 | HyperAI超神经