4 个月前

边缘化平均注意力网络用于弱监督学习

边缘化平均注意力网络用于弱监督学习

摘要

在弱监督时序动作定位中,以往的研究由于高估了最显著区域的重要性,未能为每个完整动作定位密集且完整的区域。为了缓解这一问题,我们提出了一种边缘化平均注意力网络(Marginalized Average Attentional Network, MAAN),以原则性的方式抑制最显著区域的主导响应。MAAN采用了一种新颖的边缘化平均聚合(Marginalized Average Aggregation, MAA)模块,并以端到端的方式学习一组潜在的判别概率。MAA根据这组潜在的判别概率从视频片段特征中采样多个子集,并对所有子集特征的平均值取期望。理论上,我们证明了带有学习到的潜在判别概率的MAA模块成功减少了最显著区域与其他区域之间的响应差异。因此,MAAN能够生成更好的类别激活序列,并在视频中识别出密集且完整的动作区域。此外,我们提出了一种快速算法,将构建MAA的复杂度从O($2^T$)降低到O($T^2$)。在两个大规模视频数据集上的大量实验表明,我们的MAAN在弱监督时序动作定位任务上取得了优越的性能。

基准测试

基准方法指标
weakly-supervised-action-localization-onMAAN
mAP@0.1:0.7: 31.6
mAP@0.5: 20.3
weakly-supervised-action-localization-on-1MAAN
mAP@0.5: 33.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
边缘化平均注意力网络用于弱监督学习 | 论文 | HyperAI超神经