4 个月前

TACNet:具有过渡感知能力的上下文网络用于时空动作检测

TACNet:具有过渡感知能力的上下文网络用于时空动作检测

摘要

当前最先进的时空动作检测方法已经取得了令人印象深刻的结果,但在时间范围检测方面仍不尽如人意。主要原因在于存在一些与真实动作相似的模糊状态,即使经过良好训练的网络也可能将其误判为目标动作。在本文中,我们将这些模糊样本定义为“过渡状态”,并提出了一种过渡感知上下文网络(Transition-Aware Context Network, TACNet)来区分这些过渡状态。所提出的TACNet包括两个主要组件,即时间上下文检测器和过渡感知分类器。时间上下文检测器通过构建递归网络以恒定的时间复杂度提取长期上下文信息。过渡感知分类器则可以通过同时对动作和过渡状态进行分类,进一步区分过渡状态。因此,所提出的TACNet可以显著提高时空动作检测的性能。我们在UCF101-24和J-HMDB数据集上对所提出的TACNet进行了广泛的评估。实验结果表明,TACNet在J-HMDB数据集上获得了具有竞争力的性能,并且在未剪辑的UCF101-24数据集上,在帧均平均精度(frame-mAP)和视频均平均精度(video-mAP)方面显著优于现有最先进方法。

基准测试

基准方法指标
action-detection-on-j-hmdbTACNet
Frame-mAP 0.5: 65.5
Video-mAP 0.2: 74.1
Video-mAP 0.5: 73.4
action-detection-on-ucf101-24TACNet
Frame-mAP 0.5: 72.1
Video-mAP 0.2: 77.5
Video-mAP 0.5: 52.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
TACNet:具有过渡感知能力的上下文网络用于时空动作检测 | 论文 | HyperAI超神经