3 个月前

动作作为移动点

动作作为移动点

摘要

现有的动作管(action tubelet)检测方法通常依赖于启发式设计的锚框(anchor)及其位置设定,这可能导致计算开销较大,并在精确定位方面表现欠佳。本文提出了一种概念简洁、计算高效且更具精度的动作管检测框架,称为MovingCenter检测器(MOC-Detector)。该方法将一个动作实例建模为一组运动点的轨迹,充分利用运动信息以简化并辅助动作管检测。MOC-Detector由三个关键分支构成:(1) 中心分支(Center Branch):用于检测动作实例的中心位置并进行动作分类;(2) 运动分支(Movement Branch):估计相邻帧之间的运动信息,从而构建运动点的轨迹;(3) 框分支(Box Branch):在每个预测的中心点上直接回归边界框的尺寸,以确定空间范围。这三个分支协同工作,生成初步的管状检测结果,再通过匹配策略进一步连接,形成完整的视频级动作管(video-level tubes)。 在JHMDB和UCF101-24数据集上的实验表明,MOC-Detector在帧级mAP(frame-mAP)和视频级mAP(video-mAP)两个指标上均优于现有最先进方法。尤其在较高视频IoU阈值下,性能差距更为显著,表明该方法在实现高精度动作检测方面具有突出优势。相关代码已开源,地址为:https://github.com/MCG-NJU/MOC-Detector。

代码仓库

MCG-NJU/MOC-Detector
官方
pytorch
GitHub 中提及
NEUdeep/MOC-Detector-Pytorch1.4
pytorch
GitHub 中提及

基准测试

基准方法指标
action-detection-on-j-hmdbMOC
Frame-mAP 0.5: 74
Video-mAP 0.2: 80.7
Video-mAP 0.5: 80.5
action-detection-on-ucf101-24MOC
Frame-mAP 0.5: 77.8
Video-mAP 0.2: 81.8
Video-mAP 0.5: 53.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
动作作为移动点 | 论文 | HyperAI超神经