
摘要
我们提出了一种新型的人体动作异常检测方法。该方法直接作用于从输入视频序列中提取的人体姿态图(human pose graphs),从而使得分析过程不受视角、光照等干扰因素的影响。我们将这些姿态图映射到一个隐空间,并进行聚类。每个动作通过其对各个聚类的软分配(soft-assignment)来表示,形成一种类似“词袋”(bag of words)的表达方式:每个动作被描述为其与一组基础动作“词汇”之间的相似性。随后,我们采用基于狄利克雷过程(Dirichlet process)的混合模型,该模型特别适用于处理如软分配向量这类比例型数据,以判断某一动作是否为正常行为。我们在两类数据集上对所提方法进行了评估。第一类为细粒度异常检测数据集(如ShanghaiTech),旨在检测特定动作中的异常变化;第二类为粗粒度异常检测数据集(如基于Kinetics的数据集),其中仅少数动作被视为正常,其余所有动作均应被识别为异常。在多个基准测试上的大量实验结果表明,本方法在性能上显著优于现有的先进方法。
代码仓库
amirmk89/gepc
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| video-anomaly-detection-on-hr-avenue | GEPC | AUC: 58.1 |
| video-anomaly-detection-on-hr-shanghaitech | GEPC | AUC: 74.8 |
| video-anomaly-detection-on-hr-ubnormal | GEPC | AUC: 55.2 |