3 个月前

用于人相关视频异常检测的骨骼运动学约束

用于人相关视频异常检测的骨骼运动学约束

摘要

检测人类行为中的异常对于及时识别潜在危险情境(如街头斗殴或老年人跌倒)至关重要。然而,异常检测具有高度复杂性,主要原因在于异常事件本身极为罕见,且该任务属于开放集识别范畴——即在推理阶段出现的异常行为在训练阶段并未被观测到。为此,我们提出了一种名为COSKAD的新模型,该模型通过图卷积网络对骨骼运动进行编码,并学习将骨骼运动嵌入(Skeletal kinematic embeddings)压缩至体积最小的潜在超球面(latent hypersphere)上,以实现视频异常检测。我们设计了三种潜在空间:常用的欧几里得空间,以及两种新颖的球面空间与双曲空间。所有变体在最新发布的UBnormal数据集上均超越了当前最先进方法的表现,该数据集我们还贡献了一个包含标注骨骼信息的人类相关版本。COSKAD在ShanghaiTech Campus与CUHK Avenue的人类相关版本上均取得了新的最先进性能,其表现可与基于视频的方法相媲美。相关源代码与数据集将在论文被接收后公开发布。

代码仓库

aleflabo/COSKAD
官方
pytorch

基准测试

基准方法指标
anomaly-detection-on-ubnormalCOSKAD-euclidean
AUC: 64.9%
anomaly-detection-on-ubnormalCOSKAD-radial
AUC: 62.9%
anomaly-detection-on-ubnormalCOSKAD-hyperbolic
AUC: 65%
video-anomaly-detection-on-hr-avenueCOSKAD-euclidean
AUC: 87.8
video-anomaly-detection-on-hr-avenueCOSKAD-radial
AUC: 82.2
video-anomaly-detection-on-hr-avenueCOSKAD-hyperbolic
AUC: 87.3
video-anomaly-detection-on-hr-shanghaitechCOSKAD-euclidean
AUC: 77.1
video-anomaly-detection-on-hr-shanghaitechCOSKAD-radial
AUC: 75.2
video-anomaly-detection-on-hr-shanghaitechCOSKAD-hyperbolic
AUC: 75.6
video-anomaly-detection-on-hr-ubnormalCOSKAD-radial
AUC: 63.4
video-anomaly-detection-on-hr-ubnormalCOSKAD-euclidean
AUC: 65.2
video-anomaly-detection-on-hr-ubnormalCOSKAD-hyperbolic
AUC: 65.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于人相关视频异常检测的骨骼运动学约束 | 论文 | HyperAI超神经