4 个月前

面向物理和通用视频异常检测的方法

面向物理和通用视频异常检测的方法

摘要

近年来,许多研究工作致力于解决在视频中发现前所未见异常的问题。然而,大多数研究主要集中在从安全摄像头拍摄的监控视频中检测异常帧。与此同时,对于展示异常机械行为的视频中的异常检测(AD)任务则被忽视较多。此类视频中的异常检测不仅具有学术价值,还具有实际应用意义,因为它们可能实现在许多制造、维护和现实场景中自动检测故障。为了评估不同方法在检测此类异常方面的潜力,我们评估了两种简单的基线方法:(i) 时间池化图像异常检测技术。(ii) 使用预训练的视频分类特征表示的视频密度估计。开发这些方法需要新的基准测试以允许对不同的潜在方法进行评估。我们引入了物理异常轨迹或运动(PHANTOM)数据集,该数据集包含六种不同的视频类别。每个类别包括正常和异常视频。这些类别的差异在于所展示的现象、正常类别的变异性以及视频中的异常类型。我们还提出了一项更具挑战性的基准测试,在这项测试中,需要在高度变化的场景中识别出异常活动。

基准测试

基准方法指标
general-action-video-anomaly-detection-onPooled Image Level kNN
Architecture: ViT
Avg. ROC-AUC: 0.58
general-action-video-anomaly-detection-onVideo Level features kNN
Architecture: TimeSformer
Avg. ROC-AUC: 0.52
physical-video-anomaly-detection-on-phantomPooled Image Level kNN
Architecture: ViT
Avg. ROC-AUC: 0.78
physical-video-anomaly-detection-on-phantomVideo Level features kNN
Architecture: TimeSformer
Avg. ROC-AUC: 0.76

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向物理和通用视频异常检测的方法 | 论文 | HyperAI超神经