4 个月前

MULDE:基于去噪评分匹配的多尺度对数密度估计用于视频异常检测

MULDE:基于去噪评分匹配的多尺度对数密度估计用于视频异常检测

摘要

我们提出了一种新的视频异常检测方法:将从视频中提取的特征向量视为具有固定分布的随机变量的实现,并使用神经网络对该分布进行建模。这使得我们可以估计测试视频的似然性,并通过设定似然性估计的阈值来检测视频中的异常。我们使用去噪得分匹配(denoising score matching)方法的一个变体来训练我们的视频异常检测器,该方法通过向训练数据注入噪声以帮助建模其分布。为了消除超参数选择的问题,我们在不同噪声水平下对有噪声的视频特征分布进行建模,并引入了一个正则化项,该正则化项倾向于使不同噪声水平下的模型对齐。在测试阶段,我们使用高斯混合模型将多个噪声尺度下的异常指示结合起来。运行我们的视频异常检测器几乎不会产生延迟,因为推理过程仅需提取特征并通过浅层神经网络和高斯混合模型进行前向传播。我们在五个流行的视频异常检测基准上进行了实验,结果表明无论是在目标中心还是帧中心设置下,我们的方法均达到了最先进的性能。

基准测试

基准方法指标
anomaly-detection-in-surveillance-videos-onMULDE-frame-centric-micro-one-class-classification
ROC AUC: 78.5%
anomaly-detection-on-chuk-avenueMULDE-object-centric-micro
AUC: 94.3%
anomaly-detection-on-shanghaitechMULDE-object-centric-micro
AUC: 86.7%
anomaly-detection-on-shanghaitechMULDE-frame-centric-micro
AUC: 81.3%
anomaly-detection-on-ubnormalMULDE-frame-centric-micro-one-class-classification
AUC: 72.8%
anomaly-detection-on-ucf-crime-1MULDE-frame-centric-micro-one-class-classification
AUC: 78.5%
anomaly-detection-on-ucsd-ped2MULDE-object-centric-micro
AUC: 99.7%
video-anomaly-detection-on-chuk-avenueMULDE-object-centric-micro
AUC: 94.3%
video-anomaly-detection-on-shanghaitech-4MULDE-frame-centric-micro
AUC: 81.3%
video-anomaly-detection-on-shanghaitech-4MULDE-object-centric-micro
AUC: 86.7%
video-anomaly-detection-on-ubnormalMULDE-frame-centric-micro-one-class-classification
AUC: 72.8%
video-anomaly-detection-on-ucf-crime-2MULDE-frame-centric-micro-one-class-classification
AUC: 78.5%
video-anomaly-detection-on-ucsd-ped2-1MULDE-object-centric-micro
AUC: 99.7%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MULDE:基于去噪评分匹配的多尺度对数密度估计用于视频异常检测 | 论文 | HyperAI超神经