
摘要
我们提出了一种新的视频异常检测方法:将从视频中提取的特征向量视为具有固定分布的随机变量的实现,并使用神经网络对该分布进行建模。这使得我们可以估计测试视频的似然性,并通过设定似然性估计的阈值来检测视频中的异常。我们使用去噪得分匹配(denoising score matching)方法的一个变体来训练我们的视频异常检测器,该方法通过向训练数据注入噪声以帮助建模其分布。为了消除超参数选择的问题,我们在不同噪声水平下对有噪声的视频特征分布进行建模,并引入了一个正则化项,该正则化项倾向于使不同噪声水平下的模型对齐。在测试阶段,我们使用高斯混合模型将多个噪声尺度下的异常指示结合起来。运行我们的视频异常检测器几乎不会产生延迟,因为推理过程仅需提取特征并通过浅层神经网络和高斯混合模型进行前向传播。我们在五个流行的视频异常检测基准上进行了实验,结果表明无论是在目标中心还是帧中心设置下,我们的方法均达到了最先进的性能。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| anomaly-detection-in-surveillance-videos-on | MULDE-frame-centric-micro-one-class-classification | ROC AUC: 78.5% |
| anomaly-detection-on-chuk-avenue | MULDE-object-centric-micro | AUC: 94.3% |
| anomaly-detection-on-shanghaitech | MULDE-object-centric-micro | AUC: 86.7% |
| anomaly-detection-on-shanghaitech | MULDE-frame-centric-micro | AUC: 81.3% |
| anomaly-detection-on-ubnormal | MULDE-frame-centric-micro-one-class-classification | AUC: 72.8% |
| anomaly-detection-on-ucf-crime-1 | MULDE-frame-centric-micro-one-class-classification | AUC: 78.5% |
| anomaly-detection-on-ucsd-ped2 | MULDE-object-centric-micro | AUC: 99.7% |
| video-anomaly-detection-on-chuk-avenue | MULDE-object-centric-micro | AUC: 94.3% |
| video-anomaly-detection-on-shanghaitech-4 | MULDE-frame-centric-micro | AUC: 81.3% |
| video-anomaly-detection-on-shanghaitech-4 | MULDE-object-centric-micro | AUC: 86.7% |
| video-anomaly-detection-on-ubnormal | MULDE-frame-centric-micro-one-class-classification | AUC: 72.8% |
| video-anomaly-detection-on-ucf-crime-2 | MULDE-frame-centric-micro-one-class-classification | AUC: 78.5% |
| video-anomaly-detection-on-ucsd-ped2-1 | MULDE-object-centric-micro | AUC: 99.7% |