摘要

由于标注数据集稀缺，学习异常事件的上下文依赖性以及降低误报率，是异常行为检测任务中面临的两大挑战。为此，本文提出一种名为“基于多排序度量的深度网络”（Deep-network with Multiple Ranking Measures, DMRMs）的框架，通过联合学习运动与外观特征来有效建模上下文依赖性。在DMRMs框架中，首先利用三维残差网络（3D ResNet）从视频中提取时空依赖特征；随后，通过融合Motionflow图的信息，进一步提取深层运动特征。之后，将提取的多模态特征进行融合，并输入深度神经网络，采用所提出的多排序度量（Multiple Ranking Measures, MRMs）进行深度多实例学习（Deep Multiple Instance Learning, DMIL），在弱监督条件下学习异常事件的上下文语义关系。MRMs综合考虑多种误报度量指标，模型在正常与异常事件的联合训练下，显著降低了误报率。在推理阶段，网络可基于Motionflow图预测每一帧的异常得分，并实现移动目标的定位，异常得分越高，表明异常事件发生的可能性越大。在两个近期且具有挑战性的公开数据集上的实验结果表明，所提框架在UCF-Crime数据集上的AUC指标较当前最优方法提升了6.5%，在ShanghaiTech数据集上达到了68.5%的AUC表现，验证了其有效性与优越性。