摘要

监控视频能够捕捉到多种真实的异常行为。在本文中，我们提出通过同时利用正常视频和异常视频来学习异常模式。为避免在训练视频中对异常片段或视频段进行标注——这一过程极为耗时——我们提出采用弱标签训练视频，即训练标签仅在视频级别（视频整体为异常或正常），而非片段级别，结合深度多实例排序框架来学习异常。在我们的方法中，将正常视频与异常视频视为“包”（bags），视频片段视为“实例”（instances），基于多实例学习（MIL）框架，自动学习一个深度异常排序模型，该模型能够为异常视频片段预测较高的异常得分。此外，我们在排序损失函数中引入稀疏性约束和时间平滑性约束，以在训练过程中更精确地定位异常区域。我们还构建了一个全新的、迄今首个大规模监控视频数据集，包含总计128小时的视频内容，涵盖1900段长且未经剪辑的真实世界监控视频，其中包含13种现实中的异常行为（如斗殴、交通事故、入室盗窃、抢劫等）以及正常活动。该数据集可用于两项任务：第一，进行通用异常检测，将所有异常行为归为一类，所有正常活动归为另一类；第二，对13种具体异常行为进行识别。实验结果表明，与现有最先进方法相比，我们提出的MIL异常检测方法在异常检测性能上取得了显著提升。我们还提供了若干近期深度学习基线模型在异常行为识别任务上的实验结果。这些基线模型表现较差的结果表明，我们的数据集具有极高的挑战性，为未来研究提供了广阔的空间。该数据集现已公开，可访问：https://webpages.uncc.edu/cchen62/dataset.html