3 个月前

从弱标签视频中定位异常

从弱标签视频中定位异常

摘要

在视频级标签下的视频异常检测目前仍是一项具有挑战性的任务。先前的研究在判断视频序列中是否包含异常方面取得了一定进展,但大多数方法难以在时间维度上准确地定位异常事件。本文提出一种弱监督异常定位(Weakly Supervised Anomaly Localization, WSAL)方法,专注于在异常视频中实现异常片段的时序定位。受异常视频中外观差异的启发,本文通过评估相邻时间片段之间的演化关系来实现异常片段的定位。为此,我们提出一种高阶上下文编码模型,不仅能够提取语义表征,还能度量动态变化,从而有效利用时间上下文信息。此外,为充分挖掘空间上下文信息,直接从片段表征中提取局部语义特征。将动态变化特征与局部语义信息进行高效聚合,以获得最终的异常得分。为进一步应对异常检测中噪声干扰以及缺乏定位引导的问题,本文还提出一种增强策略。同时,为满足异常检测基准测试对多样性需求,我们构建了一个新的交通异常数据集(Traffic Anomaly Dataset, TAD),该数据集聚焦于交通场景,与当前主流的异常检测评估基准存在显著差异。大量实验验证了各组件的有效性,所提方法在UCF-Crime和TAD两个数据集上均取得了新的最先进性能。

代码仓库

基准测试

基准方法指标
anomaly-detection-in-surveillance-videos-onWSAL
ROC AUC: 85.38

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
从弱标签视频中定位异常 | 论文 | HyperAI超神经