摘要

视频异常检测（VAD）在安全监控和自动驾驶等应用中至关重要。然而，现有的VAD方法在检测背后的理由方面提供的信息很少，这阻碍了其在实际部署中的公众信任。本文提出了一种基于推理框架的方法来解决这一问题。尽管大型语言模型（LLMs）已经展示了革命性的推理能力，但我们发现它们的直接应用在VAD上存在不足。具体来说，预训练在LLMs中的隐性知识主要集中在一般上下文中，因此可能不适用于每一个具体的现实世界VAD场景，导致灵活性和准确性不足。为了解决这一问题，我们提出了AnomalyRuler，这是一种新型的基于规则的推理框架，用于结合LLMs进行视频异常检测。AnomalyRuler包括两个主要阶段：归纳和演绎。在归纳阶段，LLM接收少量正常参考样本，并总结这些正常模式以生成一套用于检测异常的规则。演绎阶段则根据生成的规则识别测试视频中的异常帧。此外，我们设计了规则聚合、感知平滑和鲁棒推理策略，以进一步增强AnomalyRuler的鲁棒性。AnomalyRuler是首个针对单类VAD任务的推理方法，仅需少量正常样本提示而无需进行全面训练，从而能够快速适应各种VAD场景。我们在四个VAD基准数据集上的全面实验表明，AnomalyRuler具有最先进的检测性能和推理能力。AnomalyRuler已开源，并可在以下地址获取：https://github.com/Yuchen413/AnomalyRuler