我们提出了一种高效检测视频异常的方法。近年来，卷积神经网络在图像目标检测与识别任务中展现出巨大潜力，尤其在图像处理方面表现突出。然而，卷积神经网络通常为监督学习模型，需要标注数据作为学习信号。为此，本文提出一种用于视频异常检测（包括人群密集场景）的时空架构。该架构包含两个核心组件：一个用于空间特征表示，另一个用于学习空间特征随时间的演化规律。在Avenue、Subway和UCSD等基准数据集上的实验结果表明，该方法在保持高达140帧/秒处理速度的同时，检测精度与当前最先进的方法相当。