摘要

镜头边界检测（Shot Boundary Detection, SBD）是诸多视频分析任务中的关键环节，例如动作识别、视频索引、摘要生成和视频编辑。以往的研究通常结合颜色直方图等低层特征，并采用支持向量机（SVM）等简单模型进行处理。与此不同，我们提出一种端到端的镜头检测方法，直接从像素输入到最终的镜头边界输出进行学习。为训练此类模型，我们基于一个关键洞察：所有镜头边界均是人为生成的。因此，我们构建了一个包含一百万帧的视频数据集，并自动标注了各类转场效果，如切变（cuts）、淡入淡出（dissolves）和渐隐（fades）。为了高效分析长达数小时的视频内容，我们提出一种在时间维度上完全卷积的卷积神经网络（Convolutional Neural Network, CNN），该结构能够利用大范围的时间上下文信息，而无需重复处理每一帧。借助这一架构，我们的方法在取得当前最优性能的同时，运行速度达到了前所未有的超过120倍实时处理速度。