摘要

上下文信息在视频语义分割（Video Semantic Segmentation, VSS）中起着核心作用。本文从两个方面对VSS中的上下文进行了归纳：局部时序上下文（Local Temporal Context, LTC），即来自相邻帧的上下文信息；以及全局时序上下文（Global Temporal Context, GTC），即来自整个视频的上下文信息。其中，LTC进一步细分为静态上下文与运动上下文，分别对应相邻帧中的静态内容与运动内容。以往研究已分别探讨了静态与运动上下文，但尚无工作同时学习这两种高度互补的上下文信息。为此，本文提出一种粗粒度到细粒度特征挖掘（Coarse-to-Fine Feature Mining, CFFM）方法，用于学习LTC的统一表征。CFFM由两部分组成：粗粒度到细粒度特征融合（Coarse-to-Fine Feature Assembling, CFFA）与跨帧特征挖掘（Cross-frame Feature Mining, CFM）。CFFA用于抽象提取静态与运动上下文，而CFM则从邻近帧中挖掘有用信息，以增强目标区域的特征表示。为进一步挖掘更丰富的时序上下文信息，本文进一步提出CFFM++，通过从整个视频中学习GTC来增强模型表达能力。具体而言，首先对视频进行均匀采样，选取若干关键帧，并利用k-means聚类算法提取全局上下文原型。随后，通过CFM模块挖掘这些原型中的有效信息，用于进一步优化目标特征。在多个主流基准数据集上的实验结果表明，CFFM与CFFM++在性能上均优于当前最先进的方法。相关代码已开源，地址为：https://github.com/GuoleiSun/VSS-CFFM。