摘要

上下文对于语义分割至关重要。由于场景图像中物体形状多样且布局复杂，不同物体所对应的上下文在空间尺度和形状上存在极大差异。因此，从预定义的固定区域聚合各类上下文信息往往效率低下或效果不佳。为此，本文提出为每个像素生成一个尺度与形状可变的语义掩码，以限定其上下文区域。为此，我们首先提出一种新型的成对卷积（paired convolution），用于推断像素对之间的语义相关性，并基于该相关性生成形状掩码。利用所推断出的上下文区域空间范围，我们进一步设计了一种形状可变卷积（shape-variant convolution），其感受野由随输入外观动态变化的形状掩码进行调控。通过这种方式，所提出的网络能够从与当前像素语义相关联的区域中聚合上下文信息，而非依赖于预设的固定区域。此外，本文还提出一种标签去噪模型，用以降低由低层特征噪声导致的错误预测。在不依赖复杂技巧的前提下，该分割网络在六个公开的语义分割数据集上均取得了新的最先进（SOTA）性能。