摘要

近期研究广泛探索了上下文依赖关系，以实现更精确的分割结果。然而，大多数方法未能有效区分不同类型的上下文依赖关系，这可能导致场景理解受到干扰。本文中，我们通过直接监督特征聚合过程，明确区分类内与类间上下文关系。具体而言，我们提出一种基于亲和力损失（Affinity Loss）监督的上下文先验（Context Prior）。给定输入图像及其对应的真值标签，亲和力损失构建一个理想的亲和图，用于指导上下文先验的学习。所学习到的上下文先验能够提取属于同一类别的像素，而反向先验则聚焦于不同类别之间的像素。该上下文先验层可嵌入传统的深度卷积神经网络（CNN）中，实现对类内与类间上下文依赖关系的选择性捕捉，从而获得更鲁棒的特征表示。为验证其有效性，我们设计了一种高效的上下文先验网络（Context Prior Network, CPNet）。大量定量与定性实验结果表明，所提出的模型在性能上优于当前最先进的语义分割方法。具体而言，我们的算法在 ADE20K 数据集上达到 46.3% 的 mIoU，在 PASCAL-Context 数据集上达到 53.9% 的 mIoU，在 Cityscapes 数据集上达到 81.3% 的 mIoU。代码已开源，可访问 https://git.io/ContextPrior。