摘要

现有的绝大多数深度学习语义分割方法都将该任务视为一个像素级分类问题。然而，人类理解场景的方式并非基于像素，而是通过将场景分解为感知上的分组与结构，这些是识别的基本构成单元。这一认知机制启发我们提出一种端到端的像素级度量学习方法，以模拟人类的这种认知过程。在该方法中，最优的视觉表征不仅能够实现单幅图像内的准确分割，还能在不同图像之间将属于相同语义类别的区域关联起来。因此，核心的视觉学习问题在于：最大化同一语义段内部的相似性，同时最小化不同语义段之间的相似性。在该模型训练完成后，推理过程通过提取像素级嵌入（embedding）并进行聚类实现，语义标签由其最近邻在标注数据集中的多数投票结果决定，从而保证了推理的一致性。基于此，我们提出了SegSort，这是首个尝试利用深度学习实现无监督语义分割的方法，其性能达到有监督方法的76%。当存在标注监督信息时，SegSort在多个基准上均展现出对传统基于像素级Softmax训练方法的持续改进。此外，该方法还能生成更精确的边界以及更加一致的区域预测结果。更重要的是，SegSort的输出具有良好的可解释性：每个标签的选择均可通过检索其最近邻的语义段进行直观理解。