摘要

现代方法通常将语义分割建模为逐像素分类任务，而实例级分割则通过另一种掩码分类方式处理。我们的核心洞察在于：掩码分类具有足够的通用性，能够以完全相同的模型结构、损失函数和训练流程，统一解决语义分割与实例级分割任务。基于这一观察，我们提出了MaskFormer——一种简洁的掩码分类模型，该模型预测一组二值掩码，每个掩码对应一个全局类别标签的预测。总体而言，所提出的基于掩码分类的方法简化了语义分割与全景分割任务的有效方法体系，并取得了出色的实验结果。特别地，当类别数量较大时，MaskFormer在性能上显著优于传统的逐像素分类基线方法。该方法在当前最先进的语义分割（ADE20K数据集上达到55.6 mIoU）和全景分割（COCO数据集上达到52.7 PQ）任务中均取得了领先表现。