摘要

我们提出了一种基于聚类思想的Transformer框架——聚类掩码Transformer（Clustering Mask Transformer, CMT-DeepLab），用于全景分割任务。该框架重新思考了现有用于分割与检测任务的Transformer架构设计，将对象查询（object queries）视为聚类中心，并在分割任务中利用这些中心对像素进行分组。聚类过程通过交替迭代实现：首先根据像素特征的相似性将其分配至相应聚类，随后更新聚类中心及像素特征。上述操作共同构成了聚类掩码Transformer（CMT）层，其生成的交叉注意力机制具有更高的密度，并与最终的分割任务目标更加一致。CMT-DeepLab在性能上显著超越此前最优方法，相较于基线模型提升了4.4%的Panoptic Quality（PQ），在COCO test-dev数据集上达到了55.7%的PQ新纪录，刷新了当前最优水平。