摘要

我们提出了一种面向类别无关实例分割的自适应实例选择（Adaptive Instance Selection, AdaptIS）网络架构。给定一张输入图像和一个点坐标 $(x, y)$，该网络能够生成位于该点处物体的掩码。通过引入AdaIN（自适应实例归一化）层，网络可依据输入点自适应调整，从而在同张图像中为不同物体生成差异化的掩码。AdaptIS能够生成像素级精确的物体掩码，因此可准确分割复杂形状或严重遮挡的物体。该方法可轻松与标准语义分割流程结合，实现全景分割（panoptic segmentation）。为验证其有效性，我们首先在具有复杂遮挡的挑战性玩具问题上进行了实验；随后在多个全景分割基准数据集上进行了广泛评估。即使未在COCO数据集上进行预训练，AdaptIS在Cityscapes和Mapillary数据集上仍取得了当前最优（SOTA）性能，并在更具挑战性的COCO数据集上表现出具有竞争力的结果。该方法的源代码及训练好的模型已公开，地址为：https://github.com/saic-vul/adaptis。