摘要

我们解决了单次实例分割的问题：给定一张包含新型、此前未知物体类别的示例图像，需要在复杂场景中找到并分割出所有属于该类别的物体。为了解决这一具有挑战性的新任务，我们提出了Siamese Mask R-CNN。该方法通过一个Siamese主干网络对参考图像和场景进行编码，从而能够针对参考类别进行目标检测和分割。我们在MS Coco数据集上展示了实验结果，突显了单次设置中的挑战：虽然将实例分割的知识迁移到新型物体类别上效果非常好，但将检测网络的目标指向参考类别则显得更加困难。我们的工作为单次实例分割提供了一个强大的基线，并希望激发更多关于更强大、更灵活的场景分析算法的研究。代码可从以下地址获取：https://github.com/bethgelab/siamese-mask-rcnn