摘要

当前最先进的实例分割方法并不适用于需要快速执行时间且高精度的实时应用，如自动驾驶。尽管目前主流的基于提议的方法具有较高的精度，但它们速度较慢，并且生成的掩码分辨率固定且较低。相比之下，无提议方法可以在高分辨率下生成掩码，并且通常更快，但在精度上无法达到基于提议方法的水平。在本研究中，我们提出了一种新的无提议实例分割聚类损失函数。该损失函数将属于同一实例的像素的空间嵌入拉近，并联合学习特定实例的聚类带宽，以最大化生成实例掩码的交并比（Intersection-over-Union, IoU）。当与快速架构结合时，网络可以在保持高精度的同时实现实时实例分割。我们在具有挑战性的Cityscapes基准数据集上评估了我们的方法，并在2MP图像上实现了超过10帧每秒的速度，同时取得了顶级结果（相比Mask R-CNN提高了5%）。代码将在https://github.com/davyneven/SpatialEmbeddings 上提供。