摘要

我们提出了一种高效且高质量的图像分割新方法，用于对象与场景的分割。通过将经典计算机图形学中针对高效渲染的策略类比于像素标注任务中面临的过采样与欠采样挑战，我们从全新视角将图像分割问题视为一个渲染问题。基于这一视角，我们提出了PointRend（基于点的渲染）神经网络模块：该模块采用迭代细分算法，自适应地选择关键位置，进行基于点的分割预测。PointRend可通过在现有最先进模型基础上构建，灵活应用于实例分割与语义分割任务。尽管该通用思想存在多种具体实现方式，但我们证明，一种简洁的设计已能取得卓越性能。定性分析表明，PointRend在以往方法过度平滑的区域，能够生成清晰锐利的物体边界；定量评估显示，无论在实例分割还是语义分割任务上，PointRend在COCO与Cityscapes数据集上均取得了显著提升。此外，PointRend的高效性使其能够实现远超现有方法在内存与计算成本限制下的输出分辨率。代码已开源，地址为：https://github.com/facebookresearch/detectron2/tree/master/projects/PointRend。