摘要

近年来，语义分割研究取得了快速进展，但许多先进的方法仍无法识别具体的物体实例。本文提出了一种用于实例感知语义分割的多任务网络级联模型（Multi-task Network Cascades）。我们的模型由三个网络组成，分别负责实例区分、掩码估计和物体分类。这三个网络构成级联结构，并共享其卷积特征。我们设计了一种非平凡的端到端训练算法，以实现这一因果级联结构的有效训练。该方案是一种简洁、单阶段的训练框架，可推广至具有更多阶段的级联结构。在PASCAL VOC数据集上，我们的方法达到了当前最先进的实例感知语义分割精度。同时，该方法在使用VGG-16模型时，单张图像的推理时间仅为360毫秒，比此前解决该难题的系统快两个数量级。作为附加成果，我们的方法在物体检测任务上也取得了优异表现，其性能超越了现有的Fast/Faster R-CNN系统。本文所提出的方法构成了我们参加MS COCO 2015分割竞赛的基础，并帮助我们荣获该竞赛第一名。