摘要

卷积网络是强大的视觉模型，能够生成特征层次结构。我们证明了端到端训练的卷积网络，从像素到像素，能够在语义分割任务中超越之前的最佳结果。我们的关键洞察是构建“全卷积”网络，该网络可以接受任意大小的输入，并高效地进行推理和学习，产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并探讨了与先前模型的联系。我们将当代的分类网络（如 AlexNet、VGG 网络和 GoogLeNet）转换为全卷积网络，并通过微调将这些网络学到的表示迁移到分割任务上。随后，我们定义了一种跳跃架构，该架构结合了深层、粗糙层的语义信息和浅层、精细层的外观信息，以生成准确且详细的分割结果。我们的全卷积网络在 PASCAL VOC（2012 年数据集上的平均交并比相对提高了 30%，达到 67.2%）、NYUDv2、SIFT Flow 和 PASCAL-Context 数据集上实现了改进的分割效果，而对一幅典型图像进行推理仅需十分之一秒。