摘要

我们提出了一种新的语义分割方法，该方法的任务是对图像中的每个像素进行语义类别标注。我们的方法结合了两种主要竞争范式的优点。基于区域分类的方法为外观测量提供了适当的空域支持，但通常分为两个独立的阶段，其中任何一个阶段都不是为了最终的像素标注性能而设计的。最近的全卷积方法能够实现端到端训练以完成最终的像素标注任务，但依赖于固定的补丁作为空域支持。我们展示了如何修改现代基于区域的方法，以实现语义分割的端到端训练。这是通过一个可微分的区域到像素层和一个可微分的自由形状感兴趣区域（Region-of-Interest, RoI）池化层来实现的。我们的方法在类平均精度方面取得了显著改进，在SIFT Flow数据集上达到了64.0%，在PASCAL Context数据集上达到了49.9%，并且在物体边界处特别准确。