摘要

训练深度神经网络进行语义分割需要大量标注的训练数据，这在实际应用中构成了重大挑战，因为标注分割掩码是一项高度耗时的人工工作。为解决这一问题，我们提出了一种半监督语义分割框架，该框架通过利用未标注图像序列的自监督单目深度估计进行增强。具体而言，本文提出三项关键贡献：（1）将自监督深度估计过程中学习到的特征知识迁移至语义分割任务；（2）基于场景几何信息，通过图像与标签的融合实现强数据增强；（3）在学生-教师框架中，利用深度特征的多样性以及深度学习的难易程度，选择最具价值的样本进行人工标注，以提升语义分割的训练效率。我们在Cityscapes数据集上对所提模型进行了验证，结果表明三个模块均带来了显著的性能提升，并在半监督语义分割任务中达到了当前最优水平。代码实现已开源，地址为：https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth。