摘要

图像着色本质上是一个具有多模态不确定性的病态问题。以往的方法利用深度神经网络直接将输入的灰度图像映射到合理的彩色输出。尽管这些基于学习的方法已经展现出令人印象深刻的效果，但它们通常在包含多个对象的输入图像上表现不佳。主要原因在于现有的模型在整个图像上进行学习和着色，缺乏清晰的前景背景分离，导致这些模型无法有效地定位和学习有意义的对象级语义。本文提出了一种实现实例感知着色的方法。我们的网络架构利用现成的目标检测器获取裁剪后的对象图像，并使用实例着色网络提取对象级特征。我们还使用类似的网络提取整幅图像的特征，并通过融合模块将对象级和图像级特征结合起来预测最终的颜色。着色网络和融合模块都是从大规模数据集中学习得到的。实验结果表明，我们的方法在不同的质量指标上优于现有方法，并在图像着色方面达到了最先进的性能。