摘要

我们提出了一种在日常环境中使用手持相机拍摄照片或视频，以生成人物图像的纯色稿（matte）——即每个像素的前景颜色与透明度（alpha）——的方法。现有的大多数抠像方法依赖于绿幕背景，或需要人工手动创建Trimap才能获得高质量的纯色稿。尽管近年来出现了部分自动化的、无需Trimap的方法，但其效果仍难以与传统方法相媲美。在本研究提出的无Trimap方法中，我们要求用户在拍摄时额外拍摄一张不含主体的背景图像。这一操作仅需少量预先规划，远比手动创建Trimap更加高效便捷。我们采用带有对抗性损失（adversarial loss）的深度神经网络来预测纯色稿。首先，我们在包含合成图像的真值数据上，使用监督损失训练一个抠像网络。为弥合合成数据与真实图像之间的域差距（domain gap），且无需人工标注，我们进一步训练第二个抠像网络，该网络由第一个网络和一个用于评估合成图像质量的判别器（discriminator）共同指导。我们在大量不同类型的照片与视频上进行了实验，结果表明，本方法在效果上显著优于当前最先进的技术。