摘要

理解单张图像中的阴影在以往的研究中自发地分为两类任务，即阴影检测和阴影去除。本文提出了一种多任务视角，这是现有工作中尚未涉及的方法，旨在通过端到端的方式联合学习这两种任务，以享受彼此相互提升的好处。我们的框架基于一种新颖的堆叠条件生成对抗网络（ST-CGAN），该网络由两个堆叠的CGAN组成，每个CGAN包含一个生成器和一个判别器。具体而言，阴影图像被输入到第一个生成器中，生成器产生一个阴影检测掩模。然后，将该阴影图像与其预测的掩模拼接在一起，输入到第二个生成器中，以恢复无阴影图像。此外，两个相应的判别器很可能分别建模检测到的阴影区域的高层次关系和全局场景特征以及通过去除阴影进行的重建。更重要的是，在多任务学习方面，我们设计的堆叠范式提供了一个全新的视角，与常用的多分支版本显著不同。为了全面评估我们提出的框架性能，我们构建了首个大规模基准数据集，包含135个场景下的1870组图像三元组（带阴影图像、阴影掩模图像和无阴影图像）。大量的实验结果一致表明，在两个公开的大规模数据集和我们新发布的数据集上，ST-CGAN相比几种代表性的最先进方法具有明显优势。