摘要

我们针对通过玻璃表面拍摄的单张图像中去除不 desirable 反射这一问题展开研究。该问题属于病态、具有挑战性但对图像增强具有重要实际意义的任务。受社交网络中隐藏社区检测的迭代结构消减思想启发，我们提出一种迭代增强卷积长短期记忆网络（Iterative Boost Convolutional LSTM Network, IBCLN），实现反射去除的级联预测。IBCLN 是一种级联网络结构，通过迭代方式不断优化透射层与反射层的估计结果，使二者在估计质量上相互促进；同时，利用长短期记忆网络（LSTM）在级联各阶段之间传递信息。其核心思想是：透射层代表图像中强而主导的结构，而反射层则是弱而隐藏的结构。在单张图像中，二者互为补充，因此从原始图像中对某一成分进行更优的估计与抑制，将有助于提升对另一成分的估计精度。为支持多级联步骤的训练，我们采用 LSTM 机制缓解梯度消失问题，并进一步提出残差重建损失作为训练的额外指导信号。此外，为缓解真实数据不足的问题，我们构建了一个包含真实世界含反射图像及其真实透射层的标注数据集。大量实验结果表明，与当前最先进的反射去除方法相比，所提方法在真实图像与合成图像上均能更有效地去除反射，显著提升图像质量。