
摘要
空间上非均匀且模式多样的阴影退化特性与主流模型中权重共享机制存在冲突,可能导致性能上的不理想折衷。为解决这一问题,本文从阴影变换的视角提出一种新颖策略:直接对阴影退化在空间分布上的不均匀性进行均质化处理。我们的核心设计是随机洗牌操作(random shuffle operation)及其对应的逆操作。具体而言,随机洗牌操作在空间域内随机重排图像像素的位置,而逆操作则能够恢复原始像素顺序。经过随机洗牌后,阴影在整幅图像中扩散,退化分布趋于均匀,从而可被局部自注意力层高效处理。此外,我们进一步设计了一种引入位置建模机制的新型前馈网络,以更好地挖掘图像的结构信息。基于上述组件,我们构建了最终的基于局部窗口的Transformer模型——HomoFormer,用于图像去阴影任务。HomoFormer在保持局部Transformer线性复杂度优势的同时,有效规避了阴影分布非均匀性和多样性带来的挑战。大量实验结果表明,HomoFormer在多个公开数据集上均展现出显著优越的性能。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| shadow-removal-on-istd-1 | HomoFormer (CVPR 2024) (512x512) | LPIPS: 0.196 PSNR: 28.53 RMSE: 2.88 SSIM: 0.857 |
| shadow-removal-on-istd-1 | HomoFormer (CVPR 2024) (256x256) | LPIPS: 0.348 PSNR: 26.72 RMSE: 3.37 SSIM: 0.732 |
| shadow-removal-on-srd | HomoFormer (CVPR 2024) (256x256) | LPIPS: 0.325 PSNR: 24.64 RMSE: 4.17 SSIM: 0.723 |
| shadow-removal-on-srd | HomoFormer (CVPR 2024) (512x512) | LPIPS: 0.219 PSNR: 26.21 RMSE: 3.62 SSIM: 0.827 |