3 个月前

HomoFormer:用于图像去阴影的均质化Transformer

HomoFormer:用于图像去阴影的均质化Transformer

摘要

空间上非均匀且模式多样的阴影退化特性与主流模型中权重共享机制存在冲突,可能导致性能上的不理想折衷。为解决这一问题,本文从阴影变换的视角提出一种新颖策略:直接对阴影退化在空间分布上的不均匀性进行均质化处理。我们的核心设计是随机洗牌操作(random shuffle operation)及其对应的逆操作。具体而言,随机洗牌操作在空间域内随机重排图像像素的位置,而逆操作则能够恢复原始像素顺序。经过随机洗牌后,阴影在整幅图像中扩散,退化分布趋于均匀,从而可被局部自注意力层高效处理。此外,我们进一步设计了一种引入位置建模机制的新型前馈网络,以更好地挖掘图像的结构信息。基于上述组件,我们构建了最终的基于局部窗口的Transformer模型——HomoFormer,用于图像去阴影任务。HomoFormer在保持局部Transformer线性复杂度优势的同时,有效规避了阴影分布非均匀性和多样性带来的挑战。大量实验结果表明,HomoFormer在多个公开数据集上均展现出显著优越的性能。

基准测试

基准方法指标
shadow-removal-on-istd-1HomoFormer (CVPR 2024) (512x512)
LPIPS: 0.196
PSNR: 28.53
RMSE: 2.88
SSIM: 0.857
shadow-removal-on-istd-1HomoFormer (CVPR 2024) (256x256)
LPIPS: 0.348
PSNR: 26.72
RMSE: 3.37
SSIM: 0.732
shadow-removal-on-srdHomoFormer (CVPR 2024) (256x256)
LPIPS: 0.325
PSNR: 24.64
RMSE: 4.17
SSIM: 0.723
shadow-removal-on-srdHomoFormer (CVPR 2024) (512x512)
LPIPS: 0.219
PSNR: 26.21
RMSE: 3.62
SSIM: 0.827

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HomoFormer:用于图像去阴影的均质化Transformer | 论文 | HyperAI超神经