3 个月前

风格引导的阴影去除

风格引导的阴影去除

摘要

阴影去除是图像修复领域的重要研究课题,对众多计算机视觉任务具有重要意义。当前先进的阴影去除方法通常基于深度学习,通过最小化去阴影区域与其对应(伪)无阴影版本之间的像素级差异来实现。然而,阴影去除后,阴影区域与非阴影区域之间可能出现外观不一致的问题,导致图像视觉效果不协调。为解决这一问题,本文提出一种基于风格引导的阴影去除网络(SG-ShadowNet),以提升去阴影后图像的整体风格一致性。在SG-ShadowNet中,我们首先通过一个简单的区域风格估计器学习非阴影区域的风格表征;随后,提出一种新颖且高效的归一化策略,利用区域级风格信息对粗略恢复的阴影区域进行调整,使其与图像其余部分更加协调一致。大量实验结果表明,所提出的SG-ShadowNet在ISTD+、SRD以及视频阴影去除基准数据集上均显著优于现有各类先进模型,取得了新的最先进性能。代码已开源,地址为:https://github.com/jinwan1994/SG-ShadowNet。

基准测试

基准方法指标
shadow-removal-on-istd-1SG-ShadowNet (ECCV 2022) (256x256)
LPIPS: 0.369
PSNR: 26.8
RMSE: 3.32
SSIM: 0.717
shadow-removal-on-istd-1SG-ShadowNet (ECCV 2022) (512x512)
LPIPS: 0.205
PSNR: 28.25
RMSE: 2.98
SSIM: 0.849
shadow-removal-on-srdSG-ShadowNet (ECCV 2022) (256x256)
LPIPS: 0.443
PSNR: 24.1
RMSE: 4.6
SSIM: 0.636
shadow-removal-on-srdSG-ShadowNet (ECCV 2022) (512x512)
LPIPS: 0.279
PSNR: 25.56
RMSE: 4.01
SSIM: 0.786

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供