3 个月前

无耀斑视觉:赋予Uformer深度洞察力

无耀斑视觉:赋予Uformer深度洞察力

摘要

镜头眩光是相机镜头正对强光源时常见的问题,通常表现为鬼影、光晕或其他图像伪影,严重影响图像质量。本文提出了一种基于深度学习的新型眩光去除方法,该方法结合了深度估计与图像修复技术。我们采用密集视觉Transformer(Dense Vision Transformer)估计场景的深度信息,生成深度图后,将其与输入图像进行拼接,并输入至Uformer——一种通用的U型Transformer架构,用于图像修复。在Flare7K++测试数据集上的实验结果表明,所提方法达到了当前最优的性能水平,有效去除了图像中的眩光伪影。此外,该方法在真实场景下多种类型眩光的图像上也展现出良好的鲁棒性与泛化能力。我们相信,本工作为利用深度信息进行图像修复开辟了新的可能性。相关代码已开源,可在GitHub上获取。

基准测试

基准方法指标
flare-removal-on-flare7kKotp et al
LPIPS: 0.0422
PSNR: 27.662
SSIM: 0.897

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
无耀斑视觉:赋予Uformer深度洞察力 | 论文 | HyperAI超神经