3 个月前

用于图像修复的选频网络

用于图像修复的选频网络

摘要

图像修复旨在从退化图像中重建出潜在的清晰图像。除了在空域处理这一长期存在的任务外,部分方法尝试在频域中寻求解决方案,以应对清晰图像与退化图像之间频谱差异较大的问题。然而,现有方法通常依赖于变换工具(如小波变换)将特征分解为多个频段,这种固定方式难以灵活选择最具信息量的频率成分进行恢复。本文提出一种多分支且内容感知的模块,能够动态、局部地将特征分解为独立的频带,并通过通道注意力权重增强有用频带。此外,为应对大范围退化模糊问题,我们设计了一种极为简洁的解耦与调制模块,通过全局平均池化与窗口化平均池化相结合的方式,有效扩展感受野。将上述两个模块集成至U-Net主干网络中,所提出的选择性频域网络(Selective Frequency Network, SFNet)在五项图像修复任务上均表现出色,包括单张图像焦点外去模糊、图像去雾、图像运动去模糊、图像去雪以及图像去雨,性能优于当前主流先进算法。

基准测试

基准方法指标
deblurring-on-goproSFNet
PSNR: 33.27
SSIM: 0.963
deblurring-on-rsblurSFNet
Average PSNR: 34.35
image-dehazing-on-sots-indoorSFNet
PSNR: 41.24
SSIM: 0.996
image-dehazing-on-sots-outdoorSFNet
PSNR: 40.05
SSIM: 0.996
single-image-deraining-on-rain100lSFNet
PSNR: 38.21
SSIM: 0.974

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于图像修复的选频网络 | 论文 | HyperAI超神经