3 个月前

EXTRACTER:基于注意力与梯度增强的高效纹理匹配用于大规模图像超分辨率

EXTRACTER:基于注意力与梯度增强的高效纹理匹配用于大规模图像超分辨率

摘要

近期基于参考图像的图像超分辨率(RefSR)方法通过引入注意力机制,显著提升了现有深度学习方法的性能,其核心思想是利用参考高分辨率图像中的高分辨率纹理信息来增强低分辨率图像。具体而言,该方法在特征空间中对低分辨率图像与参考图像的图像块进行匹配,并通过深度网络架构实现融合。然而,现有方法在纹理匹配的准确性方面仍存在不足:它们通常将图像划分为尽可能多的图像块,导致内存使用效率低下,难以处理大尺寸图像。为此,本文提出一种更为高效的深度搜索策略,显著减少了图像块的数量,同时针对每个低分辨率图像块,在高分辨率参考图像块中精准地检索出最相关的 $k$ 个纹理匹配项,从而实现更精确的纹理匹配。此外,我们通过引入一种简单的残差结构,融合梯度密度信息以进一步提升超分辨率效果,在性能指标上表现出色,PSNR 和 SSIM 均达到具有竞争力的水平。

代码仓库

基准测试

基准方法指标
image-super-resolution-on-cufed5-4x-upscalingExtracter-rec
PSNR: 27.29
SSIM: 0.811
image-super-resolution-on-set14-4x-upscalingExtracter-rec
PSNR: 28.09
SSIM: 0.782
image-super-resolution-on-sun80-4x-upscalingExtracter-rec
PSNR: 30.02
SSIM: 0.816
image-super-resolution-on-urban100-4xExtracter-rec
PSNR: 26.04
SSIM: 0.785

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
EXTRACTER:基于注意力与梯度增强的高效纹理匹配用于大规模图像超分辨率 | 论文 | HyperAI超神经