3 个月前

端到端交替优化用于盲超分辨率

端到端交替优化用于盲超分辨率

摘要

以往的方法将盲超分辨率(Blind Super-Resolution, SR)问题分解为两个顺序执行的步骤:其一,从给定的低分辨率(Low-Resolution, LR)图像中估计模糊核;其二,基于估计得到的模糊核恢复高分辨率图像。这种两阶段解决方案依赖于两个独立训练的模型,二者之间可能存在兼容性问题。第一阶段的微小估计误差,可能导致第二阶段性能显著下降。另一方面,第一阶段仅能利用LR图像中的有限信息,难以准确预测高精度的模糊核。针对上述问题,我们摒弃了将两个步骤割裂处理的思路,转而采用一种交替优化算法,将模糊核估计与高分辨率图像恢复整合到一个统一模型中完成。具体而言,我们设计了两个卷积神经网络模块:称为Restorer(恢复模块)和Estimator(估计模块)。其中,Restorer基于预测的模糊核恢复高分辨率图像;而Estimator则借助恢复后的高分辨率图像,反向估计模糊核。通过反复交替运行这两个模块,并将其展开为一个端到端可训练的深度网络结构,实现了联合优化。在此框架下,Estimator能够同时利用低分辨率图像和高分辨率图像中的信息,显著提升了模糊核估计的准确性。更重要的是,Restorer在训练过程中使用的是Estimator所估计的模糊核,而非真实标签(ground-truth)核,因此对Estimator的估计误差具有更强的鲁棒性。大量实验结果表明,无论在合成数据集还是真实世界图像上,所提方法均显著优于现有先进方法,在保持更高视觉质量的同时,推理速度大幅提升。相关源代码已公开,地址为:https://github.com/greatlog/DAN.git。

代码仓库

greatlog/DAN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
blind-super-resolution-on-div2krk-4xDANv2
PSNR: 28.74
SSIM: 0.7893

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
端到端交替优化用于盲超分辨率 | 论文 | HyperAI超神经