4 个月前

考虑降解的残差条件最优传输用于统一图像复原

考虑降解的残差条件最优传输用于统一图像复原

摘要

全功能图像修复作为一种实用且有前景的低级视觉任务,已逐渐在现实应用中崭露头角。在此背景下,关键问题在于如何同时处理不同类型的退化图像。本文提出了一种退化感知残差条件最优传输(DA-RCOT)方法,该方法将全功能图像修复建模为一个最优传输(OT)问题,适用于无配对和配对设置,并引入传输残差作为特定退化的线索,用于传输成本和传输映射。具体而言,我们通过利用傅里叶残差在传输成本中的特定退化模式,形式化了以残差为导向的OT目标来实现图像修复。更为重要的是,我们将修复的传输映射设计为两阶段DA-RCOT映射,在第一阶段计算传输残差,然后将其编码为多尺度残差嵌入,以调节第二阶段的修复过程。这一调节过程将内在的退化知识(如退化类型和程度)以及多尺度残差嵌入中的结构信息注入到OT映射中,从而能够动态调整其行为以适应全功能修复需求。大量实验表明,在五种不同的退化条件下,DA-RCOT相比现有最先进方法表现出优异的性能,不仅在失真度量方面表现突出,在感知质量和图像结构保留方面也具有显著优势。尤为值得一提的是,即使面对多种退化情况,DA-RCOT仍展现出卓越的适应性和对退化程度及退化数量的高度鲁棒性。

代码仓库

xl-tang3/DA-RCOT
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
5-degradation-blind-all-in-one-imageDA-RCOT
Average PSNR: 30.40
LPIPS: 0.064
blind-all-in-one-image-restoration-on-3DA-RCOT
Average PSNR: 32.60
SSIM: 0.917
blind-all-in-one-image-restoration-on-5DA-RCOT
Average PSNR: 30.40
LPIPS: 0.064
SSIM: 0.911
unified-image-restoration-on-bsd68-sigma25DA-RCOT
Average PSNR (dB): 31.23
unified-image-restoration-on-goproDA-RCOT
Average PSNR (dB): 28.68
unified-image-restoration-on-lolDA-RCOT
Average PSNR (dB): 23.25
unified-image-restoration-on-rain100lDA-RCOT
Average PSNR (dB): 38.36
unified-image-restoration-on-resideDA-RCOT
Average PSNR (dB): 31.26

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
考虑降解的残差条件最优传输用于统一图像复原 | 论文 | HyperAI超神经