
摘要
全功能图像修复作为一种实用且有前景的低级视觉任务,已逐渐在现实应用中崭露头角。在此背景下,关键问题在于如何同时处理不同类型的退化图像。本文提出了一种退化感知残差条件最优传输(DA-RCOT)方法,该方法将全功能图像修复建模为一个最优传输(OT)问题,适用于无配对和配对设置,并引入传输残差作为特定退化的线索,用于传输成本和传输映射。具体而言,我们通过利用傅里叶残差在传输成本中的特定退化模式,形式化了以残差为导向的OT目标来实现图像修复。更为重要的是,我们将修复的传输映射设计为两阶段DA-RCOT映射,在第一阶段计算传输残差,然后将其编码为多尺度残差嵌入,以调节第二阶段的修复过程。这一调节过程将内在的退化知识(如退化类型和程度)以及多尺度残差嵌入中的结构信息注入到OT映射中,从而能够动态调整其行为以适应全功能修复需求。大量实验表明,在五种不同的退化条件下,DA-RCOT相比现有最先进方法表现出优异的性能,不仅在失真度量方面表现突出,在感知质量和图像结构保留方面也具有显著优势。尤为值得一提的是,即使面对多种退化情况,DA-RCOT仍展现出卓越的适应性和对退化程度及退化数量的高度鲁棒性。
代码仓库
xl-tang3/DA-RCOT
官方
pytorch
GitHub 中提及
xl-tang3/RCOT
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 5-degradation-blind-all-in-one-image | DA-RCOT | Average PSNR: 30.40 LPIPS: 0.064 |
| blind-all-in-one-image-restoration-on-3 | DA-RCOT | Average PSNR: 32.60 SSIM: 0.917 |
| blind-all-in-one-image-restoration-on-5 | DA-RCOT | Average PSNR: 30.40 LPIPS: 0.064 SSIM: 0.911 |
| unified-image-restoration-on-bsd68-sigma25 | DA-RCOT | Average PSNR (dB): 31.23 |
| unified-image-restoration-on-gopro | DA-RCOT | Average PSNR (dB): 28.68 |
| unified-image-restoration-on-lol | DA-RCOT | Average PSNR (dB): 23.25 |
| unified-image-restoration-on-rain100l | DA-RCOT | Average PSNR (dB): 38.36 |
| unified-image-restoration-on-reside | DA-RCOT | Average PSNR (dB): 31.26 |