4 个月前

自适应盲全图像恢复

自适应盲全图像恢复

摘要

盲全合一图像恢复模型旨在从受未知失真影响的输入中恢复高质量图像。然而,这些模型在训练阶段需要定义所有可能的退化类型,而在面对未见过的退化时表现出有限的泛化能力,这限制了它们在复杂情况下的实际应用。本文提出了一种简单但有效的自适应盲全合一恢复(ABAIR)模型,该模型能够处理多种退化类型,对未见过的退化具有良好的泛化能力,并且可以通过训练一小部分参数高效地纳入新的退化类型。首先,我们在一个包含多种合成退化的大型自然图像数据集上训练基线模型,并添加了一个分割头以估计每个像素的退化类型,从而构建了一个能够广泛泛化到各种退化的强大骨干网络。其次,我们通过独立的低秩适配器将基线模型适应于不同的图像恢复任务。最后,我们通过一个灵活且轻量级的退化估计器学习如何自适应地组合适配器以应对多样的图像。我们的模型不仅在处理特定失真方面表现出色,而且在适应复杂任务方面也具有很高的灵活性。它不仅在五任务和三任务图像恢复设置中大幅超越了现有方法,还在面对未见过的退化和复合失真时展示了更好的泛化能力。

代码仓库

davidserra9/abair
官方
GitHub 中提及

基准测试

基准方法指标
5-degradation-blind-all-in-one-imageABAIR
Average PSNR: 31.25
blind-all-in-one-image-restoration-on-3ABAIR
Average PSNR: 33.21
SSIM: 0.919
blind-all-in-one-image-restoration-on-5ABAIR
Average PSNR: 31.25
SSIM: 0.921

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自适应盲全图像恢复 | 论文 | HyperAI超神经