3 个月前

基于历史的无任务模型对比学习用于图像修复

基于历史的无任务模型对比学习用于图像修复

摘要

对比学习已成为高级视觉任务中的主流范式,通过引入适当的负样本,该方法也被拓展应用于低级视觉任务,以构建紧凑的优化空间,从而应对低级视觉问题固有的病态性。然而,现有方法依赖于人工预定义且任务特定的负样本,往往引入显著的任务偏差。为解决这一挑战,本文提出一种创新性方法——“从历史中学习”(learning from history),该方法能够动态地从目标模型自身生成负样本。我们提出的模型对比学习框架用于图像恢复(Model Contrastive Learning for Image Restoration, MCLIR),通过将延迟模型(latency models)重用为负样本模型,实现了对多种图像恢复任务的兼容性。为此,我们进一步设计了自先验引导的负损失函数(Self-Prior guided Negative loss, SPN)。该方法在重新训练现有模型时显著提升了性能。实验结果表明,无论在何种任务或网络架构下,图像恢复效果均获得显著提升。例如,在RESIDE室内去雾数据集上,采用SPN重新训练的模型相比原始的FFANet和DehazeFormer分别提升了3.41 dB和0.57 dB;在SPA-Data去雨任务中,相较于IDT模型,性能提升达0.47 dB;在Manga109超分辨率任务中(4倍上采样),相比轻量级SwinIR模型,性能提升0.12 dB。相关代码与重新训练的模型已开源,详见:https://github.com/Aitical/MCLIR。

代码仓库

Aitical/PCL-SISR
pytorch
GitHub 中提及
Aitical/MCLIR
官方
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-manga109-4x+SPN
PSNR: 31.75
SSIM: 0.9229

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于历史的无任务模型对比学习用于图像修复 | 论文 | HyperAI超神经