3 个月前

基于扩散模型的未知退化图像分类适应方法

基于扩散模型的未知退化图像分类适应方法

摘要

在实际应用中,对未知退化图像进行分类至关重要,因为图像退化模型通常未知。基于扩散模型的方法在从退化图像中进行图像增强与图像恢复方面表现出色。在本研究中,我们采用基于扩散模型的图像适应(adaptation)策略,而非传统的图像恢复(restoration)。图像恢复的目标是重建无退化的清晰图像,而图像适应则旨在将退化图像逐步映射至清晰图像的特征空间。然而,当退化类型由未知的退化模型导致时,扩散模型在执行图像适应方面面临挑战。为解决扩散模型在未知退化图像分类任务中生成适应结果不理想的问题,本文提出一种新型方法——基于稳健分类器的未知退化图像扩散适应方法(Diffusion-based Adaptation for Unknown Degraded images, DiffAUD)。该方法基于在少量已知退化类型上训练的稳健分类器,有效弥补了扩散模型的不足,并在不同退化类型及不同程度下均表现出良好的泛化能力。在ImageNet-C数据集上的实验表明,相较于基线扩散模型与干净图像分类器,DiffAUD分别在ResNet-50、Swin Transformer (Tiny) 和 ConvNeXt-Tiny 三种骨干网络上,性能提升达5.5%、5%和5%。此外,实验还验证了利用已知退化类型训练分类器,能够显著提升对退化图像的分类性能。

基准测试

基准方法指标
domain-generalization-on-imagenet-cDiffAUD (Swin-Tiny)
Top 1 Accuracy: 61
domain-generalization-on-imagenet-cDiffAUD (ResNet-50)
Top 1 Accuracy: 52.1
domain-generalization-on-imagenet-cDiffAUD (ConvNeXt-Tiny)
Top 1 Accuracy: 64.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于扩散模型的未知退化图像分类适应方法 | 论文 | HyperAI超神经