3 个月前

MANIQA:用于无参考图像质量评估的多维度注意力网络

MANIQA:用于无参考图像质量评估的多维度注意力网络

摘要

无参考图像质量评估(No-Reference Image Quality Assessment, NR-IQA)旨在根据人类主观感知对图像的感知质量进行评估。然而,现有的NR-IQA方法在预测基于生成对抗网络(GAN)生成的失真图像质量分数方面仍远未达到理想效果。为此,本文提出一种多维度注意力网络——MANIQA(Multi-dimension Attention Network for no-reference Image Quality Assessment),以提升在GAN类失真图像上的评估性能。首先,通过视觉Transformer(ViT)提取图像特征;为进一步增强图像的全局与局部特征交互能力,我们设计了转置注意力模块(Transposed Attention Block, TAB)与尺度Swin Transformer模块(Scale Swin Transformer Block, SSTB)。其中,TAB在通道维度上引入注意力机制,SSTB则在空间维度上实现注意力建模。这两种模块以多维度方式协同作用,显著增强了图像不同区域之间的全局与局部交互能力。最后,采用双分支结构进行基于图像块权重的质量预测,根据每个图像块的得分权重综合计算最终质量分数。大量实验结果表明,MANIQA在四个标准数据集(LIVE、TID2013、CSIQ和KADID-10K)上均显著优于当前最先进的方法。此外,在NTIRE 2022感知图像质量评估挑战赛第二赛道(无参考图像质量评估)的最终测试阶段,本方法位列第一名。相关代码与模型已开源,可通过以下链接获取:https://github.com/IIGROUP/MANIQA。

代码仓库

tianhewu/assessor360
pytorch
GitHub 中提及
iigroup/maniqa
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-quality-assessment-on-msu-sr-qa-datasetMANIQA
KLCC: 0.54744
PLCC: 0.62733
SROCC: 0.66613
Type: NR

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MANIQA:用于无参考图像质量评估的多维度注意力网络 | 论文 | HyperAI超神经