3 个月前

基于对比学习的图像质量评估

基于对比学习的图像质量评估

摘要

我们研究了在自监督方式下获取图像质量表示的问题。为此,我们采用失真类型与失真程度的预测作为辅助任务,从包含合成失真与真实失真混合的未标注图像数据集中学习特征。随后,我们利用对比成对(contrastive pairwise)目标函数训练一个深度卷积神经网络(CNN),以解决该辅助任务。我们将所提出的训练框架及由此得到的深度图像质量评估模型称为 CONTRastive Image QUality Evaluator(CONTRIQUE)。在评估阶段,冻结CNN的权重,使用一个线性回归器将学习到的特征表示映射为无参考(No-Reference, NR)设置下的图像质量得分。通过大量实验表明,即使不进行任何额外的CNN主干网络微调,CONTRIQUE在性能上仍可与当前最先进的无参考图像质量评估模型相媲美。所学习到的特征表示具有高度鲁棒性,并能在遭受合成失真或真实失真影响的图像之间良好泛化。我们的结果表明,无需依赖大规模标注的主观图像质量数据集,即可获得具有感知相关性的强大图像质量表示。本文所采用的实现代码已公开于 \url{https://github.com/pavancm/CONTRIQUE}。

代码仓库

pavancm/conviqt
pytorch
GitHub 中提及
pavancm/contrique
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
no-reference-image-quality-assessment-onCONTRIQUE
PLCC: 0.857
SRCC: 0.843
no-reference-image-quality-assessment-on-1CONTRIQUE
PLCC: 0.937
SRCC: 0.934
no-reference-image-quality-assessment-on-csiqCONTRIQUE
PLCC: 0.955
SRCC: 0.942
no-reference-image-quality-assessment-on-uhdCONTRIQUE
PLCC: 0.678
SRCC: 0.732
video-quality-assessment-on-konvid-1kCONTRIQUE
PLCC: 0.842
video-quality-assessment-on-live-etriCONTRIQUE
SRCC: 0.931
video-quality-assessment-on-live-fb-lsvqCONTRIQUE
PLCC: 0.826
video-quality-assessment-on-live-vqcCONTRIQUE
PLCC: 0.822
video-quality-assessment-on-youtube-ugcCONTRIQUE
PLCC: 0.813

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于对比学习的图像质量评估 | 论文 | HyperAI超神经