
摘要
我们研究了在自监督方式下获取图像质量表示的问题。为此,我们采用失真类型与失真程度的预测作为辅助任务,从包含合成失真与真实失真混合的未标注图像数据集中学习特征。随后,我们利用对比成对(contrastive pairwise)目标函数训练一个深度卷积神经网络(CNN),以解决该辅助任务。我们将所提出的训练框架及由此得到的深度图像质量评估模型称为 CONTRastive Image QUality Evaluator(CONTRIQUE)。在评估阶段,冻结CNN的权重,使用一个线性回归器将学习到的特征表示映射为无参考(No-Reference, NR)设置下的图像质量得分。通过大量实验表明,即使不进行任何额外的CNN主干网络微调,CONTRIQUE在性能上仍可与当前最先进的无参考图像质量评估模型相媲美。所学习到的特征表示具有高度鲁棒性,并能在遭受合成失真或真实失真影响的图像之间良好泛化。我们的结果表明,无需依赖大规模标注的主观图像质量数据集,即可获得具有感知相关性的强大图像质量表示。本文所采用的实现代码已公开于 \url{https://github.com/pavancm/CONTRIQUE}。
代码仓库
pavancm/conviqt
pytorch
GitHub 中提及
pavancm/contrique
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| no-reference-image-quality-assessment-on | CONTRIQUE | PLCC: 0.857 SRCC: 0.843 |
| no-reference-image-quality-assessment-on-1 | CONTRIQUE | PLCC: 0.937 SRCC: 0.934 |
| no-reference-image-quality-assessment-on-csiq | CONTRIQUE | PLCC: 0.955 SRCC: 0.942 |
| no-reference-image-quality-assessment-on-uhd | CONTRIQUE | PLCC: 0.678 SRCC: 0.732 |
| video-quality-assessment-on-konvid-1k | CONTRIQUE | PLCC: 0.842 |
| video-quality-assessment-on-live-etri | CONTRIQUE | SRCC: 0.931 |
| video-quality-assessment-on-live-fb-lsvq | CONTRIQUE | PLCC: 0.826 |
| video-quality-assessment-on-live-vqc | CONTRIQUE | PLCC: 0.822 |
| video-quality-assessment-on-youtube-ugc | CONTRIQUE | PLCC: 0.813 |