4 个月前

面向质量的图像-文本对齐用于无意见图像质量评估

面向质量的图像-文本对齐用于无意见图像质量评估

摘要

无参考图像质量评估(NR-IQA)专注于在没有高质量参考图像的情况下,设计方法以测量图像质量并与人类感知保持一致。大多数现有的先进 NR-IQA 方法都是意见感知型的,即它们需要人类注释来进行训练。这种依赖性限制了这些方法的可扩展性和广泛应用。为了克服这一局限,我们提出了一种基于 CLIP 的自监督且无需意见的方法——QualiCLIP(Quality-aware CLIP)。具体而言,我们引入了一种质量感知的图像-文本对齐策略,使 CLIP 能够生成质量感知的图像表示。从原始未受损图像出发,我们通过不断增加的强度对其进行合成降质处理。然后,我们训练 CLIP 根据其与质量相关的反义文本提示的相似度对这些降质图像进行排序。同时,我们强制 CLIP 为具有相似内容和相同降质水平的图像生成一致的表示。实验结果表明,所提出的方法在多种包含不同失真类型的数据库中优于现有的无需意见的方法。此外,尽管不需要人类注释,QualiCLIP 在跨数据库实验中仍表现出色,与监督式的意见感知方法相比具有显著的泛化能力。该代码和模型已在 https://github.com/miccunifi/QualiCLIP 公开发布。

代码仓库

miccunifi/qualiclip
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
no-reference-image-quality-assessment-on-uhdQualiCLIP
PLCC: 0.725
SRCC: 0.770

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向质量的图像-文本对齐用于无意见图像质量评估 | 论文 | HyperAI超神经