
摘要
我们提出一种新型的无参考视频质量评估(No-Reference Video Quality Assessment, VQA)模型。该方法引入了一种名为时空芯片(Space-Time Chips, ST Chips)的新概念,即沿隐式捕捉运动特征方向的高局部化时空(Space-Time, ST)切片。ST Chips 是对视频数据在特定方向上的局部截取,这些方向能够隐式反映视频中的运动信息。我们首先采用基于感知动机的带通滤波与归一化模型对视频数据进行预处理,随后根据这些切片与自然视频统计特性参数化模型的拟合程度,选择具有特定方向性的 ST Chips。实验表明,描述这些自然视频统计特性的参数能够可靠地预测视频质量,且无需参考视频。所提方法隐式建模了视频的时空自然性及其偏离程度。我们在多个大型 VQA 数据库上对模型进行了训练与测试,结果表明,该方法在显著降低计算成本的前提下,实现了当前最优的性能,且无需显式进行运动估计计算。
代码仓库
JoshuaEbenezer/ChipQA
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| video-quality-assessment-on-konvid-1k | ChipQA | PLCC: 0.7625 |
| video-quality-assessment-on-live-etri | ChipQA | SRCC: 0.6323 |
| video-quality-assessment-on-live-livestream | ChipQA | SRCC: 0.7575 |
| video-quality-assessment-on-live-vqc | ChipQA | PLCC: 0.7299 |
| video-quality-assessment-on-youtube-ugc | ChipQA | PLCC: 0.6911 |