摘要

近年来，深度学习在提高压缩图像/视频质量方面取得了显著成功。现有的方法主要集中在提升单帧的质量上，而没有考虑连续帧之间的相似性。由于本研究发现压缩视频帧之间存在较大的波动，因此可以利用帧间相似性来提升低质量帧的质量，前提是已知其相邻的高质量帧。这一任务被称为多帧质量增强（MFQE）。相应地，本文首次尝试提出了针对压缩视频的MFQE方法。在该方法中，我们首先开发了一种基于双向长短时记忆网络（BiLSTM）的检测器，用于在压缩视频中定位峰值质量帧（PQFs）。然后，设计了一种新颖的多帧卷积神经网络（MF-CNN），以提升压缩视频的整体质量。在MF-CNN中，输入包括非峰值质量帧（non-PQF）及其最近的两个峰值质量帧。通过运动补偿子网对非峰值质量帧与峰值质量帧之间的运动进行补偿。随后，质量增强子网融合非峰值质量帧和补偿后的峰值质量帧，并减少非峰值质量帧的压缩伪影。同时，峰值质量帧也以相同的方式得到增强。最后，实验验证了我们的MFQE方法在提升压缩视频最先进质量增强方面的有效性和泛化能力。代码可在https://github.com/RyanXingQL/MFQEv2.0.git 获取。