摘要

在本文中，我们介绍了DiQP；这是一种新颖的Transformer-Diffusion模型，用于恢复因编解码器压缩而降质的8K视频。据我们所知，我们的模型是首个通过去噪扩散（Denoising Diffusion）而不考虑额外噪声来修复由多种编解码器（如AV1、HEVC）引入的伪影的模型。这种方法使我们能够建模复杂的非高斯性质的压缩伪影，有效地学习如何逆转退化过程。我们的架构结合了Transformer捕捉长距离依赖的能力和一种增强的窗口机制，该机制能够在帧间像素组内保留时空上下文。为了进一步提升恢复效果，模型还集成了辅助的“向前看”和“环顾四周”模块，提供未来帧和周围帧的信息，以帮助重建精细细节并提高整体视觉质量。广泛的实验结果表明，我们的模型在不同数据集上均优于现有最先进方法，特别是在处理4K和8K等高分辨率视频时，展示了其从高度压缩源恢复令人愉悦的视频的有效性。