摘要

现有的视频超分辨率（Video Super-Resolution, SR）算法通常假设退化过程中的模糊核（blur kernel）是已知的，并且在重建过程中不显式建模模糊核。然而，这一假设在实际视频超分辨率任务中并不成立，往往导致重建图像过度平滑，细节丢失严重。为此，本文提出一种基于模糊核建模的深度卷积神经网络（CNN）模型，用于解决视频超分辨率问题。所提出的深度CNN模型由三个核心模块构成：运动模糊估计模块、运动估计模块和潜在图像重建模块。其中，运动模糊估计模块用于可靠地估计模糊核；结合所估计的模糊核，我们基于视频超分辨率的图像形成模型，设计了一种图像反卷积方法，以生成中间潜在图像，从而有效恢复部分清晰的图像细节。然而，生成的中间潜在图像可能引入伪影。为获得高质量的最终输出，我们引入运动估计模块，利用相邻帧之间的时序信息，通过运动约束增强深度CNN模型的重建能力，进一步提升图像质量。实验结果表明，所提出的算法能够生成更加清晰、结构细节更丰富的图像。大量对比实验验证了该方法在性能上优于当前最先进的视频超分辨率技术。