摘要

视频超分辨率在监控视频分析和超高清视频显示中发挥着重要作用，近年来在学术界与工业界均受到广泛关注。尽管已有大量基于深度学习的视频超分辨率（VSR）方法被提出，但由于不同损失函数和训练数据集对超分辨率结果具有显著影响，使得这些方法之间的直接比较变得困难。本文系统地研究并对比了三种时序建模方法：基于早期融合的2D卷积神经网络（2D CNN）、基于慢速融合的3D卷积神经网络（3D CNN）以及循环神经网络（Recurrent Neural Network, RNN）。同时，本文提出一种新型的循环残差网络（Recurrent Residual Network, RRN），用于实现高效视频超分辨率。该方法利用残差学习机制，不仅有效稳定了RNN的训练过程，还显著提升了超分辨率性能。大量实验结果表明，所提出的RRN在保持高计算效率的同时，能够生成具有更精细细节且时序一致的超分辨率视频结果，优于其他时序建模方法。此外，该方法在多个广泛使用的基准测试中均取得了当前最优的性能表现。