摘要

我们提出了一种基于参考视频的超分辨率方法（RefVSR），该方法利用参考视频实现高保真结果。我们的研究重点是在三摄像头设置下的RefVSR，目标是通过广角和长焦视频来提升低分辨率超广角视频的分辨率。为此，我们引入了首个RefVSR网络，该网络反复对齐并传播从低分辨率帧中提取的特征与时间参考特征的融合结果。为了促进时间参考特征的融合与传播，我们提出了一种传播式时间融合模块。为了学习和评估我们的网络，我们发布了首个包含智能手机三摄像头同时拍摄的超广角、广角和长焦视频三元组的RefVSR数据集。此外，我们还提出了一种两阶段训练策略，充分利用所提数据集中的视频三元组进行实际场景下的4倍视频超分辨率。我们对所提出的方法进行了广泛的评估，结果显示其在4倍超分辨率方面达到了最先进的性能。