摘要

许多经典方法已经证明，自然图像中的非局部自相似性可以作为图像恢复的有效先验。然而，如何通过深度网络利用这一内在属性仍然是一个未解决且具有挑战性的问题。在本文中，我们首次提出了一种非局部递归网络（Non-Local Recurrent Network, NLRN），将非局部操作引入递归神经网络（Recurrent Neural Network, RNN）用于图像恢复。本研究的主要贡献包括：与现有方法仅以孤立的方式测量自相似性不同，所提出的非局部模块可以灵活地集成到现有的深度网络中进行端到端训练，从而捕捉每个位置与其邻域之间的深层特征相关性。我们充分利用了RNN结构的参数效率，并允许深层特征相关性在相邻的递归状态之间传播。这种新的设计提高了对因严重退化图像导致的相关性估计不准确的鲁棒性。我们表明，在给定退化图像的情况下，维持一个限定的邻域来计算深层特征相关性是至关重要的。这与现有做法在整个图像上进行计算形成对比。我们在图像去噪和超分辨率任务上进行了广泛的实验。得益于递归非局部操作和相关性传播，所提出的NLRN在参数数量显著减少的情况下，仍能取得优于当前最先进方法的结果。