摘要

尽管视觉变压器在众多图像恢复（IR）任务中展现出巨大潜力，但如何高效地将其泛化并扩展到多个IR任务上仍然是一个挑战。为了在效率和模型容量之间找到平衡，提出了一种分层信息流机制用于图像恢复，称为Hi-IR，该机制以自下而上的方式逐步传播像素之间的信息。Hi-IR构建了一个分层的信息树，表示降质图像的三个层次。每个层次封装了不同类型的信息，高层次包含更广泛的对象和概念，低层次则专注于局部细节。此外，分层树结构去除了长距离自注意力机制，提高了计算效率和内存利用率，从而为有效的模型扩展做好准备。基于此，我们探索了模型扩展以提升方法的能力，预计这将在大规模训练设置中对图像恢复产生积极影响。大量实验结果表明，Hi-IR在七种常见的图像恢复任务中达到了最先进的性能，证实了其有效性和泛化能力。