摘要

图像恢复旨在从退化的观测中恢复高质量图像。由于大多数现有方法主要专注于单一退化去除，因此在处理其他类型的退化时可能无法获得最佳结果，这不符合实际应用场景的需求。本文提出了一种新颖的数据成分导向方法，利用基于提示的学习技术，使单个模型能够高效地应对多种图像退化任务。具体而言，我们使用编码器捕捉特征，并引入包含特定退化信息的提示来指导解码器自适应地恢复受各种退化影响的图像。为了建模局部不变特性和非局部信息以实现高质量图像恢复，我们将卷积神经网络（CNN）操作与变压器（Transformer）相结合。同时，我们在变压器块中进行了几项关键设计（多头重排注意力机制与提示和简单门控前馈网络），以减少计算需求并有选择地确定应保留哪些信息，从而促进潜在清晰图像的有效恢复。此外，我们还引入了特征融合机制，进一步探索多尺度信息以改善聚合特征。所提出的紧密互联的层次架构命名为CAPTNet，在广泛的实验中表明，我们的方法在性能上可与最先进水平相媲美。