摘要

尽管在低级视觉任务中预训练然后微调的范式取得了进展，但预训练模型规模增大所带来的挑战仍然显著，特别是在内存使用和训练时间方面。另一个常见的问题是，直接将预训练的单图像模型应用于多图像领域时，结果往往不尽如人意。本文提出了一种高效的方法，通过参数高效的微调（PEFT）方法将预训练的单图像超分辨率（SISR）变压器网络迁移到立体图像超分辨率（SteISR）领域。具体而言，我们引入了立体适配器和空间适配器的概念，并将其整合到预训练的SISR变压器网络中。随后，我们将预训练的SISR模型冻结，仅使用立体数据集对适配器进行微调。采用这种方法后，我们在Flickr1024数据集上将SISR模型准确推断立体图像的能力提高了0.79dB。该方法只需训练原始模型参数的4.8%，即可在四个常用的SteISR基准测试中达到最先进的性能。与更为复杂的全微调方法相比，我们的方法分别减少了57%的训练时间和15%的内存消耗。