摘要

机器学习模型通常在端到端且监督学习的设定下进行训练，利用成对的（输入，输出）数据。例如，近期的超分辨率方法即基于低分辨率与高分辨率图像对进行训练。然而，这类端到端方法在输入分布发生改变（如夜间图像与白天图像）或相关隐变量发生变化（如相机模糊或手部运动）时，往往需要重新训练。在本研究中，我们利用当前最先进的生成模型（此处为StyleGAN2）构建强大的图像先验，从而为多种下游重建任务应用贝叶斯定理。我们提出的方法——基于生成模型的贝叶斯重建（Bayesian Reconstruction through Generative Models, BRGM），仅需一个预先训练好的生成器模型，即可通过结合不同的前向退化模型，解决多种图像恢复任务，包括超分辨率和图像修复（in-painting）。在该方法中，生成器模型的权重保持固定，通过估计生成重建图像的输入隐向量的贝叶斯最大后验（MAP）估计来实现图像重建。此外，我们采用变分推断近似隐向量的后验分布，并从中采样多个解以增强鲁棒性。我们在三个规模大且多样化的数据集上验证了BRGM方法：（i）来自Flick Faces High Quality数据集的60,000张图像；（ii）来自MIMIC-III数据集的240,000张胸部X光片；（iii）包含7,329次扫描的五个脑部MRI数据集的综合集合。在所有三个数据集上，无需针对特定数据集进行超参数调优，我们的方法在超分辨率和图像修复任务上的性能已达到与当前任务专用的最先进方法相当的水平，同时具备更强的泛化能力，且完全无需训练过程。我们的源代码和预训练模型已公开发布：https://razvanmarinescu.github.io/brgm/。