摘要

联邦学习旨在通过有限的跨客户端通信，在客户端设备上训练出性能良好的全局模型。个性化联邦学习（Personalized Federated Learning, PFL）在此基础上进一步拓展，通过学习个性化模型来应对客户端间的数据异构性问题。该场景中的一个关键挑战在于：尽管每个客户端的数据具有独特性且通常规模有限，仍需实现有效的跨客户端学习。为此，本文提出 pFedGP，一种基于高斯过程（Gaussian Processes, GPs）与深度核学习（deep kernel learning）的PFL解决方案。高斯过程因其贝叶斯特性，在小样本数据场景下表现出强大的表达能力，适用于低数据环境。然而，将高斯过程应用于联邦学习面临多重挑战：其性能高度依赖于优质核函数的获取，而核函数的学习通常需要大规模训练数据。为此，我们提出在所有客户端间共享一个由神经网络参数化的核函数，并为每个客户端配备独立的个性化高斯过程分类器。为进一步提升性能，我们引入两种新颖方法以引入诱导点（inducing points），其中一种有助于在低数据条件下增强模型泛化能力，另一种则显著降低计算开销。我们推导出针对新客户端的PAC-Bayes泛化界，并通过实验验证该界能够提供非平凡（non-vacuous）的泛化保证。在CIFAR-10、CIFAR-100和CINIC-10等标准PFL基准数据集上的大量实验，以及在输入噪声环境下的新型学习设置中，pFedGP均展现出校准良好的预测性能，显著优于基线方法，最高可实现21%的准确率提升。