摘要

联邦学习（Federated Learning，简称FL）是一种分布式机器学习技术，通过全局服务器与协作客户端的协同工作，在不直接共享数据的前提下实现隐私保护的全局模型训练。然而，数据异构性问题作为FL面临的主要挑战之一，导致全局模型在各客户端的本地数据上难以实现有效性能。为此，个性化联邦学习（Personalized Federated Learning，简称PFL）旨在最大程度提升模型在本地数据上的表现。贝叶斯学习将模型参数视为具有先验假设的随机变量，因其具备“使用更多本地数据时模型更聚焦于本地数据，否则更依赖先验”的特性，成为应对数据异构性问题的一种可行方案。当贝叶斯学习应用于PFL时，全局模型可为本地训练过程提供全局知识作为先验信息。本文通过在缩放指数族中假设先验分布，采用贝叶斯学习建模PFL，并提出pFedBreD框架，利用Bregman散度正则化方法求解所建模的问题。实验结果表明，在球面高斯先验假设及一阶均值选择策略下，所提出的pFedBreD在多个公开基准测试中显著优于其他PFL算法。