摘要

由于客户端之间存在统计异质性，采用个性化联邦学习方法已成为成功部署基于联邦学习服务的必要选择。在各类个性化技术中，基于模型混合的个性化方法尤为受青睐，因为该方法能够在联邦学习过程中为每个客户端生成专属的个性化模型。然而，这类方法通常需要同时维护本地模型与联邦模型，其现有实现要么仅限于部分参数的交换，要么需额外进行本地更新，这两种方式均无法有效支持新加入的客户端，且对客户端的计算资源造成较大负担。近期研究发现，两个或多个独立的深度神经网络之间存在一个包含多种低损失解的连通子空间，这一现象具有重要启发意义。基于此，我们将该特性与基于模型混合的个性化联邦学习方法相结合，以提升个性化性能。为此，我们提出了SuPerFed——一种新型个性化联邦学习方法，该方法在权重空间中显式构建本地模型与联邦模型最优解之间的连接，从而实现两者间的相互增强。在多个基准数据集上的大量实验表明，所提方法在个性化性能和对真实服务中可能出现的异常场景的鲁棒性方面均实现了稳定提升，验证了其有效性与实用性。