摘要

个性化联邦学习旨在为多个客户端训练机器学习模型，每个客户端拥有各自的数据分布。其目标是在考虑客户端间数据差异的同时，以协作方式训练个性化模型，并降低通信开销。本文提出一种基于超网络（hypernetworks）的新方法，称为pFedHN（个性化联邦超网络），用于解决该问题。在该方法中，一个中心化的超网络模型被训练以生成一组模型，每个客户端对应一个专属模型。该架构在客户端之间实现了高效的参数共享，同时保留了生成独特且多样化的个性化模型的能力。此外，由于超网络的参数无需传输，该方法将通信开销与可训练模型规模解耦，显著降低了通信成本。我们在多个个性化联邦学习任务中对pFedHN进行了实证测试，结果表明其性能优于现有方法。最后，由于超网络能够在客户端之间共享信息，我们进一步证明，pFedHN在面对训练过程中未见过的、分布不同的新客户端时，具备更强的泛化能力。