摘要

目前最广泛使用的用于训练具有差分隐私（Differential Privacy）的深度神经网络的算法是DP-SGD，该算法需要对每个样本的梯度进行裁剪和加噪。这会导致模型效用相比于非私有训练有所下降。实验观察表明，这种准确率的降低在很大程度上取决于模型架构。我们对此现象进行了研究，并通过结合表现出良好个体性能的组件，提炼出了一种新的模型架构，称为SmoothNet，其特点是能够更好地应对DP-SGD训练带来的挑战。实验中，我们在两个基准数据集上对SmoothNet与标准架构进行了对比测试，结果表明我们的架构优于其他架构，在CIFAR-10数据集上以$\varepsilon=7.0$达到了73.5%的准确率，在ImageNette数据集上以$\varepsilon=7.0$达到了69.2%的准确率，这是与之前针对差分隐私进行的架构修改相比达到的最新成果。