摘要

近年来，用于训练深度神经网络（DNNs）的差分隐私方法取得了显著进展，特别是在使用大规模批次和聚合数据增强技术进行大量训练步骤时。这些技术需要比非隐私方法多得多的计算资源，使得传统的隐私-准确性权衡转变为隐私-准确性-计算资源的三重权衡，并且在实际场景中几乎不可能进行超参数搜索。在这项工作中，我们解耦了噪声训练的隐私分析和实验行为，以最小的计算需求探索这一权衡。首先，我们利用Rényi差分隐私（RDP）工具指出，在不过度消耗的情况下，隐私预算仅取决于整个训练过程中注入的总噪声量（Total Amount of Noise, TAN）。然后，我们推导出使用差分隐私随机梯度下降（DP-SGD）训练模型的缩放定律，以超过100倍的计算预算减少来优化超参数。我们将所提出的方法应用于CIFAR-10和ImageNet数据集，并特别在ImageNet上取得了显著改进，对于ε=8的隐私预算，其Top-1准确率提高了9个百分点。