摘要

一个泛化性能良好的机器学习模型应在未见过的测试样本上获得较低的误差。因此，如果我们能够找到一种最优方式对训练样本进行扰动以适应测试样本，便有望提升模型的泛化能力。然而，在标准机器学习框架下，这一目标难以实现，因为测试数据的分布通常是未知的。为应对这一挑战，我们提出了一种新颖的正则化方法——元Dropout（meta-dropout），该方法在元学习框架下学习对训练样本的隐含特征进行扰动，以提升模型的泛化能力。具体而言，我们通过元学习构建一个噪声生成器，该生成器输出一个用于隐含特征的乘性噪声分布，从而以输入依赖的方式在测试实例上实现低误差。在元测试阶段，该学习得到的噪声生成器可对未见任务的训练样本进行扰动，从而提升模型的泛化性能。我们在少样本分类数据集上验证了该方法，实验结果表明，该方法显著提升了基础模型的泛化性能，并大幅优于现有的正则化方法，如信息瓶颈（information bottleneck）、流形混合（manifold mixup）以及信息Dropout（information dropout）。