摘要

我们提出了一种基于虚拟对抗损失的新正则化方法：这是一种衡量给定输入条件下标签分布局部平滑性的新指标。虚拟对抗损失定义为在每个输入数据点周围，条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法在没有标签信息的情况下定义了对抗方向，因此适用于半监督学习。由于我们在其中平滑模型的方向仅是“虚拟”对抗的，我们称这种方法为虚拟对抗训练（Virtual Adversarial Training，VAT）。VAT的计算成本相对较低。对于神经网络而言，可以通过不超过两对前向和反向传播来计算虚拟对抗损失的近似梯度。在实验中，我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过基于熵最小化原则对算法进行简单增强后，我们的VAT在SVHN和CIFAR-10数据集上的半监督学习任务中达到了最先进的性能。