摘要

神经网络经常学会做出过度依赖数据集中虚假相关性的预测，这导致模型出现偏差。尽管先前的研究通过在虚假相关属性上使用显式标签或假设特定类型的偏差来解决这一问题，我们则采用了一种成本更低且更为通用的人类知识形式，该方法可以广泛应用于各种类型的偏差。我们首先观察到，神经网络仅在虚假相关性比所需知识“更容易”学习时才会依赖它，而这种依赖在训练初期尤为明显。基于这些观察结果，我们提出了一种基于失败的去偏方案，即同时训练一对神经网络。我们的主要思想包含两个方面：(a) 我们有意训练第一个网络产生偏差，通过反复放大其“偏见”，以及 (b) 通过关注那些与 (a) 中有偏见的网络相反的样本，对第二个网络的训练进行去偏。大量实验表明，我们的方法在合成数据集和真实世界数据集中显著提高了针对各种类型偏差的网络训练效果。令人惊讶的是，我们的框架甚至偶尔优于需要对虚假相关属性进行显式监督的去偏方法。