摘要

深度神经网络通常基于数据集中固有的虚假相关性做出决策，在面对无偏数据分布时无法进行有效的泛化。尽管先前的方法预定义了数据集偏差的类型以防止网络学习这些偏差，但在实际数据集中识别偏差类型往往非常困难。本文提出了一种新颖的针对偏差的增强方法——BiaSwap，该方法能够在无需监督偏差类型的情况下学习去偏表示。假设偏差对应于易于学习的属性，我们根据有偏分类器利用这些属性作为捷径的程度对训练图像进行排序，并以无监督的方式将其划分为偏差引导样本和反偏差样本。随后，我们将图像翻译模型中的风格转换模块与这种有偏分类器的类激活图（Class Activation Maps）相结合，从而主要转移由分类器学到的偏差属性。因此，给定一对偏差引导样本和反偏差样本，BiaSwap 生成包含来自反偏差样本的偏差属性的图像，同时保留偏差引导样本中的非相关属性。通过使用这种增强后的图像，BiaSwap 在合成数据集和真实世界数据集上均表现出优于现有基线方法的去偏能力。即使在没有仔细监督的情况下，BiaSwap 也在无偏样本和偏差引导样本上取得了显著的性能表现，这表明模型的泛化能力得到了提升。