摘要

数据集偏差与虚假相关性会显著影响深度神经网络的泛化能力。此前的许多研究通过采用替代损失函数或聚焦于罕见模式的采样策略来应对这一问题。本文提出一种新方向：通过修改网络架构，引入归纳偏置，使网络对数据集偏差具有更强的鲁棒性。具体而言，我们提出OccamNets，该架构通过设计主动偏好更简单的解决方案。OccamNets包含两种归纳偏置：其一，针对单个样本，倾向于使用尽可能少的网络深度；其二，倾向于在更少的图像位置上进行预测。尽管OccamNets倾向于选择更简单的假设，但在必要时仍具备学习复杂假设的能力。实验结果表明，OccamNets在性能上优于或媲美当前最先进的方法，而这些方法所基于的网络架构并未引入此类归纳偏置。此外，我们进一步证明，当将当前最先进的去偏方法与OccamNets结合使用时，性能可进一步提升。