摘要

机器学习模型被发现会学习“捷径”——即未经意图的决策规则，这些规则无法泛化，从而损害模型的可靠性。以往研究在一种薄弱假设下开展，即训练数据中仅存在单一捷径。然而，现实世界图像中充斥着来自背景、纹理等多种视觉线索。提升视觉系统可靠性的关键，在于理解现有方法是否能够有效应对多重捷径，还是陷入“打地鼠”式困境——即消除某一捷径后，模型反而更加依赖其他捷径。为解决这一缺陷，我们提出了两个基准测试：1）UrbanCars，一个具有精确控制的虚假线索（spurious cues）的数据集；2）ImageNet-W，一个基于ImageNet构建的评估集，用于检测我们发现的一种广泛影响现代视觉模型的捷径——水印（watermark）线索。结合纹理和背景线索，ImageNet-W使我们能够系统研究在自然图像训练过程中涌现的多重捷径现象。我们的研究发现，无论训练数据、模型架构或监督方式如何，计算机视觉模型（包括大型基础模型）在面对多重捷径时均表现不佳。即便是专门设计用于对抗捷径的方法，也难以摆脱“打地鼠”困境。为应对这一挑战，我们提出了一种简单而有效的解决方案——最后一层集成（Last Layer Ensemble），该方法能够在不引发“打地鼠”行为的前提下，有效缓解多重捷径问题。本研究揭示了多重捷径缓解是一个长期被忽视但对提升视觉系统可靠性至关重要的挑战。相关数据集与代码已公开发布：https://github.com/facebookresearch/Whac-A-Mole。