摘要

分布外（Out-of-Distribution, OOD）检测的核心在于学习可与分布外样本相区分的分布内（In-Distribution, ID）表征。以往的研究多采用基于识别的方法来学习ID特征，但这类方法往往倾向于学习捷径特征，而非全面、本质的数据表征。在本工作中，我们发现令人意外的是，仅采用基于重建的方法即可显著提升OOD检测的性能。我们深入探究了OOD检测的关键影响因素，发现基于重建的预训练任务具有提供通用且高效先验的潜力，有助于模型更好地学习ID数据集的内在数据分布。具体而言，我们在OOD检测框架中将掩码图像建模（Masked Image Modeling）作为预训练任务，构建了名为MOOD的框架。在不依赖任何复杂技巧（bells and whistles）的情况下，MOOD在单类OOD检测上超越了先前的最先进方法（SOTA）5.7%，在多类OOD检测上提升3.0%，在近分布OOD检测任务中提升2.1%。更值得注意的是，尽管我们的方法在训练过程中未引入任何分布外样本，MOOD仍优于采用每类10个异常样本进行暴露训练（10-shot-per-class outlier exposure）的检测方法。