4 个月前

DisCoPatch:OOD检测只需要批次统计量,但前提是你要信任它们

DisCoPatch:OOD检测只需要批次统计量,但前提是你要信任它们

摘要

分布外(OOD)检测在许多应用中具有重要意义。尽管语义和领域偏移的OOD问题已得到广泛研究,本研究重点关注协变量偏移——数据分布中的细微变化,这些变化可能会降低机器学习性能。我们假设,检测这些细微的变化可以加深对分布内边界的理解,从而最终提高OOD检测的效果。在使用批归一化(Batch Normalization, BN)训练的对抗判别器中,真实样本和对抗样本形成了具有独特批量统计特性的不同域——这一特性被我们利用于OOD检测。我们引入了DisCoPatch,这是一种无监督的对抗变分自编码器(Adversarial Variational Autoencoder, VAE)框架,该框架利用了这一机制。在推理过程中,批次由同一图像的补丁组成,确保数据分布的一致性,从而使模型能够依赖批量统计特征。DisCoPatch 使用 VAE 的次优输出(生成和重建)作为负样本训练判别器,从而增强其区分分布内样本和协变量偏移边界的能力。通过收紧这一边界,DisCoPatch 在公开的 OOD 检测基准测试中取得了最先进的结果。所提出的模型不仅在检测协变量偏移方面表现出色,在 ImageNet-1K(-C) 上达到了 95.5% 的 AUROC(Area Under the Receiver Operating Characteristic Curve),而且在公开的近似 OOD(Near-OOD)基准测试中也超越了所有先前的方法(95.0%)。该模型体积仅为 25MB,在显著低于现有方法的延迟下实现了高 OOD 检测性能,使其成为适用于实际 OOD 检测应用的有效且实用的解决方案。代码将对外公开发布。

基准测试

基准方法指标
out-of-distribution-detection-on-imagenet-1k-10DisCoPatch
AUROC: 96.4
FPR95: 18.9
Latency, ms: 1.56
out-of-distribution-detection-on-imagenet-1k-11DisCoPatch
AUROC: 94.4
FPR95: 29.7
Latency, ms: 1.56
out-of-distribution-detection-on-imagenet-1k-13DisCoPatch
AUROC: 94.3
FPR@95: 39.0
Latency, ms: 1.56
out-of-distribution-detection-on-imagenet-1k-14DisCoPatch
AUROC: 97.2
FPR95: 10.6
Latency, ms: 1.56
out-of-distribution-detection-on-imagenet-1k-15DisCoPatch
AUROC: 95.8
FPR95: 19.8
Latency, ms: 1.56
out-of-distribution-detection-on-imagenet-1k-3DisCoPatch
AUROC: 99.1
FPR95: 3.6
Latency, ms: 1.56

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DisCoPatch:OOD检测只需要批次统计量,但前提是你要信任它们 | 论文 | HyperAI超神经