HyperAIHyperAI

Command Palette

Search for a command to run...

RankFeat:用于分布外检测的Rank-1特征移除

Yue Song Nicu Sebe Wei Wang

摘要

在现实世界中部署机器学习模型时,分布外(Out-of-Distribution, OOD)检测任务至关重要。本文观察到,分布内(In-Distribution, ID)特征与分布外特征的奇异值分布存在显著差异:OOD特征矩阵通常具有比ID特征更大的主奇异值,且OOD样本的类别预测结果主要由该主奇异值及其对应的奇异向量决定。基于这一观察,我们提出了一种简单而有效的事后(post hoc)OOD检测方法——\texttt{RankFeat}。该方法通过从高层特征中移除由最大奇异值及其对应奇异向量构成的秩-1矩阵(即 Xs1u1v1T\mathbf{X} - \mathbf{s}_1\mathbf{u}_1\mathbf{v}_1^TXs1u1v1T),实现对OOD样本的有效识别。\texttt{RankFeat} 在多个基准数据集上取得了当前最优(state-of-the-art)的检测性能,相较于此前最佳方法,平均假阳性率(FPR95)降低了17.90%。本文还通过大量消融实验与全面的理论分析,充分验证了所提方法的有效性与合理性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RankFeat:用于分布外检测的Rank-1特征移除 | 论文 | HyperAI超神经