HyperAIHyperAI

Command Palette

Search for a command to run...

神经元激活覆盖率:重新思考分布外检测与泛化能力

Yibing Liu Chris Xing Tian Haoliang Li Lei Ma Shiqi Wang

摘要

当神经网络遇到与训练数据分布(即分布内,InD)显著偏离的数据时,便会出现分布外(OOD)问题。本文从神经元激活的角度研究该问题。我们首先通过综合考虑神经元输出及其对模型决策的影响,对神经元激活状态进行形式化建模。为进一步刻画神经元行为与OOD问题之间的关系,我们提出了神经元激活覆盖率(Neuron Activation Coverage, NAC)——一种用于表征神经元在分布内数据下行为的简单度量指标。基于所提出的NAC,我们发现:1)分布内与分布外输入在神经元行为上可被显著区分,这一特性显著简化了OOD检测任务,并在三个基准数据集(CIFAR-10、CIFAR-100和ImageNet-1K)上超越了此前21种主流方法;2)在不同网络架构与数据集上,NAC与模型泛化能力之间始终存在正相关关系,这使得NAC可作为评估模型鲁棒性的有效准则。与现有的分布内验证指标相比,NAC不仅能更有效地筛选出更具鲁棒性的模型,且与模型在分布外测试集上的表现具有更强的相关性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
神经元激活覆盖率:重新思考分布外检测与泛化能力 | 论文 | HyperAI超神经