4 个月前

在设计可解释性卷积神经网络中学习局部离散特征

在设计可解释性卷积神经网络中学习局部离散特征

摘要

我们提出的框架试图通过引入基于侧抑制机制的可解释性设计卷积神经网络(CNN)来打破性能与可解释性之间的权衡。ExplaiNet模型由两部分组成:预测器,即具有残差或密集跳跃连接的高精度CNN;以及解释器概率图,用于表示网络神经元的空间交互关系。每个图节点上的值是一个局部离散特征(LDF)向量,这是一种描述符,代表按激活强度排序的对抗神经元的索引,这些特征通过梯度下降学习得到。通过将LDF作为序列使用,我们可以借助通常在分子生物学中使用的基于EM算法的序列基序发现方法EXTREME来提高解释的简洁性。对于每个中间图像表示,使用离散特征基序矩阵而非连续激活张量,使我们能够利用贝叶斯网络固有的可解释性。通过收集观察数据并直接计算概率,我们可以解释相邻层级基序之间的因果关系,并将模型输出归因于全局基序。此外,在各种小型图像基准数据集上的实验结果证实,我们的预测器在给定参数数量和/或层数的情况下,能够确保与基准架构相同的性能水平。我们的新方法显示出超越这一性能的潜力,并提供额外的解释流。在解决MNIST分类任务时,该方法在使用标准训练设置和0.75百万参数的情况下,达到了与单模型最先进水平相当的性能。

代码仓库

基准测试

基准方法指标
image-classification-on-cifar-10R-ExplaiNet-26
Parameters: 0.89 M
Percentage correct: 94.15
image-classification-on-fashion-mnistR-ExplaiNet-26
Accuracy: 93.45
Percentage error: 6.55
Trainable Parameters: 892362
image-classification-on-kuzushiji-mnistR-ExplaiNet-26
Accuracy: 98.78
Error: 1.22
Trainable Parameters: 892362
image-classification-on-mnistR-ExplaiNet-22 (single model)
Accuracy: 99.80
Percentage error: 0.20
Trainable Parameters: 743882
image-classification-on-oracle-mnistR-ExplaiNet-26
Accuracy: 96.93
Trainable Parameters: 892362

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
在设计可解释性卷积神经网络中学习局部离散特征 | 论文 | HyperAI超神经