17 天前

卷积网络内部探析:图像分类模型与显著性图的可视化

卷积网络内部探析:图像分类模型与显著性图的可视化

摘要

本文探讨了基于深度卷积网络(ConvNets)训练的图像分类模型的可视化方法。我们研究了两种基于输入图像与类别得分之间梯度计算的可视化技术。第一种方法生成一幅图像,该图像能够最大化特定类别的得分 [Erhan 等,2009],从而可视化卷积网络所捕捉到的类别概念。第二种技术则针对特定图像和类别生成类显著性图(class saliency map)。我们证明,此类显著性图可用于利用分类型卷积网络实现弱监督下的目标分割。最后,我们建立了基于梯度的卷积网络可视化方法与反卷积网络(deconvolutional networks)[Zeiler 等,2013]之间的联系。

基准测试

基准方法指标
image-attribution-on-celebaSaliency
Deletion AUC score (ArcFace ResNet-101): 0.1453
Insertion AUC score (ArcFace ResNet-101): 0.4632
image-attribution-on-cub-200-2011-1Saliency
Deletion AUC score (ResNet-101): 0.0682
Insertion AUC score (ResNet-101): 0.6585
image-attribution-on-vggface2Saliency
Deletion AUC score (ArcFace ResNet-101): 0.1907
Insertion AUC score (ArcFace ResNet-101): 0.5612
interpretability-techniques-for-deep-learning-1Saliency
Insertion AUC score: 0.4632

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
卷积网络内部探析:图像分类模型与显著性图的可视化 | 论文 | HyperAI超神经