
摘要
本文探讨了基于深度卷积网络(ConvNets)训练的图像分类模型的可视化方法。我们研究了两种基于输入图像与类别得分之间梯度计算的可视化技术。第一种方法生成一幅图像,该图像能够最大化特定类别的得分 [Erhan 等,2009],从而可视化卷积网络所捕捉到的类别概念。第二种技术则针对特定图像和类别生成类显著性图(class saliency map)。我们证明,此类显著性图可用于利用分类型卷积网络实现弱监督下的目标分割。最后,我们建立了基于梯度的卷积网络可视化方法与反卷积网络(deconvolutional networks)[Zeiler 等,2013]之间的联系。
代码仓库
PabloVD/21cmDeepLearning
pytorch
GitHub 中提及
mattemartini/explainable-and-trustworthy-ai-project
pytorch
GitHub 中提及
g8a9/ferret
pytorch
GitHub 中提及
labouz/xai-pres-1
pytorch
GitHub 中提及
KamitaniLab/cnnpref
caffe2
GitHub 中提及
hs2k/pytorch-smoothgrad
pytorch
GitHub 中提及
deepsense-ai/unblackboxing_webinar
tf
GitHub 中提及
sunnynevarekar/pytorch-saliency-maps
pytorch
GitHub 中提及
novice03/timm-vis
pytorch
GitHub 中提及
idiap/fullgrad-saliency
pytorch
GitHub 中提及
ukplab/naacl2024-prompt-sensitivity
pytorch
GitHub 中提及
taolicheng/understanding-dnn
GitHub 中提及
sar-gupta/convisualize_nb
pytorch
GitHub 中提及
PotatoSpudowski/CactiNet
pytorch
GitHub 中提及
peiwang062/Deliberative-explanation
pytorch
GitHub 中提及
MisaOgura/flashtorch
pytorch
GitHub 中提及
pytorch/captum
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-attribution-on-celeba | Saliency | Deletion AUC score (ArcFace ResNet-101): 0.1453 Insertion AUC score (ArcFace ResNet-101): 0.4632 |
| image-attribution-on-cub-200-2011-1 | Saliency | Deletion AUC score (ResNet-101): 0.0682 Insertion AUC score (ResNet-101): 0.6585 |
| image-attribution-on-vggface2 | Saliency | Deletion AUC score (ArcFace ResNet-101): 0.1907 Insertion AUC score (ArcFace ResNet-101): 0.5612 |
| interpretability-techniques-for-deep-learning-1 | Saliency | Insertion AUC score: 0.4632 |