摘要
图像归因算法旨在识别对模型决策高度相关的区域。尽管现有的归因方法可以有效地为目标元素分配重要性，但它们仍然面临以下挑战：1）现有的归因方法生成的小区域不准确，从而误导了正确的归因方向；2）对于预测错误的样本，模型无法产生良好的归因结果。为了应对上述挑战，本文将图像归因问题重新建模为一个次模子集选择问题，旨在通过减少区域数量来增强模型的可解释性。为了弥补对局部区域关注不足的问题，我们构建了一个新的次模函数，以发现更准确的小解释区域。为了提高所有样本的归因效果，我们还对子区域的选择施加了四种不同的约束条件，即置信度、有效性、一致性和协作分数，以评估不同子集的重要性。此外，我们的理论分析证实所提出的函数实际上是次模的。大量实验表明，所提出的方法在两个面部数据集（Celeb-A 和 VGG-Face2）以及一个细粒度数据集（CUB-200-2011）上优于现有最先进方法。对于正确预测的样本，所提出的方法在删除和插入得分上相对于 HSIC-Attribution 平均提高了 4.9% 和 2.5%。对于错误预测的样本，我们的方法在平均最高置信度和插入得分上分别比 HSIC-Attribution 算法提高了 81.0% 和 18.4%。代码已发布在 https://github.com/RuoyuChen10/SMDL-Attribution。
代码仓库
ruoyuchen10/smdl-attribution
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| error-understanding-on-cub-200-2011-1 | SMDL-Attribution (ICLR version) | Average highest confidence (EfficientNetV2-M): 0.3306 Average highest confidence (MobileNetV2): 0.5367 Average highest confidence (ResNet-101): 0.4513 Insertion AUC score (EfficientNetV2-M): 0.1748 Insertion AUC score (MobileNetV2): 0.1922 Insertion AUC score (ResNet-101): 0.1772 |
| image-attribution-on-celeba | SMDL-Attribution (ICLR version) | Deletion AUC score (ArcFace ResNet-101): 0.1054 Insertion AUC score (ArcFace ResNet-101): 0.5752 |
| image-attribution-on-cub-200-2011-1 | SMDL-Attribution (ICLR version) | Deletion AUC score (ResNet-101): 0.0613 Insertion AUC score (ResNet-101): 0.7262 |
| image-attribution-on-vggface2 | SMDL-Attribution (ICLR version) | Deletion AUC score (ArcFace ResNet-101): 0.1304 Insertion AUC score (ArcFace ResNet-101): 0.6705 |