
摘要
最近邻(Nearest Neighbors, NN)传统上用于生成最终决策,例如在支持向量机(Support Vector Machines)或k-最近邻(k-NN)分类器中,同时也用于为用户提供模型决策的解释。本文提出最近邻的一种新用途:提升一个冻结的、预训练图像分类器C的预测性能。我们引入一个图像比较器S,其功能包括:(1)将输入图像与分类器C在Top-K高置信度类别中检索出的最近邻图像进行比较;(2)利用S生成的得分对C的置信度分数进行加权,从而优化最终预测结果。实验表明,该方法在CUB-200、Cars-196和Dogs-120三个细粒度图像分类数据集上均能持续提升分类准确率。此外,一项人机交互研究发现,向用户展示我们提出的“可能类别最近邻”(Probable-Class Nearest Neighbors, PCNN)有助于降低用户对人工智能系统的过度依赖,从而显著提升其决策准确性,优于以往仅展示最高置信度(Top-1)类别样本的方法。
代码仓库
anguyen8/nearest-neighbor-XAI
官方
pytorch
GitHub 中提及
giangnguyen2412/PCNN-src-code-TMRL2024
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| fine-grained-image-classification-on-cub-200 | ResNet-50 | Accuracy: 88.59% |
| fine-grained-image-classification-on-cub-200-1 | ResNet-50 | Accuracy: 88.59 |
| fine-grained-image-classification-on-stanford | ResNet-50 | Accuracy: 91.06% |
| fine-grained-image-classification-on-stanford-1 | ResNet-50 | Accuracy: 86.31% |