
摘要
在许多应用场景中,理解模型为何做出某一特定预测,其重要性可能与预测的准确性同样关键。然而,对于大规模现代数据集而言,通常只有复杂的模型(如集成模型或深度学习模型)才能达到最高准确率,而这些模型即使对专家而言也难以解释,从而在模型准确性与可解释性之间产生了矛盾。为应对这一挑战,近年来已提出多种方法以帮助用户理解复杂模型的预测结果,但这些方法之间的关联性往往不明确,且在何种情况下应优先选择某一方法也缺乏清晰标准。为此,我们提出一个统一的预测解释框架——SHAP(SHapley Additive exPlanations)。SHAP 为每个特征在特定预测中分配一个重要性值。该框架的创新之处在于:(1)提出了一类新的可加性特征重要性度量方法;(2)通过理论分析证明,在该类方法中存在唯一满足一组理想性质的解。这一新类别统一了六种已有方法,尤其值得注意的是,其中若干近期提出的方法并不具备我们所提出的理想性质。基于这一统一视角的深入洞察,我们进一步提出了若干新方法,其在计算效率和与人类直觉的一致性方面均优于以往的方案。
代码仓库
iancovert/shapley-regression
GitHub 中提及
bgreenwell/fastshap
GitHub 中提及
LaurentLava/SHAP
GitHub 中提及
poloclub/webshap
tf
GitHub 中提及
ojimenezn/ml-interpretability
GitHub 中提及
linkedin/fasttreeshap
GitHub 中提及
OpenXAIProject/SHAP-Tutorial
GitHub 中提及
TooTouch/WhiteBox-Part2
tf
GitHub 中提及
liuyanguu/SHAPforxgboost
GitHub 中提及
suinleelab/vit-shapley
pytorch
GitHub 中提及
matteo-rizzo/explainable-fruit-ripeness-classification
pytorch
GitHub 中提及
yramon/ShapCounterfactual
tf
GitHub 中提及
MachineLearningJournalClub/LearningNLP
pytorch
GitHub 中提及
pytorch/captum
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-attribution-on-celeba | Kernel SHAP | Deletion AUC score (ArcFace ResNet-101): 0.1409 Insertion AUC score (ArcFace ResNet-101): 0.5246 |
| image-attribution-on-cub-200-2011-1 | Kernel SHAP | Deletion AUC score (ResNet-101): 0.1016 Insertion AUC score (ResNet-101): 0.6763 |
| image-attribution-on-vggface2 | Kernel SHAP | Deletion AUC score (ArcFace ResNet-101): 0.2034 Insertion AUC score (ArcFace ResNet-101): 0.6132 |
| interpretability-techniques-for-deep-learning-1 | Kernel SHAP | Insertion AUC score: 0.5246 |