摘要

深度神经网络在自动化数据分析和决策方面正得到越来越广泛的应用，然而其决策过程大多不透明，难以向最终用户解释。本文针对输入为图像、输出为类别概率的深度神经网络，探讨了可解释人工智能（Explainable AI）的问题。我们提出了一种称为RISE的方法，该方法生成一张重要性图，显示每个像素对模型预测的重要性程度。与利用梯度或其他内部网络状态来估计像素重要性的白盒方法不同，RISE适用于黑盒模型。它通过随机遮挡输入图像的不同版本并获取相应的输出，从而经验性地估计重要性。我们使用自动删除/插入指标和基于人工标注对象片段的指针指标，将我们的方法与其他最先进的重要性提取方法进行了比较。在多个基准数据集上的大量实验表明，我们的方法在性能上与包括白盒方法在内的其他方法相当或更优。项目页面：http://cs-people.bu.edu/vpetsiuk/rise/