摘要

在过去的十年中，卷积神经网络（CNN）模型在解决复杂的视觉问题方面取得了巨大成功。然而，这些深度模型由于其内部机制缺乏透明度而被视为“黑箱”方法。近期，开发可解释的深度学习模型引起了广泛的关注，本文正是在这方面做出的努力。基于最近提出的一种称为Grad-CAM的方法，我们提出了一种改进的通用方法——Grad-CAM++，该方法在对象定位和解释单个图像中多个对象实例方面提供了比现有最先进方法更好的可视化解释。我们为所提出的Grad-CAM++方法提供了一个数学推导过程，该方法利用最后一层卷积特征图对特定类别的得分的正偏导数的加权组合作为权重，生成对应类别标签的可视化解释。我们的大量实验和评估（包括主观和客观评估）在标准数据集上表明，Grad-CAM++能够为给定的CNN架构在多种任务中（如分类、图像描述生成和3D动作识别）以及新的应用场景（如知识蒸馏）提供有前景且人类可理解的可视化解释。