摘要

互信息在学习观测数据的潜在表示方面得到了广泛应用，然而其在分类神经网络中的意义仍需进一步阐明。本文表明，在数据分布均衡的假设下，使用Softmax交叉熵优化分类神经网络的参数，等价于最大化输入与标签之间的互信息。通过在合成数据集和真实数据集上的实验，我们验证了Softmax交叉熵能够近似估计互信息。当应用于图像分类任务时，这一理论关系使得我们无需修改网络结构即可近似计算输入图像与标签之间的点互信息（point-wise mutual information）。基于此，我们提出了一种名为infoCAM（信息性类别激活图）的新方法，该方法根据信息差异突出输入图像中与特定类别标签最相关的区域，从而实现对目标物体的空间定位。在两个真实世界数据集上的半监督物体定位任务实验表明，所提出的基于信息论的方法具有良好的有效性。