摘要

本文提出了一种新的方法，用于衡量人工神经网络（Artificial Neural Networks, ANN）模型中各特征的相对重要性。该方法的基本原理假设：某一特征越重要，其对应的输入神经元所连接的权重在模型训练过程中变化幅度就越大。为捕捉这一动态行为，本文在训练过程中实时计算连接至输入层的每一权重的运行方差。为此，提出了一种对Welford在线算法的改进版本，用于高效实现在线方差的计算。训练完成后，将各权重的方差与最终的权重值相结合，从而得到每个特征的相对重要性度量。该方法在多个经典的分类与回归问题上，针对浅层和深层神经网络架构进行了测试。实验结果表明，该方法能够产生具有实际意义的度量结果。此外，分析还显示，所获得的特征重要性评分与随机森林（Random Forests, RF）模型中的变量重要性方法具有高度相关性，进一步验证了该方法的有效性与可靠性。