摘要

神经网络在众多领域中广受欢迎且具有广泛应用价值，但其存在一个显著问题：对于远离训练数据分布的样本，神经网络仍会给出高度自信的预测结果。这种现象导致模型在做出严重错误判断时仍表现出极高的置信度，从而严重限制了其在自动驾驶、太空探索等安全关键型应用场景中的可靠性。本文提出了一种新型神经元结构，该结构将标准基于点积的神经元与径向基函数（RBF）神经元视为形状参数的两个极端情形。当采用修正线性单元（ReLU）作为激活函数时，所提出的神经元具有紧支集（compact support）特性，即其输出在有界区域之外恒为零。为应对该新型神经网络的训练挑战，本文进一步提出一种新颖的训练策略：首先利用预训练的标准神经网络作为起点，在训练过程中逐步增大形状参数至目标值，实现模型的微调。理论分析部分证明了该神经元梯度的有界性，并进一步严格证明了：由此类神经元构成的神经网络具备通用逼近能力，即能够以任意精度逼近任意连续且可积的函数。在标准基准数据集上的实验结果表明，所提出方法在测试误差方面优于当前最先进的竞争方法；同时，在三个数据集中的两个上，该方法在检测分布外（out-of-distribution）样本方面也显著优于现有方法，展现出更强的鲁棒性与可靠性。