摘要

我们提出了一种面向模型不确定性感知的可微分架构搜索方法——μDARTS（Model Uncertainty-aware Differentiable ARchiTecture Search），该方法旨在优化神经网络，使其在实现高精度的同时，显著降低模型不确定性。在DARTS搜索单元中，我们引入了“具体化丢弃”（concrete dropout）机制，并在训练损失函数中加入蒙特卡洛正则化项，以优化具体化丢弃的概率。同时，在验证损失中引入预测方差项，从而支持在搜索过程中选择具有最小模型不确定性的网络架构。在CIFAR-10、CIFAR-100、SVHN以及ImageNet等数据集上的实验结果表明，与现有DARTS方法相比，μDARTS在提升模型精度的同时，有效降低了预测不确定性。此外，由μDARTS搜索得到的最终网络架构相较于传统DARTS方法所获得的架构，在面对输入图像噪声及模型参数扰动时展现出更强的鲁棒性。