摘要

本文提出了一种基于Shapley值的神经架构搜索方法（Shapley-NAS），用于评估各操作对模型性能的贡献。可微分神经架构搜索（DARTS）通过梯度下降优化架构参数以获取最优架构，显著降低了搜索成本。然而，梯度下降更新的架构参数大小无法准确反映各操作对任务性能的真实重要性，从而影响所获架构的有效性。与此不同，本文提出直接评估各操作对验证准确率的直接影响。为处理超网络组件之间的复杂依赖关系，我们采用Shapley值来量化其边际贡献，综合考虑所有可能的操作组合。具体而言，我们通过迭代优化超网络权重，并基于Shapley值评估操作贡献来更新架构参数，最终通过选择对任务贡献显著的操作来构建最优架构。由于精确计算Shapley值属于NP难问题，本文采用基于蒙特卡洛采样的近似算法，并引入早期截断机制以提高效率，同时采用动量更新机制以缓解采样过程中的波动问题。在多个数据集和多种搜索空间上的大量实验表明，所提出的Shapley-NAS方法在显著降低搜索成本的前提下，性能优于现有最先进方法。代码已开源，地址为：https://github.com/Euphoria16/Shapley-NAS.git