摘要

近年来，神经架构搜索（Neural Architecture Search, NAS）的前沿方法通过将问题松弛为架构与共享权重的连续优化，采用基于梯度的优化策略，然而这一过程具有噪声性，其内在机制仍缺乏充分理解。本文主张通过研究单层级的经验风险最小化（empirical risk minimization）来深入理解带权重共享的NAS，从而将NAS方法的设计简化为设计能够快速获得高质量解的优化器与正则化策略。基于镜像下降（mirror descent）理论，我们提出一种几何感知框架，充分利用该优化问题的内在结构，从而得到稀疏的架构参数，进而导出一系列简洁而新颖的算法。这些算法具备快速收敛的理论保证，并在最新的计算机视觉NAS基准测试中取得了当前最优的精度表现。值得注意的是，我们在DARTS搜索空间和NAS-Bench201两个基准上，均超越了现有文献报道的最佳结果；尤其在NAS-Bench201上，于CIFAR-10和CIFAR-100数据集上实现了接近“oracle最优”的性能。综上，我们的理论分析与实验结果共同展示了一种系统化的方法，用于协同设计优化器与离散NAS搜索空间的连续松弛方案。