摘要

近年来，神经架构搜索（Neural Architecture Search, NAS）受到了广泛关注。现有的多数NAS算法通过迭代方式在架构空间中进行搜索：每次选择一个候选架构，通过训练来评估其性能，并利用此前所有评估结果来决定下一个候选架构。然而，评估过程具有显著噪声——最终准确率会因权重的随机初始化而波动。以往研究主要致力于设计新型搜索算法以应对这种噪声，却较少关注噪声水平的量化或其对评估结果的影响。在本项工作中，我们发现：（1）最简单的梯度上升（hill-climbing）算法已成为NAS中一个极具竞争力的基准方法；（2）当在主流NAS基准数据集上将评估噪声降至最低时，梯度上升算法的表现优于多种当前先进的主流算法。我们进一步通过实证表明，随着噪声水平的降低，局部极小值的数量显著减少，并给出了局部搜索在NAS中性能的理论刻画。基于上述发现，我们对NAS研究提出两点建议：（1）将局部搜索（如梯度上升）作为基准方法；（2）在条件允许的情况下，对训练流程进行去噪处理，以提升评估的稳定性和可靠性。