摘要

在现有的神经架构搜索（Neural Architecture Search, NAS）方法中，DARTS 以其高效性和简洁性著称。该方法通过引入网络表示的连续松弛，构建一个权重共享的超网络（supernet），仅需数天的 GPU 计算时间即可识别出性能优异的子网络。然而，DARTS 存在性能坍塌（performance collapse）问题，导致搜索出的架构充斥着无参数操作（parameter-free operations），严重制约了其鲁棒性，仍是该领域的一大挑战。为解决这一问题，本文通过理论分析与实验验证揭示，根本原因在于搜索空间中候选操作重要性估计存在偏差。为此，我们提出基于信息量度量的方法，实现对操作的更精确选择。此外，我们进一步发现，传统双层优化框架中对超网络的过度关注以及数据利用效率低下，也是导致次优结果的重要因素。为此，我们引入一个更贴近实际目标的优化目标，即聚焦于子网络的性能，并借助信息量度量方法对其进行简化。最后，我们从理论上阐明了逐步缩小超网络宽度的必要性，并有效降低了 DARTS 中最优权重近似误差。基于上述分析，我们提出了一种名为 IS-DARTS 的新方法，全面改进了 DARTS 的搜索机制，有效解决了上述问题。在 NAS-Bench-201 以及基于 DARTS 的搜索空间上的大量实验表明，IS-DARTS 在多个指标上均显著优于现有方法，充分验证了其有效性与优越性。