摘要

可微神经架构搜索（Differentiable Neural Architecture Search, DARTS）是神经架构搜索（Neural Architecture Search, NAS）领域的一种主流方法，其通过单元搜索（cell-search）并引入连续松弛（continuous relaxation）机制，借助基于梯度的优化显著提升了搜索效率。然而，DARTS的主要缺陷在于性能坍塌（performance collapse）问题，即在搜索过程中所发现的架构质量呈现持续下降的趋势。性能坍塌已成为当前研究的热点，众多方法尝试通过正则化手段或对DARTS进行根本性改进来解决该问题。然而，DARTS在单元搜索中所采用的权重共享框架（weight-sharing framework）及其架构参数的收敛特性，至今尚未得到充分的理论与实证分析。本文对DARTS及其收敛点进行了系统且新颖的理论与实证研究。我们揭示出，DARTS由于其权重共享机制存在特定的结构性缺陷，导致其架构参数的收敛被限制在Softmax函数的饱和点（saturation points）附近。这一收敛特性使得靠近输出层的网络层在最优操作选择中获得不公正的优势，从而引发性能坍塌。针对此问题，我们提出了两种新的正则化项，旨在通过协调各层梯度的分布，实现操作选择的均衡化，从而有效抑制性能坍塌。在六个不同的搜索空间及三个不同数据集上的实验结果表明，所提出的方法（Λ-DARTS）能够切实防止性能坍塌，验证了我们理论分析的正确性，并为所提出解决方案的有效性提供了充分支持。