摘要

可微分架构搜索（Differentiable ARchiTecture Search, DARTS）通过引入网络结构的连续松弛表示，使神经架构搜索（Neural Architecture Search, NAS）的效率提升了近数千倍（以GPU天为单位）。然而，DARTS的搜索过程存在不稳定性问题，当训练轮次增加时会出现严重的性能退化，从而限制了其实际应用。本文指出，这一退化现象的根本原因在于不同节点之间的范数不平衡，以及不同操作所产生的输出高度相关。为此，我们提出了一种改进型DARTS方法，称为iDARTS，以有效应对上述两个问题。在训练阶段，iDARTS引入节点归一化（node normalization）机制，以维持各节点间范数的平衡；在架构离散化阶段，则基于节点输出与去相关操作之间的相似性，而非架构参数的取值，对连续架构进行近似选择。在CIFAR-10和ImageNet数据集上的大量实验表明，iDARTS分别在0.2 GPU天和1.9 GPU天的搜索时间内，取得了2.25%和24.7%的错误率，充分验证了其高效性与有效性。进一步的分析还表明，相较于其他基于DARTS的变体方法，iDARTS在鲁棒性与泛化能力方面具有显著优势。