摘要

近年来，神经架构搜索（Neural Architecture Search, NAS）引起了广泛关注。为提升NAS的搜索效率与有效性——即降低搜索成本并提升所选架构的泛化性能——研究者们提出了多种算法。然而，这些算法的搜索效率受到搜索过程中必须进行模型训练的严重制约。为克服这一瓶颈，本文提出一种新型NAS算法——初始化阶段神经架构搜索（NAS at Initialization, NASI），该方法利用神经正切核（Neural Tangent Kernel, NTK）在模型初始化阶段即可表征候选架构的收敛性能，从而实现完全无需训练即可完成搜索，显著提升了搜索效率。除显著提高搜索效率外，NASI在CIFAR-10/100和ImageNet等多个数据集上均展现出具有竞争力的搜索效果。此外，在一定温和条件下，NASI被证明具有对标签和数据的无关性（label- and data-agnostic），从而保障了由NASI所选择的架构在不同数据集之间的良好可迁移性。