摘要

近年来，高效且自动化的神经架构搜索（Neural Architecture Search, NAS）受到越来越多关注。当前主流研究目标在于，在高效探索大规模搜索空间的同时，最大限度减少对昂贵神经架构评估的需求。为此，代理模型（surrogate models）将神经架构嵌入低维隐空间（latent space），并预测其性能；而神经架构生成模型则通过在隐空间中进行基于优化的搜索，从生成器所定义的分布中采样生成新架构。代理模型与生成模型的共同目标是，在结构良好的隐空间中实现高效的查询式搜索。本文进一步优化了查询效率与生成优质架构之间的权衡，通过融合高效代理模型与生成式设计的优势，提出一种新型生成模型，并配备相应的代理预测器。该方法通过迭代学习，逐步从日益优越的隐子空间中生成样本，从而实现极高的搜索效率与有效性，同时显著降低所需查询次数。此外，该方法可直接支持多目标联合优化，例如同时优化模型精度与硬件延迟等指标。实验结果表明，该方法不仅在追求最高分类准确率的架构优化中表现优异，而且在考虑硬件约束的场景下也显著优于现有方法。我们在多个单目标与多目标NAS基准测试中均取得了当前最优性能，且在ImageNet数据集上也达到了最先进的水平。相关代码已开源，地址为：http://github.com/jovitalukasik/AG-Net。