摘要

神经架构搜索（Neural Architecture Search, NAS）旨在自动化架构搜索过程，取代传统的人工设计方式。尽管近年来的NAS方法已能在数日内完成搜索，但针对每个候选架构仍需进行长时间训练，以获取其参数并准确评估性能。为此，近期提出的一次性NAS（one-shot NAS）方法通过在候选架构间共享参数，大幅压缩了耗时的训练过程：候选架构的参数可直接从共享参数中提取，而无需从头训练。然而，这类方法在评估前无法预判各候选架构的性能优劣，因此通常采用随机采样方式选择待评估候选，最终仅将表现最好的单一候选视为最优结果。本文提出一种自评估模板网络（Self-Evaluated Template Network, SETN），旨在提升待评估候选架构的质量，从而更有可能覆盖具有竞争力的架构。SETN由两个核心组件构成：（1）评估器（evaluator），其学习预测每个独立架构具有较低验证损失的概率，从而实现基于评估器结果的有选择性采样；（2）模板网络（template network），在所有候选架构之间共享参数，以分摊生成候选架构的训练开销。实验结果表明，SETN所发现的架构在CIFAR与ImageNet基准测试上均达到了当前最优性能，且计算成本与现有方法相当。相关代码已公开于GitHub：https://github.com/D-X-Y/AutoDL-Projects。