摘要

神经架构搜索（Neural Architecture Search, NAS）旨在实现神经网络架构设计的自动化。这一过程通常需要在搜索空间中对大量候选网络进行评估，以从所有可能的网络结构中找出最优解，因而带来高昂的计算开销。通过预测候选网络的性能，可显著降低对每个候选架构进行完整评估的需求，从而缓解计算负担。然而，构建此类性能预测器通常需要大量已评估的网络架构作为训练数据，而这些数据在实际中往往难以获取。针对这一挑战，本文提出一种新型基于进化的NAS策略——预测器辅助的进化NAS（Predictor-assisted E-NAS, PRE-NAS），该方法在仅有极少量已评估架构的情况下仍能表现出色。PRE-NAS引入了创新的进化搜索机制，并在多代进化过程中实现了高保真的权重继承。与传统的“一次性”（one-shot）策略不同，后者因权重共享可能导致评估偏差，PRE-NAS所生成的子代候选架构在拓扑结构上保持高度一致，有效规避了此类偏差，从而提升了预测精度。在NAS-Bench-201和DARTS搜索空间上的大量实验表明，PRE-NAS在性能上超越了当前最先进的NAS方法。仅需使用单块GPU进行0.6天的搜索，PRE-NAS即可找到具有竞争力的网络架构，在CIFAR-10数据集上达到2.40%的测试误差率，在ImageNet数据集上达到24%的测试误差率，充分展示了其高效性与优越性。