摘要

神经架构搜索（Neural Architecture Search, NAS）已成为自动神经网络设计的一项有前景的技术。然而，现有的基于蒙特卡洛树搜索（MCTS）的NAS方法通常依赖于人工设计的动作空间（action space），而该动作空间与需优化的性能指标（如准确率）并无直接关联，导致架构探索过程样本效率低下。为提升样本效率，本文提出了一种新的方法——潜在动作神经架构搜索（Latent Action Neural Architecture Search, LaNAS），该方法通过学习一系列动作，递归地将搜索空间划分为性能表现良好或较差的区域，其中每个区域内的网络具有相似的性能指标。在搜索阶段，由于不同的动作序列会导向不同性能水平的区域，通过优先探索表现良好的区域，可显著提升搜索效率。在三个NAS任务上的实验结果表明，LaNAS的样本效率至少比基线方法（包括进化算法、贝叶斯优化和随机搜索）高出一个数量级。在实际应用中，无论是单次训练（one-shot）版本还是常规版本的LaNAS，均持续优于现有方法。特别地，LaNAS仅用800个样本便在CIFAR-10上实现了99.0%的准确率，在ImageNet上以600 MFLOPS的计算量达到了80.8%的Top-1准确率，显著超越AmoebaNet，且仅需其约1/33的样本数量。