摘要

神经架构搜索（Neural Architecture Search, NAS）正成为一项新兴的研究方向，具有替代传统针对特定任务手工设计神经网络架构的潜力。以往基于进化策略的架构搜索方法通常需要高昂的计算资源，导致搜索时间过长。本文提出一种新颖的解决方案，将简单的遗传算法应用于NAS问题，命名为EvNAS（基于一次性模型的神经架构进化方法），在显著降低搜索时间的同时，仍能取得优于以往进化方法的性能。在EvNAS中，架构通过一次性模型（one-shot model）的架构参数进行表示，从而在给定架构种群中实现参数共享，并支持从一代架构到下一代架构的参数继承。我们进一步提出一种架构参数的解码技术，该技术能够将大部分梯度信息集中引导至目标架构，同时在搜索过程中提升一次性模型对目标架构性能的预测准确性。此外，为减少搜索时间，我们采用部分训练架构在验证集上的准确率作为其适应度的预测指标。EvNAS在代理数据集CIFAR-10上进行搜索，仅需单个GPU运行4.4 GPU天，即获得2.47%的Top-1测试误差，且模型参数量仅为363万。该架构随后被迁移至CIFAR-100和ImageNet数据集，分别取得16.37%的Top-1误差和7.4%的Top-5误差。上述结果充分展示了进化方法在解决神经架构搜索问题上的巨大潜力。