摘要

我们提出了一种快速且成本低廉的自动模型设计方法——高效神经架构搜索（ENAS）。在ENAS中，控制器通过在一个大型计算图中搜索最优子图来学习发现神经网络架构。控制器使用策略梯度进行训练，以选择一个在验证集上最大化预期奖励的子图。与此同时，所选子图对应的模型则被训练以最小化标准交叉熵损失。由于子模型之间共享参数，ENAS的速度非常快：它使用比所有现有自动模型设计方法少得多的GPU小时数就能实现强大的实证性能，并且特别值得注意的是，其成本仅为标准神经架构搜索（NAS）的1/1000。在Penn Treebank数据集上，ENAS发现了一种新的架构，该架构达到了55.8的测试困惑度，创下了所有无需后训练处理的方法中的最新记录。在CIFAR-10数据集上，ENAS设计的新架构实现了2.89%的测试误差率，这一结果与NASNet（Zoph等人，2018年）相当，后者在测试中的误差率为2.65%。