摘要

神经架构搜索（Neural Architecture Search, NAS）在自动化设计神经网络方面取得了显著成功，但当前NAS方法背后巨大的计算量需要进一步研究以提高采样效率和降低网络评估成本，从而在更短的时间内获得更好的结果。本文提出了一种基于蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）的新型可扩展NAS代理，命名为AlphaX，旨在解决这两个方面的问题。AlphaX通过自适应平衡状态级别的探索与利用来提高搜索效率，并通过一个元深度神经网络（Meta-Deep Neural Network, DNN）预测网络精度，从而引导搜索向有前景的区域偏移。为了分摊网络评估成本，AlphaX采用分布式设计加速MCTS模拟，并通过MCTS中的树结构指导的迁移学习减少评估网络所需的轮数。在12个GPU天和1000个样本中，AlphaX发现了一个在CIFAR-10上达到97.84%的Top-1精度，在ImageNet上达到75.5%的Top-1精度的架构，其精度和采样效率均超过了现有的最先进NAS方法。特别地，我们还在大规模NAS数据集NASBench-101上对AlphaX进行了评估；结果显示，AlphaX在寻找全局最优解时比随机搜索（Random Search）和正则化进化（Regularized Evolution）分别提高了3倍和2.8倍的采样效率。最后，我们展示了所搜索到的架构在多种视觉应用中得到了改进，包括神经风格迁移、图像描述生成和目标检测。