摘要

神经架构搜索（NAS）面临的核心挑战在于如何在庞大的搜索空间中高效、智能地进行探索。本文提出一种新型NAS方法——TNAS（基于树的NAS），该方法通过仅探索少量候选架构，显著提升了搜索效率，同时实现了更高的搜索精度。TNAS引入了架构树（architecture tree）与二元操作树（binary operation tree），对搜索空间进行分解，大幅缩减了实际需要探索的规模。在此基础上，TNAS在所提出的两棵树中执行改进的双层广度优先搜索（bi-level Breadth-First Search），以发现高性能神经网络架构。令人印象深刻的是，在NAS-Bench-201基准上，TNAS仅用四块GPU小时即在CIFAR-10数据集上找到了全局最优架构，测试准确率达到94.37%；其平均测试准确率为94.35%，显著优于当前最先进的方法。代码已公开，地址为：\url{https://github.com/guochengqian/TNAS}。