摘要

架构设计已成为深度学习取得成功的关键组成部分。近年来，自动神经架构搜索（Neural Architecture Search, NAS）取得了显著进展，展现出巨大潜力。然而，所发现的架构在最终评估中往往难以实现良好的泛化性能，即在搜索阶段验证准确率较高的架构，在实际评估中反而表现更差。为缓解这一普遍存在的问题，本文提出一种高效且新颖的神经架构搜索方法——序列贪心架构搜索（Sequential Greedy Architecture Search, SGAS）。SGAS通过将搜索过程分解为一系列子问题，采用贪心策略逐步选择并剪枝候选操作，从而高效地探索搜索空间。我们将SGAS应用于卷积神经网络（Convolutional Neural Networks, CNN）与图卷积网络（Graph Convolutional Networks, GCN）的架构搜索任务。大量实验结果表明，SGAS能够在极低的计算开销下，为图像分类、点云分类以及蛋白质-蛋白质相互作用图中的节点分类等任务，发现达到当前最先进水平的神经网络架构。更多关于SGAS的详细信息，请访问：https://www.deepgcns.org/auto/sgas。