摘要

在基于潜在空间优化（Latent Space Optimization, LSO）的神经架构搜索（Neural Architecture Search, NAS）方法中，通常训练一个深度生成模型，将离散的神经网络架构映射到一个连续的潜在空间。在此框架下，可在连续空间中应用多种优化算法来搜索神经网络架构。然而，对于基于梯度的LSO方法而言，潜在变量的优化面临挑战，因为从潜在空间到架构性能的映射通常具有非凸性。为解决这一问题，本文提出了一种凸性正则化潜在空间优化（Convexity-Regularized Latent Space Optimization, CR-LSO）方法，旨在通过正则化潜在空间的学习过程，构建一个凸的架构性能映射。具体而言，CR-LSO采用图变分自编码器（Graph Variational Autoencoder, G-VAE）来学习离散架构的连续表示。同时，通过引入输入凸神经网络（Input Convex Neural Networks, ICNNs）所保证的凸性，对潜在空间的学习过程施加凸性正则化。由此，G-VAE被强制学习从架构表示到架构性能之间的凸映射关系。在此基础上，CR-LSO利用ICNN近似该性能映射，并基于估计的梯度对神经架构表示进行优化。在三个主流NAS基准上的实验结果表明，CR-LSO在计算复杂度和架构性能方面均取得了具有竞争力的评估表现。