摘要

本文通过将架构搜索任务公式化为可微分形式，解决了其扩展性挑战。与传统方法在离散且不可微分的搜索空间中应用进化算法或强化学习不同，我们的方法基于对架构表示的连续松弛，允许使用梯度下降高效地搜索架构。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上进行的大量实验表明，我们的算法在图像分类的高性能卷积架构和语言建模的递归架构发现方面表现出色，同时比最先进的非可微分技术快几个数量级。我们已将实现公开发布，以促进对高效架构搜索算法的进一步研究。