摘要

我们介绍了一种新的功能保留转换方法，用于高效的神经架构搜索。这种网络转换方法允许重用先前训练的网络和现有的成功架构，从而提高了样本效率。我们的目标是解决当前网络转换操作的局限性，这些操作只能进行层级别的架构修改，例如增加（剪枝）滤波器或插入（移除）一层，而无法改变连接路径的拓扑结构。我们提出的路径级别转换操作使元控制器能够在保持权重重用优势的同时，修改给定网络的路径拓扑结构，从而能够高效设计具有复杂路径拓扑结构的有效模型，如Inception模型。此外，我们还提出了一种双向树形结构的强化学习元控制器，以探索一种简单但高度表达性的树形结构架构空间，该空间可以视为多分支架构的一种泛化形式。我们在计算资源有限的情况下（大约200个GPU小时），在图像分类数据集上进行了实验，观察到参数效率的提升和更好的测试结果（在CIFAR-10上使用14.3M参数达到了97.70%的测试准确率，在移动设备设置下的ImageNet上达到了74.6%的Top-1准确率），这证明了我们设计的架构的有效性和可迁移性。