摘要

在过去的五年中，神经架构搜索（Neural Architecture Search, NAS）领域提出了多种方法。贝叶斯优化（Bayesian Optimization, BO）作为一种在超参数优化中长期取得成功的策略，近年来在与神经网络预测器（neural predictor）结合后，展现出在NAS任务中极具前景的应用潜力。近期研究提出了该框架的不同实现方式，例如在BO中采用贝叶斯神经网络或图卷积网络作为预测模型。然而，这些工作的分析通常聚焦于完整的NAS算法整体，难以明确区分框架中各个独立组件对最终性能的贡献。在本工作中，我们对“BO + 神经预测器”框架进行了系统性分析，识别出五个核心组成部分：架构编码方式（architecture encoding）、神经预测器（neural predictor）、不确定性校准方法（uncertainty calibration method）、采集函数（acquisition function）以及采集函数优化策略（acquisition optimization strategy）。针对每一组件，我们测试了多种不同的实现方法，并提出了一种新颖的基于路径（path-based）的神经架构编码方案。理论分析与实验结果均表明，该编码方式在可扩展性方面显著优于现有其他编码方法。基于上述全面分析，我们最终构建了一个名为BANANAS的算法，在多个标准NAS搜索空间上均实现了当前最优性能。为遵循NAS研究的最佳实践，我们严格遵循Lindauer与Hutter（2019）提出的NAS研究检查清单（NAS Research Checklist），并已将代码开源，地址为：https://github.com/naszilla/naszilla。