摘要

一次性神经架构搜索（One-shot Neural Architecture Search, NAS）旨在降低发现顶尖模型所需的计算开销。然而，过去一年中，研究发现，在与主流NAS算法相同的搜索空间内，简单的随机搜索也能取得相当可观的性能表现。为应对这一挑战，我们探索了大幅放宽NAS搜索空间的影响，并提出了Bonsai-Net——一种高效的单次NAS方法，用于探索我们所放宽的搜索空间。Bonsai-Net基于一种改进的差分剪枝器构建，能够持续发现显著优于随机搜索的顶尖神经网络架构，且模型参数量少于其他先进方法。此外，Bonsai-Net实现了模型搜索与训练的同步进行，显著缩短了从零开始生成完整训练模型所需的总时间。