摘要

现有的大多数神经架构搜索（Neural Architecture Search, NAS）算法均针对特定下游任务进行设计与评估，例如计算机视觉中的图像分类任务。然而，大量实验表明，诸如计算机视觉中的ResNet和自然语言处理中的LSTM等杰出神经架构，通常具备强大的输入数据模式提取能力，并能在多种不同的下游任务上表现出色。本文旨在探讨与NAS相关的两个根本性问题：（1）是否必须依赖特定下游任务的性能来评估并搜索优质神经架构？（2）我们能否在不依赖下游任务的前提下，实现高效且有效的NAS？为回答上述问题，本文提出一种新颖且通用的NAS框架，称为通用神经架构搜索（Generic NAS, GenNAS）。GenNAS不依赖任务特定的标签，而是通过在一组人工设计的合成信号基函数上进行回归任务来评估架构性能。该自监督回归任务能够有效衡量架构捕捉与转换输入信号模式的内在能力，并支持训练样本的更充分使用。在13个CNN搜索空间和1个自然语言处理（NLP）搜索空间上的大量实验表明，GenNAS在回归评估方面表现出卓越效率，具体体现在两个维度：其一，架构评估的准确性（通过近似性能与下游任务性能之间的斯皮尔曼等级相关系数Spearman's rho衡量）；其二，训练收敛速度极快，通常在数秒内即可完成。