HyperAIHyperAI

Command Palette

Search for a command to run...

KNAS:绿色神经架构搜索

Jingjing Xu Liang Zhao Junyang Lin Rundong Gao Xu Sun Hongxia Yang

摘要

现有的多数神经架构搜索(Neural Architecture Search, NAS)方法依赖于下游训练来评估网络架构,这一过程消耗大量计算资源。鉴于此类计算带来的巨大碳足迹,本文旨在探索一种绿色(即环境友好型)的NAS解决方案,该方案能够在不进行训练的情况下评估网络架构。直观地看,由架构本身所引发的梯度直接决定了模型的收敛性与泛化能力,这一观察促使我们提出“梯度核假设”:梯度可作为下游训练的粗粒度代理,用于评估随机初始化的网络。为验证该假设,我们进行了理论分析,并发现一种实际可行的梯度核,其与训练损失及验证性能具有良好的相关性。基于该假设,我们提出了一种基于核函数的新型架构搜索方法——KNAS。实验结果表明,在图像分类任务上,KNAS在获得与“先训练后测试”范式相当甚至更优的性能的同时,搜索速度提升了数个数量级。此外,极低的搜索开销使其具备广泛的应用潜力。所搜索得到的网络在两个文本分类任务上,性能超越了强大的基线模型RoBERTA-large。相关代码已开源,地址为:\url{https://github.com/Jingjing-NLP/KNAS}


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供