3 个月前

基于基因表达编程的动态搜索空间下有限GPU时间神经架构搜索优化

基于基因表达编程的动态搜索空间下有限GPU时间神经架构搜索优化

摘要

近年来,图像、文本、音频和视频中人物与物体的高效识别、感兴趣区域的分割以及相关数据的提取取得了显著进展,这主要得益于深度学习方法与计算资源近期提升的有机结合。尽管深度学习展现出巨大潜力,但高效网络架构与模块的开发仍需依赖专家知识,并耗费大量资源与时间。本文提出一种基于进化的神经架构搜索方法,能够在仅24 GPU小时的计算时间内,于动态搜索空间中高效发现卷积神经网络模型。通过采用基因表达编程(Gene Expression Programming)作为网络单元生成机制,结合其高效的搜索环境与表型表示方式,本方法在GPU资源有限且搜索空间广阔的情况下,仍取得了与人工设计的卷积网络及基于神经架构搜索(NAS)生成的模型相当甚至更优的性能,甚至超越了其他类似约束条件下的进化型NAS方法。在不同运行实验中,所发现的最佳网络单元表现出高度稳定性:在CIFAR-10数据集上,平均误差为2.82%(最优模型误差达2.67%);在CIFAR-100数据集上,平均误差为18.83%(最优模型误差为18.16%)。在移动设备场景下的ImageNet数据集上,最优模型分别达到29.51%的Top-1误差和10.37%的Top-5误差。尽管已有研究指出基于进化算法的NAS方法通常需要大量GPU时间进行架构搜索,但本方法在极短的计算时间内即获得了具有竞争力的结果,展现出显著的效率优势。这一成果为未来在进化型NAS领域开展更深入的研究,尤其是在搜索策略与网络表示方式的优化方面,提供了有力的激励与可行路径。

代码仓库

hieule88/geneNas
pytorch
GitHub 中提及

基准测试

基准方法指标
neural-architecture-search-on-cifar-10NASGEP
Search Time (GPU days): 1
Top-1 Error Rate: 2.82%
neural-architecture-search-on-cifar-100-1NASGEP
Percentage Error: 18.83
neural-architecture-search-on-imagenetNASGEP
Accuracy: 70.49
Top-1 Error Rate: 29.51

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于基因表达编程的动态搜索空间下有限GPU时间神经架构搜索优化 | 论文 | HyperAI超神经