4 个月前

正则化进化用于图像分类器架构搜索

正则化进化用于图像分类器架构搜索

摘要

致力于手工设计神经网络图像分类器的努力激发了使用架构搜索自动发现这些分类器的兴趣。尽管进化算法已多次应用于神经网络拓扑结构,但通过这种方法发现的图像分类器仍然逊色于人工设计的分类器。本文中,我们首次进化出一个图像分类器——AmoebaNet-A,其性能超过了手工设计的分类器。为此,我们通过引入年龄属性来改进锦标赛选择进化算法,以偏好较年轻的基因型。在相同规模下,AmoebaNet-A 的准确率与当前通过更复杂的架构搜索方法发现的最先进的 ImageNet 模型相当。当扩展到更大规模时,AmoebaNet-A 达到了新的最高水平,即 83.9% / 96.6% 的 ImageNet 五类准确率。在与一种知名强化学习算法的对照实验中,我们提供了证据表明,在相同的硬件条件下,进化算法可以在搜索的早期阶段更快地获得结果。这在计算资源有限的情况下尤为重要。因此,进化是一种简单有效的方法,可以用来发现高质量的架构。

基准测试

基准方法指标
architecture-search-on-cifar-10-imageAmoebaNet-B + c/o
Params: 34.9M
Percentage error: 2.13
image-classification-on-imagenetAmoebaNet-A
GFLOPs: 208
Number of params: 469M
Top 1 Accuracy: 83.9%
neural-architecture-search-on-nas-bench-201REA
Accuracy (Test): 45.54
Search time (s): 12000
neural-architecture-search-on-nats-benchRE (Real et al., 2019)
Test Accuracy: 44.76
neural-architecture-search-on-nats-bench-1RE (Real et al., 2019)
Test Accuracy: 94.13
neural-architecture-search-on-nats-bench-2RE (Real et al., 2019)
Test Accuracy: 71.40

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
正则化进化用于图像分类器架构搜索 | 论文 | HyperAI超神经