
摘要
致力于手工设计神经网络图像分类器的努力激发了使用架构搜索自动发现这些分类器的兴趣。尽管进化算法已多次应用于神经网络拓扑结构,但通过这种方法发现的图像分类器仍然逊色于人工设计的分类器。本文中,我们首次进化出一个图像分类器——AmoebaNet-A,其性能超过了手工设计的分类器。为此,我们通过引入年龄属性来改进锦标赛选择进化算法,以偏好较年轻的基因型。在相同规模下,AmoebaNet-A 的准确率与当前通过更复杂的架构搜索方法发现的最先进的 ImageNet 模型相当。当扩展到更大规模时,AmoebaNet-A 达到了新的最高水平,即 83.9% / 96.6% 的 ImageNet 五类准确率。在与一种知名强化学习算法的对照实验中,我们提供了证据表明,在相同的硬件条件下,进化算法可以在搜索的早期阶段更快地获得结果。这在计算资源有限的情况下尤为重要。因此,进化是一种简单有效的方法,可以用来发现高质量的架构。
代码仓库
tally0818/NASNet
pytorch
GitHub 中提及
xuanhungho/nsga
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| architecture-search-on-cifar-10-image | AmoebaNet-B + c/o | Params: 34.9M Percentage error: 2.13 |
| image-classification-on-imagenet | AmoebaNet-A | GFLOPs: 208 Number of params: 469M Top 1 Accuracy: 83.9% |
| neural-architecture-search-on-nas-bench-201 | REA | Accuracy (Test): 45.54 Search time (s): 12000 |
| neural-architecture-search-on-nats-bench | RE (Real et al., 2019) | Test Accuracy: 44.76 |
| neural-architecture-search-on-nats-bench-1 | RE (Real et al., 2019) | Test Accuracy: 94.13 |
| neural-architecture-search-on-nats-bench-2 | RE (Real et al., 2019) | Test Accuracy: 71.40 |