
摘要
神经架构搜索(Neural Architecture Search, NAS)通常通过探索庞大而复杂的架构搜索空间,实现神经网络架构的自动化设计。为推动架构搜索技术的发展,本文提出一种基于图扩散的NAS方法,该方法利用离散条件图扩散过程生成高性能的神经网络架构。随后,我们进一步提出一种多条件无分类器引导(multi-conditioned classifier-free guidance)策略,应用于图扩散网络中,以联合施加高精度与低硬件延迟等多重约束。与现有方法不同,我们的方法具有完全可微性,且仅需一次模型训练即可完成。在六项标准基准上的实验评估表明,该方法能够在极短时间内(每种架构生成时间不足0.2秒)快速生成新颖且独特的网络架构,展现出卓越的效率。此外,通过在ImageNet数据集上的实验,我们进一步验证了该方法的泛化能力与高效性。
代码仓库
rohanasthana/dinas
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| neural-architecture-search-on-nas-bench-101 | DiNAS | Accuracy (%): 94.98% |
| neural-architecture-search-on-nas-bench-201 | DiNAS | Accuracy (Test): 45.41 Accuracy (Val): 46.66 Search time (s): 15.36 |
| neural-architecture-search-on-nas-bench-201-1 | DiNAS | Accuracy (Test): 94.37 Accuracy (Val): 91.61 Search time (s): 15.36 |
| neural-architecture-search-on-nas-bench-201-2 | DiNAS | Accuracy (Test): 73.51 Accuracy (Val): 73.49 Search time (s): 15.36 |
| neural-architecture-search-on-nas-bench-301 | DiNAS | Accuracy (Val): 94.92 |