3 个月前

多条件图扩散用于神经架构搜索

多条件图扩散用于神经架构搜索

摘要

神经架构搜索(Neural Architecture Search, NAS)通常通过探索庞大而复杂的架构搜索空间,实现神经网络架构的自动化设计。为推动架构搜索技术的发展,本文提出一种基于图扩散的NAS方法,该方法利用离散条件图扩散过程生成高性能的神经网络架构。随后,我们进一步提出一种多条件无分类器引导(multi-conditioned classifier-free guidance)策略,应用于图扩散网络中,以联合施加高精度与低硬件延迟等多重约束。与现有方法不同,我们的方法具有完全可微性,且仅需一次模型训练即可完成。在六项标准基准上的实验评估表明,该方法能够在极短时间内(每种架构生成时间不足0.2秒)快速生成新颖且独特的网络架构,展现出卓越的效率。此外,通过在ImageNet数据集上的实验,我们进一步验证了该方法的泛化能力与高效性。

代码仓库

rohanasthana/dinas
官方
pytorch

基准测试

基准方法指标
neural-architecture-search-on-nas-bench-101DiNAS
Accuracy (%): 94.98%
neural-architecture-search-on-nas-bench-201DiNAS
Accuracy (Test): 45.41
Accuracy (Val): 46.66
Search time (s): 15.36
neural-architecture-search-on-nas-bench-201-1DiNAS
Accuracy (Test): 94.37
Accuracy (Val): 91.61
Search time (s): 15.36
neural-architecture-search-on-nas-bench-201-2DiNAS
Accuracy (Test): 73.51
Accuracy (Val): 73.49
Search time (s): 15.36
neural-architecture-search-on-nas-bench-301DiNAS
Accuracy (Val): 94.92

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多条件图扩散用于神经架构搜索 | 论文 | HyperAI超神经