3 个月前

DU-DARTS:降低可微分架构搜索中的不确定性

DU-DARTS:降低可微分架构搜索中的不确定性

摘要

可微分神经架构搜索(DARTS)因其高效的搜索机制近年来受到广泛关注。然而,DARTS中候选操作之间的竞争会导致重要操作选择的不确定性显著增加,进而引发严重的性能下降问题。针对这一挑战,本文提出DU-DARTS方法,通过约束架构参数的分布趋近于独热(one-hot)分类分布,并用门控开关(gate switch)替代原有的零操作,有效降低了可微分架构搜索中的不确定性。该方法无需额外的搜索开销,在CIFAR-10、CIFAR-100和ImageNet数据集上分别取得了2.32%、16.74%和24.1%的测试误差,达到当前最优性能。此外,DU-DARTS在NAS-Bench-1Shot1和NAS-Bench-201基准上均能稳健地搜索到表现优异的网络架构,进一步验证了该方法的有效性。项目源代码已公开,地址为:https://github.com/ShunLu91/DU-DARTS。

基准测试

基准方法指标
neural-architecture-search-on-cifar-10DU-DARTS
Parameters: 3.8M
Search Time (GPU days): 0.4
Top-1 Error Rate: 2.32%
neural-architecture-search-on-cifar-100-1DU-DARTS
PARAMS: 3.1M
Percentage Error: 16.74
neural-architecture-search-on-imagenetDU-DARTS
Accuracy: 75.9
Params: 5.3M
Top-1 Error Rate: 24.1
neural-architecture-search-on-nas-bench-201DU-DARTS
Accuracy (Test): 45.94
neural-architecture-search-on-nas-bench-201-1DU-DARTS
Accuracy (Test): 93.86
Accuracy (Val): 91.21
neural-architecture-search-on-nas-bench-201-2DU-DARTS
Accuracy (Test): 71.84
Accuracy (Val): 71.88

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DU-DARTS:降低可微分架构搜索中的不确定性 | 论文 | HyperAI超神经