
摘要
可微分神经架构搜索(DARTS)因其高效的搜索机制近年来受到广泛关注。然而,DARTS中候选操作之间的竞争会导致重要操作选择的不确定性显著增加,进而引发严重的性能下降问题。针对这一挑战,本文提出DU-DARTS方法,通过约束架构参数的分布趋近于独热(one-hot)分类分布,并用门控开关(gate switch)替代原有的零操作,有效降低了可微分架构搜索中的不确定性。该方法无需额外的搜索开销,在CIFAR-10、CIFAR-100和ImageNet数据集上分别取得了2.32%、16.74%和24.1%的测试误差,达到当前最优性能。此外,DU-DARTS在NAS-Bench-1Shot1和NAS-Bench-201基准上均能稳健地搜索到表现优异的网络架构,进一步验证了该方法的有效性。项目源代码已公开,地址为:https://github.com/ShunLu91/DU-DARTS。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| neural-architecture-search-on-cifar-10 | DU-DARTS | Parameters: 3.8M Search Time (GPU days): 0.4 Top-1 Error Rate: 2.32% |
| neural-architecture-search-on-cifar-100-1 | DU-DARTS | PARAMS: 3.1M Percentage Error: 16.74 |
| neural-architecture-search-on-imagenet | DU-DARTS | Accuracy: 75.9 Params: 5.3M Top-1 Error Rate: 24.1 |
| neural-architecture-search-on-nas-bench-201 | DU-DARTS | Accuracy (Test): 45.94 |
| neural-architecture-search-on-nas-bench-201-1 | DU-DARTS | Accuracy (Test): 93.86 Accuracy (Val): 91.21 |
| neural-architecture-search-on-nas-bench-201-2 | DU-DARTS | Accuracy (Test): 71.84 Accuracy (Val): 71.88 |