摘要

可微分架构搜索（Differentiable Architecture Search, DARTS）如今已成为一种广泛应用的权重共享神经架构搜索方法。然而，该方法因不可避免地聚集跳跃连接（skip connections）而面临众所周知的性能坍塌问题。本文首次揭示，其根本原因在于在互斥竞争中存在不公平的优势。通过实验我们发现，只要打破以下两个条件中的任意一个，性能坍塌现象便会消失。基于此，我们提出一种名为 Fair DARTS 的新方法，将原有的互斥竞争关系松弛为协作关系。具体而言，我们使每个操作的架构权重相互独立，不再依赖于其他操作。然而，仍存在一个关键问题——离散化偏差。为此，我们引入一种零一损失（zero-one loss），促使架构权重趋向于 0 或 1，从而近似实现期望的多热（multi-hot）解。我们在两个主流搜索空间上进行了实验，在 CIFAR-10 和 ImageNet 上均取得了新的最先进（state-of-the-art）性能。相关代码已开源，地址为：https://github.com/xiaomi-automl/fairdarts。