摘要

在权重共享神经架构搜索中，最核心的问题之一是在预定义的搜索空间内评估候选模型。在实际应用中，通常训练一个一次性超级网络（one-shot supernet）作为评估器。一个忠实的排名无疑会带来更准确的搜索结果。然而，当前的方法容易出现误判。本文证明了这些方法的偏差评估是由于超级网络训练中的固有不公平性所致。为此，我们提出了两个层次的约束条件：期望公平性和严格公平性。特别是，严格公平性确保在整个训练过程中所有选择块都获得平等的优化机会，既不会高估也不会低估它们的能力。我们展示了这一点对于提高模型排名的信心至关重要。通过将提出公平性约束下训练的一次性超级网络与多目标进化搜索算法相结合，我们获得了多种最先进的模型，例如 FairNAS-A 在 ImageNet 上达到了 77.5% 的 top-1 验证准确率。这些模型及其评估代码已在线公开发布于 http://github.com/fairnas/FairNAS 。