摘要

可微分架构搜索（Differentiable Architecture Search, DARTS）已成为自动机器学习领域的主流方向。然而，已有研究发现，原始DARTS方法不可避免地会收敛至性能较差的网络架构。为此，近期工作主要通过设计基于规则的架构选择机制或引入复杂的正则化技术来缓解该问题，但这往往牺牲了原始DARTS简洁性——即仅依据参数化权重α的大小来选择架构。此外，我们发现以往所有方法均仅依赖分类标签进行训练，导致模型仅学习单一模态信息，从而限制了共享网络的表征能力。针对这一问题，我们提出通过构建一种图像块恢复（patch recovery）策略，额外注入语义信息。具体而言，我们借鉴当前流行的掩码图像建模（masked image modeling）范式，在搜索阶段仍保留下游任务的指导信号。所提方法在不依赖复杂人工设计策略的前提下，显著超越了所有先前的DARTS变体，在CIFAR-10、CIFAR-100和ImageNet数据集上均取得了当前最优的性能表现。