摘要

可微分神经架构搜索（Differentiable Neural Architecture Search, DNAS）在设计当前最先进的高效神经网络方面已展现出显著成效。然而，基于DARTS的DNAS方法在搜索空间上相对有限，相较于其他搜索方法，其主要原因在于所有候选网络层都必须在内存中显式实例化。为突破这一瓶颈，我们提出一种内存与计算效率更高的DNAS变体——DMaskingNAS。该方法通过引入掩码机制，使搜索空间相比传统DNAS扩大高达$10^{14}$倍，从而支持对空间维度（如输入分辨率）和通道维度（如滤波器数量）的高效搜索，而这些维度在以往方法中因计算与内存开销过大而难以实现。DMaskingNAS采用特征图复用的掩码机制，使得随着搜索空间的扩展，内存占用和计算成本几乎保持不变。此外，我们引入有效的形状传播策略，以最大化每FLOP或每参数的精度。所搜索得到的FBNetV2模型在性能上超越此前所有已知架构，达到当前最优水平。相比MobileNetV3-Small，DMaskingNAS在搜索成本降低高达421倍的前提下，实现了0.9%更高的准确率，同时减少15%的FLOPs；与Efficient-B0相比，在相近准确率下减少20%的FLOPs。此外，FBNetV2在模型规模相当的情况下，相比MobileNetV3在准确率上提升2.6%。相关FBNetV2模型已开源，详见：https://github.com/facebookresearch/mobile-vision。