摘要

近期关于自动神经架构搜索（Neural Architecture Search, NAS）技术的研究表明，其性能已达到甚至超越人工设计的神经网络架构。然而，现有大多数搜索方法普遍采用残差连接结构，并在浅层与深层特征之间使用拼接（concatenation）连接方式，导致所生成的神经网络模型在资源受限设备上难以高效执行。这类模型不仅需要大量内存来存储网络参数和中间特征图，还伴随着过高的计算复杂度。为应对这一挑战，本文提出一种新型的基于渐进增长与剪枝的神经架构搜索框架——MemNAS，该框架在优化模型性能的同时，显著降低推理网络的内存占用。具体而言，在搜索过程中，我们将运行时内存使用量（包括网络参数及必要的中间特征图存储需求）作为与模型性能并列的优化目标。此外，为提升搜索精度，我们引入多候选架构之间的相关性信息，用于对候选架构进行排序，并筛选出兼具优异性能与高内存效率的最优结构。在ImageNet图像分类任务上的实验结果表明，MemNAS在达到75.4%的分类准确率的同时，相比MobileNetV2，内存需求减少了42.1%，且准确率高出0.7%。进一步的实验验证了MemNAS在不同精度与内存消耗权衡目标下均能表现出色，具备良好的泛化能力与实用性。