摘要

近期关于分布外（Out-of-Distribution, OoD）泛化的研究揭示了深度学习模型在面对分布偏移时所具备的鲁棒性。然而，现有方法主要聚焦于OoD算法，如不变风险最小化（Invariant Risk Minimization）、域泛化（Domain Generalization）或稳定学习（Stable Learning），而未充分考虑深度模型架构对OoD泛化性能的影响，这可能导致性能次优。神经架构搜索（Neural Architecture Search, NAS）方法通常基于模型在训练数据上的表现来搜索最优架构，但这种策略可能在OoD任务上导致泛化能力不足。为此，本文提出一种面向OoD泛化的鲁棒神经架构搜索方法（Robust Neural Architecture Search for OoD Generalization, NAS-OoD），该方法通过梯度下降优化架构，使其在生成的OoD数据上表现更优。具体而言，我们设计一个数据生成器，通过最大化不同神经架构所计算的损失来合成具有挑战性的OoD数据；与此同时，架构搜索的目标是寻找能够最小化这些合成OoD数据损失的最优架构参数。数据生成器与神经架构在端到端的框架下联合优化，通过极小极大（minimax）训练机制，有效发掘出对多种分布偏移具有强泛化能力的鲁棒架构。大量实验结果表明，NAS-OoD在多种OoD泛化基准测试中均取得显著优于现有方法的性能，且所获得的深度模型参数量大幅减少。此外，在一个真实工业数据集上的实验显示，相较于当前最先进的方法，所提出的NAS-OoD将错误率降低了超过70%，充分验证了该方法在实际应用场景中的有效性与实用性。