摘要

在深度学习领域，优化方法（优化器）因其在神经网络高效训练中的关键作用而受到广泛关注。文献中已有大量研究对比了采用不同优化器训练的神经网络模型。这些研究通常表明，在特定任务下某一优化器优于其他优化器，然而当问题发生变化时，此类结论便不再适用，必须重新开始评估。为解决这一局限性，本文提出一种新颖策略：同时结合两种差异显著的优化器，使其协同作用，从而在多种不同任务中超越单一优化器的性能表现。为此，我们提出一种新型优化器——MAS（Mixing ADAM and SGD），该方法通过为SGD与ADAM分别赋予固定权重，实现两者的并行集成。与试图改进SGD或ADAM本身不同，MAS旨在同时利用二者的优势，取长补短。我们在图像分类与文本文档分类任务上进行了多组实验，采用多种卷积神经网络（CNN）架构进行验证。实验结果表明，所提出的MAS优化器在多数情况下均显著优于单独使用SGD或ADAM的性能表现。本文所有实验的源代码及完整结果均已公开，可通过以下链接获取：https://gitlab.com/nicolandro/multi_optimizer