摘要

用于图像识别的神经网络已经从简单的链式模型通过大量的人工设计演变为具有多条连接路径的复杂结构。ResNets 和 DenseNets 的成功在很大程度上归功于它们创新的连接方案。目前，神经架构搜索（NAS）研究正在探索连接类型和操作类型的联合优化，然而，尽管进行了搜索，可能的连接空间仍然受到限制并主要由人工设计驱动。本文中，我们通过随机连接的神经网络这一视角来探索更多样化的连接模式。为此，我们首先定义了随机网络生成器的概念，该生成器封装了整个网络生成过程。这种封装为 NAS 和随机连接网络提供了一个统一的视角。然后，我们使用三种经典的随机图模型来生成网络的随机连接图。结果令人惊讶：这些随机生成器的几个变体在 ImageNet 基准测试中表现出与现有方法相当的准确性。这些结果表明，新的研究方向如果集中在设计更好的网络生成器上，可能会通过探索更加宽松且更具创新性的搜索空间而带来新的突破。