摘要

我们提出了一种参数共享方案，其中卷积神经网络（CNN）的不同层由从全局模板库中学习到的参数张量的线性组合来定义。限制模板的数量可以灵活地结合传统的CNN和递归网络。与传统CNN相比，我们在标准图像分类任务上展示了显著的参数节省效果，同时保持了准确性。我们的简单参数共享方案虽然通过软权重定义，但在实际训练过程中通常会产生接近严格递归结构的网络；这些网络在几乎不影响性能的情况下可以转换为具有实际循环结构的网络。因此，训练这些网络实际上隐含着发现合适的递归架构的过程。尽管仅考虑递归链接的设计方面，我们训练的网络在准确率上仍能与使用最先进的神经架构搜索（NAS）方法构建的网络相媲美。我们对递归和卷积网络的混合可能代表了一种有益的架构偏置。具体来说，在具有算法性质的合成任务中，我们的混合网络不仅训练速度更快，而且对外推到训练集范围之外的测试示例也表现更好。