摘要

门控机制在神经网络模型中被广泛应用，它们使得梯度能够更轻松地通过深度或时间进行反向传播。然而，门控机制的饱和特性也引入了自身的问题。例如，在递归模型中，这些门需要输出接近1才能在长时间延迟下传递信息，这要求它们在其饱和区域工作，从而阻碍了基于梯度的门控机制学习。为了解决这一问题，我们推导出两种与标准门控机制协同作用的改进方法，这些方法易于实现，不会引入额外的超参数，并且当门接近饱和时可以提高其可学习性。我们展示了这些改进如何与最近提出的其他门控机制（如chrono初始化和有序神经元）相关联并对其进行改进。实验结果表明，我们的简单门控机制在一系列应用中稳健地提高了递归模型的性能，包括合成记忆任务、序列图像分类、语言建模和强化学习，特别是在涉及长期依赖关系的情况下。