我们介绍了一种新的深度神经网络模型家族。与传统的离散隐藏层序列不同，我们使用神经网络来参数化隐藏状态的导数。网络的输出通过一个黑箱微分方程求解器计算得出。这些连续深度模型具有恒定的内存成本，能够根据每个输入调整其评估策略，并且可以显式地在数值精度和速度之间进行权衡。我们在连续深度残差网络和连续时间潜在变量模型中展示了这些特性。此外，我们还构建了连续归一化流（Continuous Normalizing Flows），这是一种可以通过最大似然估计进行训练的生成模型，无需对数据维度进行分割或排序。对于训练过程，我们展示了如何高效地通过任何常微分方程（ODE）求解器进行反向传播，而无需访问其内部操作。这使得可以在更大的模型中端到端地训练常微分方程。