摘要

我们证明，dropout训练最好被理解为同时对一组条件模型进行最大后验概率（MAP）估计，这些模型的目标函数本身由原始dropout目标函数下界限定。这一发现使我们在训练完成后可以从这组模型中选择任何一个模型，从而在需要大量正则化的语言建模任务中实现显著改进。该组模型包括计算采样dropout掩码的幂平均值的模型，以及具有比完全随机dropout目标函数更紧且更高的下界的较少随机子变体。我们认为，由于确定性子变体的下界等于其目标函数，并且在这些模型中是最高的，将其视为MC平均的良好近似是误导性的。实际上，确定性dropout是对真实目标函数的最佳可用近似。