摘要

神经网络是一种强大且灵活的模型，适用于图像、语音和自然语言理解等许多复杂的机器学习任务。尽管取得了显著的成功，但设计神经网络仍然具有挑战性。在本文中，我们使用递归神经网络（RNN）生成神经网络的模型描述，并通过强化学习训练该RNN，以最大化生成架构在验证集上的预期准确率。在CIFAR-10数据集上，我们的方法从零开始设计了一种新型网络架构，其测试集准确率可与最佳的人工设计架构相媲美。我们的CIFAR-10模型实现了3.65%的测试错误率，比之前使用类似架构方案的最佳模型提高了0.09个百分点，并且速度快1.05倍。在Penn Treebank数据集上，我们的模型可以构建一种新型递归单元，其性能优于广泛使用的LSTM单元和其他最先进的基线模型。我们的单元在Penn Treebank测试集上达到了62.4的困惑度，比之前的最佳模型低3.6个困惑度。此外，该单元还可以迁移到PTB上的字符语言建模任务，并实现了1.214的最新困惑度。