摘要

在这项工作中，我们探讨了循环神经网络在大规模语言建模任务中的最新进展，这一任务对于语言理解至关重要。我们扩展了现有模型以应对该任务中的两个关键挑战：语料库和词汇表的规模，以及语言的复杂长期结构。我们在十亿词基准数据集上对字符卷积神经网络（Character Convolutional Neural Networks）和长短时记忆网络（Long-Short Term Memory）等技术进行了详尽的研究。我们的最佳单一模型显著提高了最先进的困惑度，从51.3降低到30.0（同时将参数数量减少了20倍），而模型集成则创下新纪录，将困惑度从41.0降低到23.7。我们还发布了这些模型，供自然语言处理和机器学习社区研究和改进。