摘要

迄今为止，语言模型的主要方法基于循环神经网络。它们在这项任务上的成功通常归因于其捕捉无限上下文的能力。在本文中，我们通过堆叠卷积开发了一种有限上下文的方法，该方法可以更加高效，因为它允许对序列令牌进行并行化处理。我们提出了一种新颖的简化门控机制，该机制优于Oord等人（2016年）的方法，并研究了关键架构决策的影响。所提出的模型在WikiText-103基准测试中达到了最先进的水平，尽管该基准测试包含长期依赖关系，同时在Google十亿词汇基准测试中也取得了具有竞争力的结果。与循环基线模型相比，我们的模型将评分一个句子的延迟减少了数量级。据我们所知，这是非循环方法首次在这些大规模语言任务上与强大的循环模型竞争。注释：- “pre-dominant” 译为“主要的”，以符合中文表达习惯。- “unbounded context” 译为“无限上下文”，这是常见的术语翻译。- “stacked convolutions” 译为“堆叠卷积”，也是通用的术语翻译。- “gating mechanism” 译为“门控机制”，这是常见的术语翻译。- “WikiText-103 benchmark” 和 “Google Billion Words benchmark” 分别保留为“WikiText-103基准测试”和“Google十亿词汇基准测试”，以保持专业性和一致性。- “reduces the latency to score a sentence by an order of magnitude” 译为“将评分一个句子的延迟减少了数量级”，这是对技术性能描述的标准翻译。