摘要

循环神经网络在计算序列数据（尤其是自然语言处理中的文本数据）的表示方面已变得无处不在。特别是，双向长短期记忆网络（Bidirectional LSTMs）已成为多个在自然语言处理的各种任务中达到最先进性能的神经模型的核心组成部分。然而，双向LSTM存在顺序偏差的问题——即一个标记的上下文表示受到其在句子中邻近标记的强烈影响。我们提出了一种对双向LSTM模型的一般性和有效的改进方法，该方法在正向和反向两个方向上分别编码每个标记序列的后缀和前缀。我们将这种模型称为后缀双向LSTM（Suffix Bidirectional LSTM，简称SuBiLSTM）。这一改进引入了一种新的偏差，有利于捕捉长距离依赖关系。我们将SuBiLSTM应用于需要句子建模的多个任务中，并展示了在现有模型中使用SuBiLSTM替代双向LSTM可以提高学习一般句子表示、文本分类、文本蕴含和同义句检测等任务的性能。通过使用SuBiLSTM，我们在细粒度情感分类和问题分类任务上取得了新的最先进结果。