摘要

在自然语言处理中，能够准确地对句子的不同阶段（例如，词-短语-句子）进行建模起着核心作用。为了实现这一目标，我们提出了一种自适应层次句模型（AdaSent）。AdaSent通过递归门控局部组合相邻段落，有效地从词到短语再到句子形成了一个层次表示体系。我们设计了一种竞争机制（通过门控网络），使得同一句子的表示可以在特定的学习任务（如分类）中发挥作用，从而有效缓解了其他递归模型中存在的梯度消失问题。定性和定量分析均表明，AdaSent能够在训练过程中自动形成并选择适合当前任务的表示，从而在5个基准数据集上优于竞争对手模型的分类性能。