HyperAIHyperAI

Command Palette

Search for a command to run...

用于长句压缩的高阶句法注意力网络

Tsutomu Hirao Katsuhiko Hayashi Masaaki Nagata Hidetaka Kamigaito

摘要

基于LSTM的句子压缩方法能够生成流畅的压缩句,但在处理较长句子时性能显著下降,原因在于该方法未显式建模句法特征。为解决这一问题,本文提出一种高阶句法注意力网络(HiSAN),该网络将高阶依存关系特征以注意力分布的形式作用于LSTM隐藏状态,从而有效捕捉复杂的句法结构。此外,为降低错误句法解析结果带来的负面影响,我们采用联合最大化正确输出概率与注意力分布的策略对HiSAN进行训练。在Google句子压缩数据集上的实验结果表明,所提方法在F1、ROUGE-1、ROUGE-2和L分数上均取得最佳性能,分别达到83.2、82.9、75.8和82.7。在人工评估中,该方法在可读性和信息量两个维度上也优于基线方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于长句压缩的高阶句法注意力网络 | 论文 | HyperAI超神经