HyperAIHyperAI

Command Palette

Search for a command to run...

基于语言模型的自回归结构化预测

Tianyu Liu Yuchen Jiang Nicholas Monath Ryan Cotterell Mrinmaya Sachan

摘要

近年来,自然语言处理(NLP)领域发生了一场范式转变,即广泛采用预训练语言模型(Pretrained Language Models, PLM)来应对各类任务。然而,在如何有效表示结构化信息(例如标注文本、共指链等)方面,仍存在诸多复杂的设计挑战,以确保这些结构能够被PLM充分捕捉。以往基于PLM的结构化预测方法通常将结构化输出展平为序列形式,这种处理方式限制了结构信息的学习质量,导致其性能相较于经典判别模型有所下降。在本研究中,我们提出一种新方法,通过自回归方式将结构建模为一系列动作序列,从而在不丢失结构内部依赖关系的前提下,实现对结构的精确建模。该方法在我们所考察的所有结构化预测任务上均取得了新的最先进性能,包括命名实体识别、端到端关系抽取以及共指消解。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供