3 个月前

结构化预测作为增强自然语言之间的翻译

结构化预测作为增强自然语言之间的翻译

摘要

我们提出了一种新的框架——增强型自然语言之间的翻译(Translation between Augmented Natural Languages, TANL),用于解决多种结构化预测语言任务,包括联合实体与关系抽取、嵌套命名实体识别、关系分类、语义角色标注、事件抽取、共指消解以及对话状态追踪。与传统方法通过训练特定任务的判别性分类器来处理问题不同,我们将其建模为在增强型自然语言之间的翻译任务,从而能够更便捷地提取与任务相关的信息。我们的方法在所有任务上均能达到或超越现有特定任务模型的性能,尤其在联合实体与关系抽取(CoNLL04、ADE、NYT 和 ACE2005 数据集)、关系分类(FewRel 和 TACRED)以及语义角色标注(CoNLL-2005 和 CoNLL-2012)任务上取得了新的最先进(state-of-the-art)结果。值得注意的是,该方法在整个过程中仅使用统一的模型架构与超参数,并且即使在训练单一模型以同时处理所有任务(即多任务学习)的情况下,仍能保持卓越性能。此外,我们进一步证明,该框架在低资源场景下也能显著提升性能,这得益于对标签语义信息更高效的利用。

代码仓库

amazon-science/tanl
pytorch
GitHub 中提及
amazon-research/tanl
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
relation-classification-on-tacred-1TANL (multi-task)
F1: 61.9
relation-classification-on-tacred-1TANL
F1: 71.9
relation-extraction-on-conll04TANL
RE+ Micro F1: 72.6
relation-extraction-on-tacredTANL
F1: 71.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
结构化预测作为增强自然语言之间的翻译 | 论文 | HyperAI超神经