3 个月前

共指消解中的泛化问题

共指消解中的泛化问题

摘要

尽管共指消解任务在定义上与数据集领域无关,但大多数现有的共指消解模型在未见领域上的泛化能力较差。为此,我们整合了8个针对不同领域的共指消解数据集,用于评估现有模型在“开箱即用”情况下的性能表现。随后,我们选取其中三个数据集进行联合训练;尽管这些数据集在领域、标注规范和元数据方面存在差异,我们提出一种方法,通过数据增强来应对标注差异,并结合采样策略平衡各类数据的样本数量,从而实现对异构数据混合体的联合训练。实验结果表明,在零样本(zero-shot)设置下,仅在单一数据集上训练的模型泛化性能较差,而联合训练显著提升了整体性能,从而增强了共指消解模型的泛化能力。本研究构建了一个新的基准数据集,用于评估鲁棒的共指消解模型,并取得了多项新的最先进(state-of-the-art)结果。

代码仓库

shtoshni/fast-coref
pytorch
GitHub 中提及
shtoshni92/fast-coref
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
coreference-resolution-on-litbanklongdoc S (OntoNotes + PreCo + LitBank)
F1: 78.2
coreference-resolution-on-ontonoteslongdoc S (ON + PreCo + LitBank + 30k pseudo-singletons)
F1: 79.6
coreference-resolution-on-ontonoteslongdoc S (OntoNotes + 60k pseudo-singletons)
F1: 80.6
coreference-resolution-on-ontonoteslongdoc S (OntoNotes + PreCo + LitBank)
F1: 79.2
coreference-resolution-on-precolongdoc S (OntoNotes + PreCo + LitBank)
F1: 87.6
coreference-resolution-on-quizbowllongdoc S (OntoNotes + PreCo + LitBank)
F1: 42.9
coreference-resolution-on-wikicoreflongdoc S (ON + PreCo + LitBank + 30k pseudo-singletons)
F1: 62.5
coreference-resolution-on-wikicoreflongdoc S (OntoNotes + PreCo + LitBank)
F1: 60.3
coreference-resolution-on-winograd-schemalongdoc S (OntoNotes + PreCo + LitBank)
Accuracy: 60.1
coreference-resolution-on-winograd-schemalongdoc S (ON + PreCo + LitBank + 30k pseudo-singletons)
Accuracy: 59.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
共指消解中的泛化问题 | 论文 | HyperAI超神经