4 个月前

使用BERT和抽取式问答形式解决性别代词消解问题

使用BERT和抽取式问答形式解决性别代词消解问题

摘要

代词消歧一直是自然语言理解中的一个长期挑战。最近的研究表明,最先进的共指消解系统中存在性别偏见问题。例如,谷歌AI语言团队最近发布了一个性别平衡的数据集,并展示了这些共指消解器在该数据集上的性能显著受限。本文提出了一种基于抽取式问答(QA)的代词消歧任务公式,克服了这一限制,并在他们的数据集上表现出更低的性别偏见(0.99)。该系统利用预训练的BERT模型进行微调表示,无需任何手工设计的特征,其F1分数相比现有基线模型有显著提升(绝对提升了22.2%)。即使在不知道代词候选先行词的情况下,该问答框架的表现依然出色。通过结合问答、基于BERT的多项选择和序列分类模型组成的集成模型,进一步提高了F1分数(相对于基线模型绝对提升了23.3%)。该集成模型已提交至首届ACL自然语言处理性别偏见研讨会的共享任务中,并在最终官方排行榜上排名第9位。源代码可在https://github.com/rakeshchada/corefqa 获取。

代码仓库

rakeshchada/corefqa
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
coreference-resolution-on-gap-1Full Ensemble
Bias (F/M): 0.98
Feminine F1 (F): 89.5
Masculine F1 (M): 90.9
Overall F1: 90.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用BERT和抽取式问答形式解决性别代词消解问题 | 论文 | HyperAI超神经