3 个月前

性别相关的模糊代词共享任务:通过证据池化提升模型置信度

性别相关的模糊代词共享任务:通过证据池化提升模型置信度

摘要

本文在性别化模糊代词消解共享任务(Gendered Ambiguous Pronouns Shared Task)中呈现了一组强有力的实验结果。所提出的模型融合了当前最先进语言模型与共指消解模型的优势,并引入了一种新颖的基于证据的深度学习架构。通过将共指消解模型提供的证据信息注入主架构,有效增强了模型性能;分析表明,该模型并未受到原有模型弱点(尤其是性别偏见)的负面影响。该架构具有高度的模块化与简洁性,便于后续扩展与优化,亦可广泛应用于其他自然语言处理任务。在GAP测试数据集上的评估结果显示,模型取得了92.5%的F1分数(性别偏见仅为0.97),已接近人类水平(96.6%)。本文提出的端到端解决方案在Kaggle竞赛中荣获第一名,以显著优势领先于其他参赛队伍。

基准测试

基准方法指标
coreference-resolution-on-gap-1ProBERT
Bias (F/M): 0.97
Feminine F1 (F): 91.1
Masculine F1 (M): 94.0
Overall F1: 92.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
性别相关的模糊代词共享任务:通过证据池化提升模型置信度 | 论文 | HyperAI超神经