3 个月前

基于Transformer模型的词义消歧

基于Transformer模型的词义消歧

摘要

本文致力于解决词义消歧(Word Sense Disambiguation, WSD)任务。我们介绍了提交至IJCAI 2020会议期间举办的SemDeep研讨会中的“词在上下文中的目标词义验证”(Word-in-Context Target Sense Verification)挑战赛的系统方案(Breit et al., 2020)。该挑战要求参赛者判断文本中某一词语的特定指代是否与预先定义的词义相匹配。我们的方法基于预训练的Transformer模型(如BERT),并通过采用不同的架构策略在该任务上进行微调。在子任务1(即利用词义定义来判断上下文中目标词是否对应给定词义)中,我们的模型取得了最佳的准确率与精确率。我们认为,本次挑战赛中所探索的策略对其他自然语言处理任务亦具有参考与应用价值。

基准测试

基准方法指标
entity-linking-on-wic-tsvtransformers
Task 1 Accuracy: all: 77.8
Task 1 Accuracy: domain specific: 81.0
Task 1 Accuracy: general purpose: 75.2
Task 3 Accuracy: all: 71.9
Task 3 Accuracy: domain specific: 65.7
Task 3 Accuracy: general purpose: 77.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于Transformer模型的词义消歧 | 论文 | HyperAI超神经