4 个月前

2022年SV-Ident共享任务概述:社会科学出版物中的调查变量识别

2022年SV-Ident共享任务概述:社会科学出版物中的调查变量识别

摘要

本文概述了作为2022年COLING会议第三届学术文档处理(SDP)研讨会的一部分的SV-Ident共享任务。在该共享任务中,参与者被提供了一句话和一个变量词汇表,并要求识别全文中学术文档的各个句子是否提到了这些变量中的任何一个。共有两支队伍向共享任务排行榜提交了总计9次结果。尽管没有队伍能够超越基线系统的表现,我们仍然从他们的提交中获得了宝贵的见解。此外,我们还提供了详细的评估报告。本共享任务的数据和基线系统可免费获取,网址为https://github.com/vadis-project/sv-ident。

代码仓库

基准测试

基准方法指标
variable-detection-on-sv-identSentence-T5
F1: 60.17
variable-detection-on-sv-identSsciBERT
F1: 66.1
variable-disambiguation-on-sv-identBM25
mAP@10: 9.43
variable-disambiguation-on-sv-identSPARTA
mAP@10: 11.27
variable-disambiguation-on-sv-identSentence-T5
mAP@10: 13.59
variable-disambiguation-on-sv-identsentence-transformers/distiluse-base-multilingual-cased-v1
mAP@10: 18.93

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
2022年SV-Ident共享任务概述:社会科学出版物中的调查变量识别 | 论文 | HyperAI超神经