
摘要
本文概述了作为2022年COLING会议第三届学术文档处理(SDP)研讨会的一部分的SV-Ident共享任务。在该共享任务中,参与者被提供了一句话和一个变量词汇表,并要求识别全文中学术文档的各个句子是否提到了这些变量中的任何一个。共有两支队伍向共享任务排行榜提交了总计9次结果。尽管没有队伍能够超越基线系统的表现,我们仍然从他们的提交中获得了宝贵的见解。此外,我们还提供了详细的评估报告。本共享任务的数据和基线系统可免费获取,网址为https://github.com/vadis-project/sv-ident。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| variable-detection-on-sv-ident | Sentence-T5 | F1: 60.17 |
| variable-detection-on-sv-ident | SsciBERT | F1: 66.1 |
| variable-disambiguation-on-sv-ident | BM25 | mAP@10: 9.43 |
| variable-disambiguation-on-sv-ident | SPARTA | mAP@10: 11.27 |
| variable-disambiguation-on-sv-ident | Sentence-T5 | mAP@10: 13.59 |
| variable-disambiguation-on-sv-ident | sentence-transformers/distiluse-base-multilingual-cased-v1 | mAP@10: 18.93 |