4 个月前

评估数学信息检索中的词级和段落级密集检索模型

评估数学信息检索中的词级和段落级密集检索模型

摘要

随着基于双编码器的密集检索方法近期取得的成功,研究者已将其应用于各种有趣的下游检索任务中,展现出良好的效率和领域内效果。最近,我们还看到密集检索模型在数学信息检索(MIR)任务中的应用,但最有效的系统仍然是考虑手工设计结构特征的经典检索方法。在这项工作中,我们尝试结合两者的优点:一种定义明确的结构搜索方法以实现高效的公式搜索,以及高效的双编码器密集检索模型来捕捉上下文相似性。具体而言,我们在最近的MIR任务中评估了两个具有代表性的双编码器模型,分别用于词级和段落级的密集检索。实验结果表明,双编码器模型与现有的结构搜索方法高度互补,并且我们能够在MIR数据集上推进现有技术水平。

代码仓库

approach0/math-dense-retrievers
官方
GitHub 中提及

基准测试

基准方法指标
math-information-retrieval-on-arqmath2Approach0+ColBERT (reranking)
P@10: 0.276
math-information-retrieval-on-arqmath2Approach0+ColBERT (fusion)
MAP: 0.215
NDCG: 0.447
P@10: 0.252
bpref: 0.202

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
评估数学信息检索中的词级和段落级密集检索模型 | 论文 | HyperAI超神经