摘要

诸如开放域问答、事实核查、槽位填充和实体链接等挑战性任务，通常需要访问大规模的外部知识源。尽管某些模型在单一任务上表现优异，但构建通用模型却面临巨大困难，因为每项任务往往需要对特定知识源进行计算成本高昂的索引处理，同时还需配套的专用基础设施支持。为推动基于大规模文本资源中特定信息进行条件建模的研究，我们提出了一个面向知识密集型语言任务的基准测试平台——KILT。KILT中的所有任务均基于同一份维基百科快照构建，通过复用组件显著降低了工程开发周期，同时加速了与任务无关的记忆架构研究。我们测试了任务特定模型与通用基线模型，不仅评估其下游任务性能，还考察了模型提供证据来源（provenance）的能力。实验结果表明，采用共享的密集向量索引结合序列到序列（seq2seq）模型构成的基线方法表现强劲，在事实核查、开放域问答和对话任务中优于更定制化的方案，并在实体链接与槽位填充任务上取得了具有竞争力的结果，其优势在于能够生成消歧后的文本内容。KILT的数据与代码已开源，可通过 https://github.com/facebookresearch/KILT 获取。