摘要

本文提出了一种名为Multi$^2$OIE的开放信息抽取（Open IE）方法，该方法通过将BERT与多头注意力机制相结合，实现高效的开放信息抽取。我们的模型是一种序列标注系统，具备高效且有效的论元抽取能力。受多模态Transformer架构的启发，我们采用查询（query）、键（key）和值（value）的设置，取代了以往常用的双向长短期记忆网络（BiLSTM）结构，转而使用多头注意力机制。在两个基准评估数据集Re-OIE2016和CaRB上，Multi$^2$OIE在保持高计算效率的同时，显著优于现有的序列标注系统。此外，我们将该方法拓展至多语言开放信息抽取，采用多语言BERT进行建模。针对西班牙语和葡萄牙语新引入的多语言基准数据集的实验结果表明，我们的模型在未使用目标语言训练数据的情况下，仍优于其他现有的多语言系统。