摘要

多模态命名实体识别（NER）和关系抽取（RE）旨在利用相关的图像信息来提高NER和RE的性能。现有的大多数研究主要集中在直接从图像中提取潜在有用的信息（如像素级特征、识别的对象和相关标题）。然而，这些提取过程可能缺乏知识感知能力，导致提取出的信息不一定具有高度相关性。在本文中，我们提出了一种新颖的多模态检索框架（MoRe）。MoRe 包含一个文本检索模块和一个基于图像的检索模块，分别用于在知识库中检索输入文本和图像的相关知识。接下来，检索结果分别被发送到文本模型和视觉模型进行预测。最后，通过一个专家混合（Mixture of Experts, MoE）模块将两个模型的预测结果结合起来，做出最终决策。我们的实验表明，无论是文本模型还是视觉模型，在四个多模态NER数据集和一个多模态RE数据集上都能达到最先进的性能。借助MoE模块，模型性能可以进一步提升，我们的分析也证明了在这种任务中整合文本和视觉线索的好处。