摘要

多模态实体对齐旨在识别两个不同多模态知识图谱之间的等价实体，这些图谱由结构化的三元组和与实体关联的图像组成。大多数先前的研究集中在如何利用和编码来自不同模态的信息，然而由于模态异质性，利用多模态知识进行实体对齐并非易事。本文提出了一种基于多模态对比学习的实体对齐模型（MCLEA），以获得有效的联合表示用于多模态实体对齐。与以往的工作不同，MCLEA考虑了面向任务的模态，并为每个实体表示建模了跨模态关系。具体而言，MCLEA首先从多个模态中学习多个独立表示，然后通过对比学习来联合建模同模态和跨模态的交互作用。大量的实验结果表明，在监督和非监督设置下，MCLEA在公共数据集上的表现优于现有的最先进基线模型。