摘要

多模态实体对齐（MMEA）旨在发现不同知识图谱（KGs）中相同的实体，这些实体与相关的图像相关联。然而，当前的MMEA算法依赖于知识图谱级别的模态融合策略来表示多模态实体，这忽略了不同实体在模态偏好上的差异，从而降低了对模糊图像和关系等模态噪声的鲁棒性。本文介绍了一种名为MEAformer的多模态实体对齐变换器方法，用于元模态混合，该方法动态预测各模态之间的相互关联系数，实现更细粒度的实体级别模态融合与对齐。实验结果表明，我们的模型不仅在多种训练场景下（包括监督、无监督、迭代和低资源设置）实现了最先进的性能，而且参数数量有限、运行效率高且具有可解释性。我们的代码可在https://github.com/zjukg/MEAformer 获取。