摘要

多模态实体对齐（MMEA）旨在识别多模态知识图谱（MMKGs）之间等价的实体，其中实体可以与相关图像关联。现有的大多数研究在生成实体表示时，高度依赖自动学习的融合模块，很少显式地抑制冗余信息以进行MMEA。为此，我们探索了用于多模态实体对齐的信息瓶颈变分方法（IBMEA），该方法强调对齐相关的特征信息，同时抑制对齐无关的信息。具体而言，我们设计了多模态变分编码器来生成特定模态的实体表示作为概率分布。然后，我们提出了四种特定模态的信息瓶颈正则化器，限制误导性线索以优化特定模态的实体表示。最后，我们提出了一种模态混合信息对比正则化器，将所有优化后的特定模态表示整合在一起，增强MMKGs之间的实体相似度以实现MMEA。我们在两个跨知识图谱和三个双语MMEA数据集上进行了广泛的实验。实验结果表明，我们的模型在各种低资源和高噪声数据场景中始终优于先前的最先进方法，并表现出有前景且稳健的性能。