摘要

我们能否从包含错配数据对的多模态数据集中准确识别出真实的对应关系？现有方法主要侧重于跨模态对象表征之间的相似性匹配，往往忽视了模态内部至关重要的关系一致性，而这种一致性对于区分真实对应关系与虚假对应关系尤为关键。这种忽略可能导致将负样本误判为正样本，从而引发不可预期的性能下降。为解决这一问题，本文提出一种通用的关系一致性学习框架——ReCon，旨在准确识别多模态数据中的真实对应关系，从而有效缓解错配带来的负面影响。具体而言，ReCon引入了一种新颖的关系一致性学习机制，实现双重对齐：一是跨模态间的关系一致性对齐，二是模态内部的关系一致性对齐。得益于这种对关系的双重约束，ReCon显著提升了真实对应关系判别的能力，从而能够可靠地过滤出错配样本，降低错误监督带来的风险。在三个广泛使用的基准数据集（Flickr30K、MS-COCO 和 Conceptual Captions）上进行的大量实验表明，与现有最先进方法相比，ReCon 在识别真实对应关系方面展现出更强的有效性与优越性。相关代码已公开，地址为：https://github.com/qxzha/ReCon。