摘要

跨模态检索一直是多模态研究领域的重要课题。近年来，为降低数据收集的成本，研究者们开始从互联网上获取大量图像与文本的共现配对数据，构建大规模跨模态数据集（如Conceptual Captions）。然而，这种数据采集方式不可避免地引入噪声（即不匹配的图文对），称为“噪声对应关系”。显然，此类噪声会使得监督信号变得不可靠或不确定，显著降低模型性能。此外，现有大多数方法将训练重点放在难负样本上，这反而会加剧噪声带来的不可靠性问题。为解决上述挑战，本文提出一种广义的深度证据跨模态学习框架（Generalized Deep Evidential Cross-modal Learning, DECL），该框架融合了一种新颖的跨模态证据学习范式（Cross-modal Evidential Learning, CEL）与一种鲁棒的动态铰链损失函数（Robust Dynamic Hinge Loss, RDH），实现正负样本的协同学习。CEL能够有效捕捉并建模由噪声引入的不确定性，从而提升跨模态检索的鲁棒性与可靠性。具体而言，该方法首先基于跨模态相似性构建双向证据，并将其参数化为狄利克雷分布（Dirichlet distribution），不仅实现了精准的不确定性估计，还增强了对噪声对应关系扰动的抗干扰能力。针对噪声放大问题，RDH通过平滑地增加所关注负样本的难度，有效提升了模型在高噪声环境下的鲁棒性。我们在三个主流图像-文本基准数据集（Flickr30K、MS-COCO 和 Conceptual Captions）上进行了大量实验，充分验证了所提方法的有效性与高效性。相关代码已开源，地址为：https://github.com/QinYang79/DECL。