摘要

本文提出了一种用于RGB-D显著目标检测的新型联合学习与密集协作融合（Joint Learning and Densely-Cooperative Fusion, JL-DCF）架构。现有模型通常将RGB图像与深度信息视为独立模态，并为两类数据分别设计独立的特征提取网络。此类方法容易受到训练数据量有限或对复杂训练流程过度依赖的制约。相比之下，本文提出的JL-DCF架构通过孪生网络（Siamese network）联合学习RGB与深度输入，实现跨模态信息的有效融合。为此，我们设计了两个关键组件：联合学习（Joint Learning, JL）模块与密集协作融合（Densely-Cooperative Fusion, DCF）模块。其中，JL模块旨在实现鲁棒的显著性特征学习，而DCF模块则用于挖掘两模态之间的互补特征。在四个主流评估指标上的全面实验表明，所提出的框架能够构建出具有优异泛化能力的RGB-D显著性检测器。实验结果表明，JL-DCF在六个具有挑战性的数据集上，相较于当前性能最优的D3Net模型，平均提升了约1.9%（以S-measure为评价指标），显著推动了该领域的发展。本研究为真实场景下的应用提供了潜在解决方案，并为跨模态互补性学习任务提供了新的研究视角。代码已开源，访问地址为：https://github.com/kerenfu/JLDCF/。