摘要

如何充分挖掘跨模态互补性，是RGB-D显著目标检测领域中的核心问题。以往研究主要通过简单拼接多模态特征或融合单模态预测结果来应对这一挑战。本文从两个角度出发，系统回答了该问题：（1）我们认为，若能更显式地建模模态间的互补信息，则跨模态互补性有望得到更有效的捕捉。为此，我们在采用卷积神经网络（CNN）的框架下，提出了一种新颖的互补感知融合（Complementarity-Aware Fusion, CA-Fuse）模块。该模块通过在每一CA-Fuse单元中引入跨模态残差函数与互补感知监督机制，将从配对模态中学习互补信息的问题，显式地建模为对残差函数的渐近逼近过程。（2）进一步探索多层次间的互补关系。通过级联多个CA-Fuse模块，并从深层到浅层密集地引入逐层监督，实现了跨层级互补信息的逐步选择与融合。所提出的RGB-D融合网络有效解耦了跨模态与跨层级的融合过程，从而实现了更充分、更精准的特征融合。在多个公开数据集上的实验结果验证了CA-Fuse模块及所提RGB-D显著目标检测网络的有效性与优越性。