摘要

现有的RGB-D显著性检测模型并未显式地促进RGB图像与深度信息之间的有效多模态学习。本文提出一种新颖的多阶段级联学习框架，通过互信息最小化机制“显式”建模RGB图像与深度数据之间的多模态信息。具体而言，我们首先将各模态的特征映射至低维特征向量，并采用互信息最小化作为正则项，以降低来自RGB的外观特征与来自深度的几何特征之间的冗余性。随后，在网络的每一阶段均引入多阶段级联学习结构，以施加互信息最小化约束。在多个基准RGB-D显著性检测数据集上的大量实验验证了所提框架的有效性。为进一步推动该领域的发展，我们构建了目前规模最大的数据集（比NJU2K大7倍），包含15,625对高质量图像，涵盖多层级标注——包括多边形、手绘草图、目标、实例以及排序级别标注。基于这些丰富的标注信息，我们进一步构建了四个新的基准测试集，并设计了强基准模型，观察到若干有趣的实验现象，可为未来模型设计提供启发。源代码与数据集已开源，地址为：https://github.com/JingZhang617/cascaded_rgbd_sod。