摘要

RGB-D语义分割方法通常使用两个独立的编码器从RGB图像和深度数据中提取特征。然而，缺乏有效的融合机制来连接这些编码器，以充分利用多模态数据中的互补信息。本文提出了一种新颖的自下而上的交互式融合结构，用于建模编码器之间的相互依赖关系。该结构引入了一个交互流来互联编码器。交互流不仅逐步聚合来自各编码器的模态特定特征，还为它们计算互补特征。为了实例化这一结构，本文提出了一种残差融合块（Residual Fusion Block, RFB），以表达编码器之间的相互依赖关系。RFB由两个残差单元和一个带有门控机制的融合单元组成，它学习为模态特定编码器生成互补特征，并同时提取模态特定特征和跨模态特征。基于RFB，本文提出了名为RFBNet的深度多模态网络，用于RGB-D语义分割。在两个数据集上的实验表明了建模相互依赖关系的有效性，并且RFBNet达到了当前最先进的性能。