摘要

RGB-T 语义分割是自动驾驶场景理解的关键技术。然而，现有的 RGB-T 语义分割方法在多层信息交互中未能有效探索不同模态之间的互补关系。为了解决这一问题，本文提出了一种上下文感知交互网络（Context-Aware Interaction Network, CAINet），用于 RGB-T 语义分割，该网络构建了交互空间以利用辅助任务和全局上下文进行显式引导学习。具体而言，我们提出了一个上下文感知互补推理模块（Context-Aware Complementary Reasoning, CACR），旨在通过空间和通道维度的长期上下文建立多模态特征之间的互补关系。此外，考虑到全局上下文和详细信息的重要性，我们还提出了全局上下文建模模块（Global Context Modeling, GCM）和细节聚合模块（Detail Aggregation, DA），并引入特定的辅助监督以显式引导上下文交互并优化分割图。在两个基准数据集 MFNet 和 PST900 上进行的大量实验表明，所提出的 CAINet 达到了最先进的性能。代码可在 https://github.com/YingLv1106/CAINet 获取。