摘要

二维图像表示通常以规则网格形式存在，能够被高效处理；而三维点云在三维空间中无序且分散分布。这两种视觉模态的信息具有良好的互补性：例如，二维图像包含精细的纹理细节，而三维点云则蕴含丰富的几何结构信息。然而，当前大多数视觉识别系统仍对它们分别进行处理。本文提出一种双向投影网络（Bidirectional Projection Network, BPNet），实现二维与三维视觉信息的端到端联合推理。该网络包含具有对称结构的二维和三维子网络，并通过我们提出的双向投影模块（Bidirectional Projection Module, BPM）进行连接。借助该BPM模块，二维与三维信息可在多个网络层级上实现双向交互，从而有效融合两种模态的优势，提升场景理解能力。大量定量与定性实验结果表明，对二维与三维视觉域进行联合推理，能够同时显著提升二维与三维场景理解的性能。所提出的BPNet在ScanNetV2基准数据集上，于二维与三维语义分割任务中均取得了当前最优（SOTA）表现。代码已开源，地址为：https://github.com/wbhu/BPNet。