摘要

现有的最先进点描述子仅依赖于结构信息，忽略了纹理信息。然而，对于人类而言，纹理信息在区分场景局部特征方面至关重要。此外，当前基于学习的点描述子大多为“黑箱”模型，其原始点如何贡献于最终描述子的过程不清晰、难以解释。本文提出一种新型的多模态融合方法，通过同时考虑结构与纹理信息，生成用于点云配准的描述子。具体而言，设计了一种新颖的注意力融合模块，用于提取加权后的纹理信息，以支持描述子的生成。同时，本文提出一种可解释性模块，用于揭示原始点在生成最终描述子过程中的贡献程度。我们以描述子元素作为损失函数，反向传播至目标层，并将梯度视为该点对最终描述子的重要性度量。本工作在点云配准任务中进一步推进了可解释深度学习的发展。在3DMatch、3DLoMatch和KITTI等多个数据集上的大量实验表明，所提出的多模态融合描述子在配准精度上达到了当前最优水平，并显著提升了描述子的区分能力。同时，实验也验证了所提出的可解释模块在解释描述子生成过程中的有效性。