摘要

如何修复一个存在缺失的物理对象？人们通常会通过先前获取的图像来推测其原始形态，先恢复整体（全局）但较为粗糙的形状，再逐步细化局部细节。受这一物理修复过程的启发，我们提出了一种面向点云补全的跨模态形状迁移双级精炼网络（Cross-modal Shape-transfer Dual-refinement Network，简称 CSDN），该方法采用从粗到精的范式，并在整个补全过程充分融合图像信息，以实现高质量的点云补全。CSDN 主要由“形状融合”与“双级精炼”两个模块构成，用以应对跨模态带来的挑战。第一个模块将单张图像中的内在形状特征迁移至点云缺失区域，指导几何结构的生成。为此，我们提出 IPAdaIN（Image and Partial Point Cloud Adaptive Instance Normalization）机制，用于将图像与部分点云的全局特征联合嵌入到补全过程之中。第二个模块则对粗略生成结果进行精细化调整，通过优化生成点的位置实现更精确的几何重建：其中，局部精炼单元利用图卷积网络捕捉新生成点与输入点之间的几何关系；全局约束单元则借助输入图像对生成点的偏移量进行精细调节。与现有大多数方法不同，CSDN 不仅充分挖掘了图像与点云之间的互补信息，更在从粗到精的完整补全过程之中，有效实现了跨模态数据的协同利用。实验结果表明，在跨模态基准测试中，CSDN 在性能上显著优于十种对比方法，展现出优越的补全质量与鲁棒性。