3 个月前

PoinTr:基于几何感知Transformer的多样化点云补全

PoinTr:基于几何感知Transformer的多样化点云补全

摘要

在实际应用中获取的点云数据往往由于传感器分辨率有限、单视角采集以及物体遮挡等原因而存在缺失,因此从部分点云中恢复完整点云成为众多实际应用中不可或缺的任务。本文提出一种新方法,将点云补全问题重新建模为集合到集合的映射问题,并设计了一种名为 PoinTr 的新模型,该模型采用 Transformer 编码器-解码器架构实现点云补全。通过将点云表示为带有位置嵌入的无序点组集合,我们将点云转换为一系列点代理(point proxies)序列,并利用 Transformer 架构进行点云生成。为进一步引导 Transformer 更好地利用点云的三维几何结构先验知识,我们进一步设计了一种几何感知模块(geometry-aware block),显式建模局部几何关系。该架构的引入使模型能够更有效地学习结构化知识,并在补全过程中更好地保留细节信息。此外,我们还提出了两个更具挑战性的新基准数据集,包含更加多样化的不完整点云样本,以更真实地反映现实场景,从而推动后续研究的发展。实验结果表明,所提方法在新旧多个基准数据集上均显著优于现有最先进方法。代码已开源,地址为:https://github.com/yuxumin/PoinTr。

代码仓库

yuxumin/PoinTr
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
point-cloud-completion-on-shapenetPoinTr
Chamfer Distance L2: 8.38
F-Score@1%: 0.748
single-view-3d-reconstruction-on-commonPointTr
Avg. F1: 39.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PoinTr:基于几何感知Transformer的多样化点云补全 | 论文 | HyperAI超神经