摘要

主流的3D表征学习方法建立在对比或生成建模的预训练任务之上，在各种下游任务中取得了显著的性能提升。然而，我们发现这两种范式具有不同的特性：(i) 对比模型对数据量有较高需求，容易出现表征过拟合问题；(ii) 生成模型存在数据填充问题，其数据扩展能力相比对比模型较差。这促使我们尝试结合两种范式的优点来学习3D表征，但由于两者之间的模式差异，这一目标并不容易实现。在本文中，我们提出了一种名为“重构对比”（ReCon）的方法，该方法统一了这两种范式。ReCon通过集成蒸馏技术从生成建模教师和单模态/跨模态对比教师中学习，其中生成学生指导对比学生。我们设计了一种编码器-解码器风格的ReCon模块，通过带有停止梯度的交叉注意力机制传递知识，从而避免了预训练过拟合和模式差异问题。ReCon在3D表征学习方面达到了新的最先进水平，例如在ScanObjectNN数据集上实现了91.26%的准确率。代码已发布在 https://github.com/qizekun/ReCon。