4 个月前

扩散3D特征(Diff3F):用蒸馏语义特征装饰无纹理形状

扩散3D特征(Diff3F):用蒸馏语义特征装饰无纹理形状

摘要

我们介绍了Diff3F,这是一种简单、鲁棒且类别无关的特征描述符,可以用于无纹理输入形状(网格或点云)的计算。我们的方法从图像基础模型中提取扩散特征并将其应用到输入形状上。具体而言,我们利用输入形状生成深度图和法线图,作为条件图像合成的引导。在此过程中,我们在二维空间中生成了(扩散)特征,然后将其提升并聚合到原始表面上。我们的关键观察是,即使从多视角渲染输入形状得到的条件图像生成结果不一致,相关的图像特征依然具有鲁棒性,因此可以直接在不同视角之间进行聚合。这在无需额外数据或训练的情况下,在输入形状上产生了语义特征。我们在多个基准测试(SHREC'19、SHREC'20、FAUST和TOSCA)上进行了广泛的实验,并证明了我们的特征由于是语义而非几何特征,能够在等距和非等距相关的形状家族之间产生可靠的对应关系。代码可通过项目页面获取:https://diff3f.github.io/

代码仓库

niladridutt/Diffusion-3D-Features
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-dense-shape-correspondence-on-shrec-19Diffusion 3D Features (Zero-shot)
Accuracy at 1%: 26.4
Euclidean Mean Error (EME): 1.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
扩散3D特征(Diff3F):用蒸馏语义特征装饰无纹理形状 | 论文 | HyperAI超神经