
摘要
在本研究中,我们开发了直观的控制方法,用于编辑3D对象的风格。我们的框架Text2Mesh通过预测符合目标文本提示的颜色和局部几何细节来对3D网格进行风格化处理。我们考虑了一种解耦表示方法,即将3D对象表示为固定网格输入(内容)与一个学习到的神经网络相结合,我们将这个神经网络称为神经风格场网络(neural style field network)。为了修改风格,我们利用CLIP的表征能力,获取描述风格的文本提示与已风格化的网格之间的相似度分数。Text2Mesh既不需要预训练生成模型,也不需要专门的3D网格数据集。它可以处理任意亏格的低质量网格(如非流形、边界等),并且不需要UV参数化。我们展示了该技术在各种3D网格上合成多种风格的能力。
代码仓库
threedle/text2mesh
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| neural-stylization-on-meshes | VQGAN | Mean Opinion Score (Q1:Overall): 2.83 ± 0.39 Mean Opinion Score (Q2: Content): 3.6 ± 0.68 Mean Opinion Score (Q3: Style): 2.59 ± 0.44 |
| neural-stylization-on-meshes | Text2Mesh | Mean Opinion Score (Q1:Overall): 3.9 ± 0.37 Mean Opinion Score (Q2: Content): 4.04 ± 0.53 Mean Opinion Score (Q3: Style): 3.91 ± 0.51 |