4 个月前

Text2Mesh:基于文本驱动的网格神经风格化

Text2Mesh:基于文本驱动的网格神经风格化

摘要

在本研究中,我们开发了直观的控制方法,用于编辑3D对象的风格。我们的框架Text2Mesh通过预测符合目标文本提示的颜色和局部几何细节来对3D网格进行风格化处理。我们考虑了一种解耦表示方法,即将3D对象表示为固定网格输入(内容)与一个学习到的神经网络相结合,我们将这个神经网络称为神经风格场网络(neural style field network)。为了修改风格,我们利用CLIP的表征能力,获取描述风格的文本提示与已风格化的网格之间的相似度分数。Text2Mesh既不需要预训练生成模型,也不需要专门的3D网格数据集。它可以处理任意亏格的低质量网格(如非流形、边界等),并且不需要UV参数化。我们展示了该技术在各种3D网格上合成多种风格的能力。

代码仓库

threedle/text2mesh
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
neural-stylization-on-meshesVQGAN
Mean Opinion Score (Q1:Overall): 2.83 ± 0.39
Mean Opinion Score (Q2: Content): 3.6 ± 0.68
Mean Opinion Score (Q3: Style): 2.59 ± 0.44
neural-stylization-on-meshesText2Mesh
Mean Opinion Score (Q1:Overall): 3.9 ± 0.37
Mean Opinion Score (Q2: Content): 4.04 ± 0.53
Mean Opinion Score (Q3: Style): 3.91 ± 0.51

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Text2Mesh:基于文本驱动的网格神经风格化 | 论文 | HyperAI超神经