摘要

近期基于视觉-语言预训练模型的图像内容操作研究已成功扩展到文本驱动的3D场景编辑。然而，现有的3D场景编辑方案仍存在某些不足，阻碍了其进一步的交互设计。这些方案通常遵循固定的输入模式，限制了用户在文本输入方面的灵活性。此外，它们的编辑能力受限于单一或少数几个2D视觉模型，并且需要复杂的管道设计才能将这些模型整合到3D重建过程中。为了解决上述问题，我们提出了一种基于对话的3D场景编辑方法，称为CE3D，该方法以一个大型语言模型为核心，允许用户进行任意文本输入并解读用户的意图，从而实现相应视觉专家模型的自主调用。此外，我们设计了一种利用Hash-Atlas表示3D场景视图的方案，将3D场景的编辑转换为2D图集图像的编辑。这一设计实现了2D编辑与3D重建过程之间的完全解耦，使得CE3D能够灵活地集成各种现有的2D或3D视觉模型，而无需复杂的融合设计。实验结果表明，CE3D有效集成了多个视觉模型，实现了多样化的编辑视觉效果，并具备强大的场景理解和多轮对话能力。代码可在 https://sk-fun.fun/CE3D 获取。