4 个月前

ATISS:用于室内场景合成的自回归变换器

ATISS:用于室内场景合成的自回归变换器

摘要

自动合成逼真且多样的室内家具布局,无论是完全自动生成还是基于部分输入生成,都能解锁许多应用,从改进的交互式3D工具到用于训练和模拟的数据合成。在本文中,我们介绍了ATISS,一种新颖的自回归变压器架构,仅需提供房间类型及其平面图即可创建多样且合理的合成室内环境。与先前的工作不同,后者将场景合成交叉为序列生成问题,我们的模型生成房间时将对象视为无序集合。我们认为这种表述更为自然,因为这使得ATISS不仅限于完全自动化的房间布局合成,在其他方面也具有广泛的应用价值。例如,同一训练好的模型可以用于交互式应用中的通用场景补全、用户指定的任何对象的部分房间重新布置以及任何部分房间的对象建议。为了实现这一点,我们的模型在条件化部分场景时利用了变压器的排列等变性,并被训练为对对象顺序排列不变。我们的模型仅使用带有标签的3D边界框作为监督信号进行端到端的自回归生成模型训练。在3D-FRONT数据集上的四种房间类型的评估表明,我们的模型始终能生成比现有方法更逼真的合理房间布局。此外,该模型参数较少、实现和训练更简单,并且运行速度可比现有方法快至8倍。

代码仓库

nv-tlabs/atiss
官方
pytorch

基准测试

基准方法指标
3d-semantic-scene-completion-on-pro-textATISS
CD: 2.0756
CMD: 1.4140
F1: 0.0663
indoor-scene-synthesis-on-pro-textATISS
CD: 2.0756
EMD: 1.4140
F1: 0.0663

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ATISS:用于室内场景合成的自回归变换器 | 论文 | HyperAI超神经