HyperAIHyperAI

Command Palette

Search for a command to run...

MarrNet:通过2.5D草图进行3D形状重建

摘要

从单张图像进行3D物体重建是一个高度欠定的问题,需要依赖对合理3D形状的强先验知识。这为基于学习的方法带来了挑战,因为在真实图像中缺乏充足的3D物体标注数据。以往的工作通常选择在带有真实3D信息的合成数据上进行训练,但在真实数据上测试时却面临域适应(domain adaptation)问题。在本工作中,我们提出MarrNet,一种端到端可训练的模型,该模型通过分步估计2.5D草图和3D物体形状来实现重建。我们提出的解耦式、两阶段框架具有三大优势:首先,相较于完整的3D形状,从2D图像恢复2.5D草图要容易得多;且能够恢复2.5D草图的模型更易于从合成数据迁移到真实数据。其次,基于2.5D草图进行3D重建时,系统可完全依赖合成数据进行训练。这是因为我们可以轻松生成逼真的2.5D草图,而无需在渲染过程中建模真实图像中的物体外观变化(如光照、纹理等)。这进一步缓解了域适应问题。第三,我们从3D形状到2.5D草图之间推导出可微分的投影函数,使得整个框架能够在真实图像上实现端到端训练,且无需人工标注。实验表明,我们的模型在3D形状重建任务上达到了当前最优性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MarrNet:通过2.5D草图进行3D形状重建 | 论文 | HyperAI超神经