3 个月前

3D-PL:基于3D感知伪标签的领域自适应深度估计

3D-PL:基于3D感知伪标签的领域自适应深度估计

摘要

在单目深度估计任务中,获取真实数据的真值(ground truth)较为困难,因此通常采用基于监督合成数据的域适应方法。然而,由于缺乏真实数据的监督,这种方法仍可能导致较大的域间差异。本文提出一种新的域适应框架,通过从真实数据中生成可靠的伪真值(pseudo ground truths)来提供直接监督信号。具体而言,我们提出了两种伪标签生成机制:1)基于2D的伪标签,通过测量内容相同但风格不同的图像在深度预测上的一致性来生成;2)基于3D感知的伪标签,利用点云补全网络学习在三维空间中补全深度值,从而为场景提供更丰富的结构信息,以进一步优化并生成更可靠的伪标签。实验结果表明,所提出的伪标签方法在多种设置下均能有效提升深度估计性能,包括在训练过程中使用立体图像对的情况。此外,该方法在真实世界数据集上的表现优于多种先进的无监督域适应方法。

代码仓库

ccc870206/3d-pl
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
unsupervised-domain-adaptation-on-virtual-23D-PL
RMSE : 4.463

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
3D-PL:基于3D感知伪标签的领域自适应深度估计 | 论文 | HyperAI超神经