
摘要
我们提出了一种新颖的方法,用于在训练网络以从单张图像中确定几何信息时结合合成图像和真实图像。我们建议将两种类型的图像映射到一个单一的共享域中。这一过程与主网络相连,实现端到端的训练。理想情况下,这将使得来自两个域的图像向主网络提供共享的信息。我们的实验结果表明,在两个重要的领域——人脸表面法线估计和室外场景的单目深度估计——中,该方法在无监督设置下显著优于现有最佳方法。
代码仓库
koutilya40192/SharinGAN
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| monocular-depth-estimation-on-kitti-eigen-1 | SharinGAN | Delta u003c 1.25: 0.864 Delta u003c 1.25^2: 0.954 Delta u003c 1.25^3: 0.981 RMSE: 3.77 RMSE log: 0.19 Sq Rel: 0.673 absolute relative error: 0.109 |
| monocular-depth-estimation-on-make3d | SharinGAN | Abs Rel: 0.377 RMSE: 8.388 Sq Rel: 4.9 |