
摘要
特征匹配是一项具有挑战性的计算机视觉任务,涉及在三维场景的两幅图像之间找到对应关系。本文中,我们考虑了密集方法而非更为常见的稀疏范式,力求找到所有对应关系。或许令人意外的是,以往的密集方法在双视图几何估计方面的表现劣于其稀疏和半稀疏同类方法。然而,我们的新型密集方法改变了这一现状,在几何估计方面超越了现有的密集和稀疏方法。该方法的创新之处有三:首先,我们提出了一种核回归全局匹配器;其次,我们通过堆叠特征图和深度卷积核实现了变形精化;最后,我们提出了通过一致深度和平衡采样策略学习密集置信度的方法。通过广泛的实验验证,我们确认所提出的Dense Kernelized Feature Matching(DKM)密集方法在多个几何估计基准测试中达到了新的最先进水平。特别是在MegaDepth-1500数据集上,相比之前最佳的稀疏方法和密集方法,我们的方法分别提高了4.9和8.9个AUC$@5^{\circ}$。我们的代码已发布在https://github.com/Parskatt/dkm。
代码仓库
parskatt/dkm
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-matching-on-zeb | DKM | Mean AUC@5°: 46.2 |
| pose-estimation-on-inloc | DKM | DUC1-Acc@0.25m,10°: 51.5 DUC1-Acc@0.5m,10°: 75.3 DUC1-Acc@1.0m,10°: 86.9 DUC2-Acc@0.25m,10°: 63.4 DUC2-Acc@0.5m,10°: 82.4 DUC2-Acc@1.0m,10°: 87.8 |
| visual-localization-on-aachen-day-night-v1-1 | DKM | Acc@0.25m, 2°: 70.2 Acc@0.5m, 5°: 90.1 Acc@5m, 10°: 97.4 |