
摘要
我们提出一种名为 DeepMatching 的新型匹配算法,用于计算图像之间的稠密对应关系。DeepMatching 依赖于一种分层、多层的关联架构,该架构专为图像匹配设计,并受到深度卷积方法的启发。所提出的匹配算法能够有效处理非刚性形变和重复纹理,并在图像间存在显著差异的情况下,高效地确定稠密对应关系。我们在 Mikolajczyk(Mikolajczyk 等,2005)、MPI-Sintel(Butler 等,2012)和 Kitti(Geiger 等,2013)数据集上,将 DeepMatching 的性能与当前最先进的匹配算法进行了对比评估。实验结果表明,DeepMatching 在各项指标上均优于现有先进算法,尤其在处理重复纹理时表现尤为出色。此外,我们提出一种估计光流的方法——DeepFlow,通过将 DeepMatching 集成到 Brox 与 Malik(2011)提出的大型位移光流(LDOF)框架中实现。与现有匹配算法相比,得益于本方法的匹配机制,DeepFlow 在应对大位移和复杂运动时展现出更强的鲁棒性。在公开的光流估计基准测试中,DeepFlow 也取得了具有竞争力的性能表现。
代码仓库
vwegn/dm
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| dense-pixel-correspondence-estimation-on | DeepMatching* | Viewpoint I AEPE: 5.84 Viewpoint II AEPE: 4.63 Viewpoint III AEPE: 12.43 Viewpoint IV AEPE: 12.17 Viewpoint V AEPE: 22.55 |