4 个月前

LoFTR:基于Transformer的无检测器局部特征匹配

LoFTR:基于Transformer的无检测器局部特征匹配

摘要

我们提出了一种新的局部图像特征匹配方法。与传统的依次进行图像特征检测、描述和匹配的方法不同,我们建议首先在粗略级别上建立像素级密集匹配,然后在精细级别上进一步优化这些良好的匹配。与使用成本体积来搜索对应关系的密集方法相比,我们利用Transformer中的自注意力层和交叉注意力层来获取依赖于两幅图像的特征描述符。Transformer提供的全局感受野使我们的方法能够在低纹理区域生成密集匹配,而这些区域通常是特征检测器难以产生可重复兴趣点的地方。在室内和室外数据集上的实验表明,LoFTR显著优于现有最先进方法。此外,在已发表的方法中,LoFTR还在两个公开的视觉定位基准测试中排名第一。

代码仓库

fabio-sim/DeDoDe-ONNX-TensorRT
pytorch
GitHub 中提及
kolkir/coarse_loftr_trt
pytorch
GitHub 中提及
zju3dv/LoFTR
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-matching-on-zebLoFTR
Mean AUC@5°: 33.1
pose-estimation-on-inlocLoFTR
DUC1-Acc@0.25m,10°: 47.5
DUC1-Acc@0.5m,10°: 72.2
DUC1-Acc@1.0m,10°: 84.8
DUC2-Acc@0.25m,10°: 54.2
DUC2-Acc@0.5m,10°: 74.8
DUC2-Acc@1.0m,10°: 82.5
visual-localization-on-aachen-day-night-v1-1LoFTR
Acc@0.25m, 2°: 78.5
Acc@0.5m, 5°: 90.6
Acc@5m, 10°: 99.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LoFTR:基于Transformer的无检测器局部特征匹配 | 论文 | HyperAI超神经