3 个月前

基于内容感知的无监督深度单应性估计

基于内容感知的无监督深度单应性估计

摘要

单应性估计是众多应用中一种基础的图像对齐方法。传统方法通常通过提取并匹配稀疏特征点来实现,但在低光照或低纹理图像中,该方法易受误差影响。另一方面,以往的深度单应性估计方法要么依赖合成图像进行监督学习,要么基于航拍图像进行无监督学习,均未充分考虑真实场景中深度差异和运动物体带来的挑战。为克服上述问题,本文提出一种新型无监督深度单应性估计方法,并设计了相应的网络架构。受传统RANSAC算法思想的启发,我们特别学习一个异常值掩码,仅选择可信区域用于单应性估计。与以往直接比较图像内容不同,我们基于所学习的深度特征计算损失。为实现无监督训练,我们还设计了一种专用于本网络的新型三元组损失(triplet loss)。通过在一个新构建的数据集上进行广泛对比实验,该数据集涵盖了多种场景及不同难度级别,验证了所提方法的有效性。实验结果表明,该方法在性能上优于当前最先进的深度学习方法及基于特征的方法。

代码仓库

JirongZhang/DeepHomography
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
homography-estimation-on-s-cocoContent-Aware
MACE: 2.08

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于内容感知的无监督深度单应性估计 | 论文 | HyperAI超神经