摘要

针对视网膜图像匹配（Retinal Image Matching, RIM）任务，我们提出SuperRetina，这是首个端到端可联合训练的关键点检测器与描述子提取方法。SuperRetina采用一种新颖的半监督训练方式，利用少量（约100张）标注不完整的图像，监督网络在血管树结构上检测关键点。为应对人工标注不完整的问题，我们提出渐进式关键点扩展（Progressive Keypoint Expansion）策略，以在每个训练周期中逐步丰富关键点标签。通过采用基于关键点的改进型三元组损失（improved triplet loss）作为描述子损失函数，SuperRetina能够在全分辨率输入图像下生成具有高度判别性的描述子。在多个真实世界数据集上的大量实验验证了SuperRetina的有效性。即使在完全摒弃人工标注、改用自动标注的情况下，SuperRetina在两项关键RIM任务——图像配准与身份验证——上仍显著优于多个强基准方法。SuperRetina将开源发布。