摘要

代价聚合（Cost Aggregation）是图像匹配任务中一个至关重要的过程，其目标在于消除初始匹配得分中的噪声，从而提升匹配的准确性。现有方法通常采用手工设计或基于卷积神经网络（CNN）的策略来实现这一目标，但这些方法要么对严重形变缺乏鲁棒性，要么受限于CNN固有的缺陷——由于感受野有限且难以适应复杂场景，导致其难以有效区分错误匹配。本文提出一种基于Transformer的代价聚合方法——CATs（Cost Aggregation with Transformers），通过引入一系列架构设计，充分挖掘自注意力机制所具备的全局感受野优势，实现对初始相关图中全局一致性信息的有效建模。为进一步缓解CATs可能面临的局限性，例如标准Transformer因计算复杂度随空间尺寸和特征维度增大而显著上升，导致其仅适用于有限分辨率、性能受限等问题，我们进一步提出CATs++，作为CATs的扩展版本。实验结果表明，所提出的CATs与CATs++在多个基准测试上均显著超越此前的最先进方法，包括PF-WILLOW、PF-PASCAL和SPair-71k，刷新了各项任务的性能记录。此外，本文还进行了全面的消融实验与深入分析，验证了各模块的有效性与设计合理性。