摘要

镜子通常缺乏一致的视觉特征，导致其检测极具挑战性。尽管近期一些基于利用上下文对比关系与对应关系的方法取得了良好效果，但过度依赖上下文对比和对应关系在复杂真实场景中往往失效，因为许多物体（如门框）可能与镜子具有相似的视觉特征。我们观察到，人类在布置镜子时通常会将其与特定物体建立功能性的空间关联，例如将镜子安装在洗手池上方。受此启发，我们提出一种新模型，通过挖掘镜子与其周围物体之间的语义关联，实现可靠的镜子定位。该模型首先通过一个语义旁路（semantic side-path）获取周围物体的类别特异性知识；随后引入两个创新模块来建模语义关联：1）关联探索（Associations Exploration, AE）模块，基于全连接图模型提取场景中物体间的关联关系；2）四元图（Quadruple-Graph, QG）模块，利用图卷积机制促进语义关联知识的传播与聚合。大量实验结果表明，所提方法显著优于现有方法，在PMD数据集（F-measure: 0.844）和MSD数据集（F-measure: 0.889）上均取得了新的最先进性能。