摘要

人类在从专家演示中学习和解决自身问题方面表现出色。为了使智能机器人和助手（如增强现实眼镜）具备这种能力，关键是从演示视频中提取人类手部交互（即操作可能性）并将其应用于目标图像，例如用户的增强现实眼镜视图。视频到图像的操作可能性定位任务具有挑战性，主要因为（1）需要预测细粒度的操作可能性，以及（2）有限的训练数据无法充分覆盖视频与图像之间的差异，从而对定位产生负面影响。为了解决这些问题，我们提出了操作可能性变换器（Affordance Transformer，简称 Afformer），该模型具有基于变换器的细粒度解码器，可以逐步优化操作可能性的定位。此外，我们引入了掩码操作可能性手部模型（Mask Affordance Hand，简称 MaskAHand），这是一种自监督预训练技术，用于合成视频-图像数据并模拟上下文变化，从而增强跨视频-图像差异的操作可能性定位。结合 MaskAHand 预训练的 Afformer 在多个基准测试中取得了最先进的性能，包括在 OPRA 数据集上实现了显著的 37% 改进。代码已发布在 https://github.com/showlab/afformer。