摘要

解决物理推理任务的一种常见方法是在示例任务上训练价值学习器（value learner）。然而，该方法存在一个局限性：其仅能通过环境轨迹最终状态所获得的奖励值来学习物体动力学信息。为克服这一局限，本研究提出通过引入关于物体动力学的自监督信号来增强奖励信号。具体而言，我们训练模型同时完成两个任务：一是预测物理推理任务的最终结果，二是衡量两次环境轨迹之间的相似性。该相似性可定义为两条轨迹中物体运动路径之间的距离度量，也可通过对比学习（contrastive formulation）直接从像素层面进行学习。实验结果表明，该方法在物理推理基准测试PHYRE（Bakhtin et al., 2019）上实现了显著的性能提升，达到了新的最先进水平。