摘要

学习长期动态模型是理解物理常识的关键。目前大多数从视觉输入中学习动态的方法，通过依赖短期模型进行快速重规划来规避长期预测的挑战。这种方法不仅要求模型具备极高的准确性，还限制了其仅适用于那些智能体能够在每一步持续获得反馈并执行动作直至任务完成的场景。本文旨在借鉴视觉识别任务中的成功经验，构建能够捕捉物体间及物体与环境之间长程交互的物体表征。为此，我们提出区域提议交互网络（Region Proposal Interaction Networks, RPIN），该方法在潜在的区域提议特征空间中推理每个物体的轨迹。得益于简洁而高效的物体表征，我们的方法在预测质量以及为下游任务进行规划的能力方面均显著优于先前方法，并在新环境上展现出良好的泛化性能。代码、预训练模型及更多可视化结果可访问 https://haozhi.io/RPIN。