4 个月前

SoPhie:一种注意机制驱动的GAN,用于预测符合社会和物理约束的路径

SoPhie:一种注意机制驱动的GAN,用于预测符合社会和物理约束的路径

摘要

本文探讨了场景中多个交互代理的路径预测问题,这是许多自主平台(如自动驾驶汽车和社会机器人)的关键步骤。我们提出了\textit{SoPhie};一种基于生成对抗网络(Generative Adversarial Network, GAN)的可解释框架,该框架利用了两种信息来源:场景中所有代理的路径历史以及场景上下文信息(通过场景图像获取)。为了预测某个代理的未来路径,必须同时利用物理和社会信息。以往的研究未能成功地联合建模物理和社会互动。我们的方法将社会注意力机制与物理注意力机制相结合,帮助模型在大场景中确定观察的重点,并提取与路径最相关的图像部分。而社会注意力组件则汇聚不同代理之间的交互信息,并从周围邻居中提取最重要的轨迹信息。此外,\textit{SoPhie}还利用GAN生成更真实的样本,并通过建模未来路径的分布来捕捉其不确定性质。这些机制使我们的方法能够为代理预测符合社会和物理规律的路径,并在多个不同的轨迹预测基准上达到最先进的性能。

代码仓库

coolsunxu/sophie
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
trajectory-prediction-on-ethucySophie
ADE-8/12: 0.54
trajectory-prediction-on-stanford-droneSoPhie
ADE (8/12) @K=5: 16.27
FDE(8/12) @K=5: 29.38
trajectory-prediction-on-stanford-droneSophie
ADE-8/12 @K = 20: 16.27
FDE-8/12 @K= 20: 29.38

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SoPhie:一种注意机制驱动的GAN,用于预测符合社会和物理约束的路径 | 论文 | HyperAI超神经