摘要

在人类环境中导航的机器人应使用语言请求帮助并能够理解人类的回应。为了研究这一挑战，我们引入了合作视觉与对话导航（Cooperative Vision-and-Dialog Navigation）数据集，该数据集包含超过2000个位于模拟的、照片级真实感家庭环境中的实体化人类对话。导航者向其伙伴——先知（Oracle）提问，后者拥有根据最短路径规划器确定导航者应采取的最佳下一步行动的特权访问权。为了训练能够在环境中寻找目标位置的代理，我们定义了从对话历史中进行导航的任务（Navigation from Dialog History）。给定一个目标对象和两个人类合作寻找该对象的对话历史，代理必须推断出在未探索环境中朝目标位置移动的导航动作。我们建立了一个初始的多模态序列到序列模型，并证明了回顾更长的对话历史可以提高性能。源代码和实时界面演示可访问 https://cvdn.dev/ 查看。