摘要

我们介绍了 Frontier Aware Search with backTracking (FAST) 导航器，这是一个用于动作解码的通用框架，在 Anderson 等人（2018）提出的 Room-to-Room (R2R) 视觉-语言导航挑战中取得了最先进的结果。给定一条自然语言指令和一个之前未见过环境的照片级真实图像视图，代理的任务是在尽可能短的时间内从源位置导航到目标位置。尽管当前所有方法都是通过局部动作决策或使用束搜索对整个轨迹进行评分，但我们的方法在探索未知环境时平衡了局部和全局信号。重要的是，这使我们能够在贪婪行动的同时，必要时利用全局信号进行回溯。将 FAST 框架应用于现有的最先进模型后，实现了相对 17% 的提升，以及路径长度加权成功率 (SPL) 绝对 6% 的提升。