摘要

学习遵循指令对于视觉-语言导航（Vision-and-Language Navigation, VLN）中的自主智能体而言具有根本性意义。本文研究了当智能体从由较短指令构成的语料库中学习时，如何有效导航长路径的问题。我们发现，现有的最先进智能体在泛化能力方面表现不佳。为此，本文提出了一种名为BabyWalk的新颖VLN智能体，该智能体通过将长指令分解为较短的子指令（称为BabySteps），并按顺序逐步完成，从而实现长路径导航。该智能体采用一种特殊设计的记忆缓冲区，将过往经验转化为未来决策的上下文信息。整个学习过程分为两个阶段：第一阶段，智能体通过示范学习（imitation learning from demonstration）完成BabySteps；第二阶段，智能体采用基于课程的强化学习策略，在逐步加长的指令任务中最大化导航奖励。为评估BabyWalk的泛化能力，我们构建了两个新的基准数据集（用于长距离导航任务），并将其与现有数据集结合进行综合测试。实验结果表明，BabyWalk在多个评价指标上均达到当前最优水平，尤其在遵循长指令方面表现显著优于现有方法。相关代码与数据集已发布于项目主页：https://github.com/Sha-Lab/babywalk。