摘要

大型语言模型（LLMs）在视觉-语言导航（VLN）任务中展示了潜力，但当前应用仍面临挑战。尽管这些模型在一般对话场景中表现出色，但在专门的导航任务上却表现不佳，与专门设计的VLN模型相比，其性能较差。我们引入了FLAME（FLAMingo架构的具身代理），这是一种新型的基于多模态LLM的代理和架构，专为城市VLN任务设计，能够高效处理多种观察数据。我们的方法实施了一种三阶段微调技术，以有效适应导航任务，包括用于街景描述的单感知微调、用于路线总结的多感知微调以及在VLN数据集上的端到端训练。增强的数据集是通过自动合成生成的。实验结果表明，FLAME在现有方法中具有明显优势，在Touchdown数据集上的任务完成率比最先进的方法提高了7.3%。这项工作展示了多模态LLM（MLLMs）在复杂导航任务中的潜力，标志着向具身智能领域应用MLLMs迈进的重要一步。