HyperAIHyperAI

Command Palette

Search for a command to run...

基于元学习的多模态聚合记忆视觉-语音室内导航方法

Liqi Yan Dongfang Liu Yaoxian Song Changbin Yu

摘要

视觉与语音是智能体进行交互与学习的两个关键要素。本文提出了一种新型室内导航模型——记忆视觉-语音室内导航模型(Memory Vision-Voice Indoor Navigation, MVV-IN),该模型能够接收语音指令,并对视觉观测的多模态信息进行分析,从而提升机器人对环境的理解能力。我们采用由第一视角单目相机拍摄的单张RGB图像作为输入,并引入自注意力机制,使智能体能够持续关注关键区域。为避免不必要的重复任务并实现对新场景的充分适应,记忆机制在本模型中发挥重要作用,因此我们结合了元学习方法。我们对从视觉观测中提取的多种功能特征进行了实验验证。对比实验结果表明,所提出的方法在性能上优于现有的先进基准模型。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于元学习的多模态聚合记忆视觉-语音室内导航方法 | 论文 | HyperAI超神经