HyperAIHyperAI

Command Palette

Search for a command to run...

MAST:基于三模态层次注意力的多模态抽象摘要生成

Aman Khullar; Udit Arora

摘要

本文介绍了MAST,一种新的多模态抽象文本摘要模型,该模型利用了多模态视频中的三种模态——文本、音频和视频——的信息。此前在多模态抽象文本摘要领域的研究仅利用了文本和视频两种模态的信息。我们探讨了从音频模态中提取信息的有用性和挑战,并提出了一种基于序列到序列的三模态层次注意力模型,通过让模型更多地关注文本模态来克服这些挑战。在How2数据集上,针对多模态语言理解任务,MAST在内容F1分数上比当前最先进的模型(视频-文本)高出2.51分,在Rouge-L分数上高出1.00分。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供