摘要

本文介绍了MAST，一种新的多模态抽象文本摘要模型，该模型利用了多模态视频中的三种模态——文本、音频和视频——的信息。此前在多模态抽象文本摘要领域的研究仅利用了文本和视频两种模态的信息。我们探讨了从音频模态中提取信息的有用性和挑战，并提出了一种基于序列到序列的三模态层次注意力模型，通过让模型更多地关注文本模态来克服这些挑战。在How2数据集上，针对多模态语言理解任务，MAST在内容F1分数上比当前最先进的模型（视频-文本）高出2.51分，在Rouge-L分数上高出1.00分。