摘要

对话是有效的信息交流方式，但细微之处和语义差异极为重要。尽管已取得显著进展，为解决视觉对话问题提供了算法路径，但在细节和语义差异方面仍面临挑战。注意力机制在视觉问答中展示了令人信服的结果，能够提取细节，并且由于其可解释性和有效性，也为视觉对话提供了一个有说服力的框架。然而，伴随视觉对话而来的多种数据效用对现有的注意力技术提出了挑战。为了解决这一问题，我们开发了一种适用于任何数量数据效用的通用注意力机制。为此，我们设计了一种基于因子图的注意力机制，该机制可以结合任意数量的效用表示。我们在最近推出的具有挑战性的VisDial数据集上验证了所提出方法的适用性，在VisDial0.9上的MRR（Mean Reciprocal Rank）指标提高了1.1%，在VisDial1.0上的MRR指标提高了2%。我们的集成模型在VisDial1.0上的MRR得分提高了超过6%。