摘要

为了实现机器能够长期与人类进行对话的长远目标，我们的模型应当能够吸引其对话伙伴的兴趣。基于图像的交流（即根据给定的照片开展对话）是一种对人类具有天然吸引力的设置（Hu等，2014）。在本研究中，我们探讨了为此目标而设计的大规模架构和数据集。我们测试了一系列神经架构，使用最先进的图像和文本表示方法，并考虑了多种融合组件的方式。为了测试这些模型，我们收集了一个基于图像的人类对话数据集，在该数据集中，说话者被要求根据提供的特定情绪或风格扮演角色，因为使用这些特质也是提高对话吸引力的关键因素之一（Guo等，2019）。我们的数据集——Image-Chat——包含20.2万张图像上的20.2万次对话，涉及215种可能的风格特质。自动评估指标和人工评价结果显示了我们方法的有效性；特别是在现有的IGC任务中，我们取得了最先进水平的表现，并且在Image-Chat测试集上，我们表现最佳的模型几乎与人类持平（47.7%的时间被偏好）。