摘要

捕捉句子之间的语义关系，例如蕴含（entailment），一直是计算语义学中的长期挑战。基于逻辑的模型从可能世界（解释或情境）的角度分析蕴含关系，即前提P蕴含假设H当且仅当在所有P为真的世界中，H也为真。统计模型则从概率角度看待这种关系，主要关注人类是否有可能从前提P推断出假设H。本文旨在弥合这两种视角之间的差距，提出一种以视觉为基础的文本蕴含任务版本。具体而言，我们探讨了如果除了前提P和假设H之外，还提供一张图像（对应相关的“世界”或“情境”），模型的表现是否会更好。我们使用了多模态版本的SNLI数据集（Bowman等人，2015年），并比较了“盲”模型和视觉增强型模型在文本蕴含任务上的表现。结果显示，视觉信息是有益的，但我们还进行了深入的错误分析，揭示当前的多模态模型尚未以最优方式实现“接地”（grounding）。