摘要

我们研究图像中情境识别的问题。给定一张图像，任务是预测最显著的动词（动作），并填充其语义角色，例如动作的执行者、动作的来源与目标等。不同动词具有不同的语义角色（例如，“攻击”包含“武器”这一角色），而每个角色又可取多种可能的取值（名词）。为此，我们提出一种基于图神经网络（Graph Neural Networks）的模型，该模型通过定义在图结构上的神经网络，能够高效地捕捉语义角色之间的联合依赖关系。在不同图连通性设置下的实验表明，我们的方法通过在角色间传播信息，显著优于现有方法及多种基线模型。在完整情境预测任务上，相较于先前工作，我们的方法取得了约3%至5%的性能提升。此外，我们还对模型进行了详尽的定性分析，并探讨了不同语义角色在动词中的影响。