摘要

地面情境识别（GSR）不仅对显著动作（动词）进行分类，还预测与语义角色相关的实体（名词）及其在给定图像中的位置。受Transformer在视觉任务中取得的显著成功启发，我们提出了一种基于Transformer编码器-解码器架构的GSR模型。该模型的注意力机制通过有效捕捉图像的高层次语义特征，实现了精确的动作分类，并且使模型能够灵活处理实体之间复杂且依赖于图像的关系，从而提高了名词分类和定位的准确性。我们的模型是首个应用于GSR的Transformer架构，在SWiG基准测试的每一项评估指标上均达到了当前最佳水平。我们的代码已发布在 https://github.com/jhcho99/gsrtr 。