HyperAIHyperAI

Command Palette

Search for a command to run...

RpBERT:一种基于文本-图像关系传播的BERT模型用于多模态命名实体识别

Lin Sun* Jiquan Wang* Kai Zhang Yindu Su Fangsheng Weng

摘要

近期,多模态命名实体识别(MNER)利用图像来提高推文中命名实体识别(NER)的准确性。然而,大多数多模态方法在提取视觉线索时并未考虑文本和图像的相关性。实际上,在推文中,不相关的文本-图像对占很大比例。与文本无关的视觉线索会对多模态模型的学习产生不确定甚至负面的影响。本文中,我们提出了一种将文本-图像关系传播引入多模态BERT模型的方法。我们集成了软门控或硬门控机制来选择视觉线索,并提出了一种多任务算法以在MNER数据集上进行训练。实验中,我们深入分析了使用文本-图像关系传播前后视觉注意力的变化。我们的模型在MNER数据集上达到了最先进的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RpBERT:一种基于文本-图像关系传播的BERT模型用于多模态命名实体识别 | 论文 | HyperAI超神经