3 个月前

预训练语言模型在实体匹配中的鲁棒性探究

预训练语言模型在实体匹配中的鲁棒性探究

摘要

基于微调预训练语言模型(PLM)的范式在实体匹配(Entity Matching, EM)任务中取得了显著成功。尽管这些模型表现出色,但其容易从训练数据中学习到虚假相关性。本文旨在探究基于PLM的实体匹配模型在现实应用场景中的可信度,尤其当实际数据分布与训练数据分布存在差异时。为此,我们设计了一个评估基准,用以衡量EM模型的鲁棒性,从而推动其在真实场景中的部署。我们的实验结果表明,训练数据中的类别不平衡是影响模型鲁棒性的关键问题。同时,我们发现仅依靠数据增强并不能充分提升模型的鲁棒性。为此,我们提出了一系列简单有效的改进策略,显著增强了基于PLM的EM模型的鲁棒性。实验结果表明,尽管在域内泛化性能上已达到先进水平,我们的方法相较于当前最优的EM模型,在鲁棒性方面实现了显著提升。

基准测试

基准方法指标
entity-resolution-on-abt-buyRobEM
F1 (%): 90.90
entity-resolution-on-amazon-googleRobEM
F1 (%): 79.06

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
预训练语言模型在实体匹配中的鲁棒性探究 | 论文 | HyperAI超神经